JP2022153986A - 表示制御方法及び表示システム - Google Patents

表示制御方法及び表示システム Download PDF

Info

Publication number
JP2022153986A
JP2022153986A JP2021056788A JP2021056788A JP2022153986A JP 2022153986 A JP2022153986 A JP 2022153986A JP 2021056788 A JP2021056788 A JP 2021056788A JP 2021056788 A JP2021056788 A JP 2021056788A JP 2022153986 A JP2022153986 A JP 2022153986A
Authority
JP
Japan
Prior art keywords
image
terminal device
mode
display
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021056788A
Other languages
English (en)
Inventor
広太 竹内
Kota Takeuchi
博行 市枝
Hiroyuki Ichieda
健太郎 井手
Kentaro Ide
憲一郎 富田
Kenichiro Tomita
哲也 浅野
Tetsuya Asano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021056788A priority Critical patent/JP2022153986A/ja
Priority to CN202210309733.8A priority patent/CN115225946B/zh
Priority to US17/707,397 priority patent/US20220319081A1/en
Publication of JP2022153986A publication Critical patent/JP2022153986A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ユーザーの利便性を向上させた表示制御方法を提供する。【解決手段】端末装置１００Ａが、画像の範囲を指定する複数のモードのうち端末装置１００Ａが使用する指定モードを選択する操作を受け付け、端末装置１００Ａが生成する画像のうち、受け付けた指定モードによって指定される第１範囲の画像であるキャプチャー画像５５Ａを出力する。端末装置１００Ｂが、複数の指定モードのうち端末装置１００Ｂが使用する指定モードを選択する操作を受け付け、端末装置１００Ｂが生成する画像のうち、受け付けた指定モードにより指定される第２範囲の画像であるキャプチャー画像５５Ｂを出力する。プロジェクター５０が、キャプチャー画像５５Ａとキャプチャー画像５５Ｂとを並べた画像を表示する。【選択図】図２

Description

本発明は、表示制御方法及び表示システムに関する。
従来、複数の端末装置から供給される画像を、画面分割して表示する装置が知られている。
例えば、特許文献１は、画像を供給する複数の画像供給装置と、これら複数の画像供給装置から供給される画像を、１つ又は複数の画面領域に表示可能な画像表示装置とを備える画像表示システムを開示する。
画像供給装置は、画像表示装置により表示される画像の表示状態を操作できる共通画面操作用画像をそれぞれ表示する。共通画面操作画像は、１つ又は複数の画面領域の構成を示す分割レイアウト枠を有するレイアウト画像を含み、分割レイアウト枠は、ユーザーの共通画面操作用画像上における操作により変更することができる。
特開２０１０－２７８８２４号公報
しかしながら、共通画面操作用画像に表示された分割レイアウト枠を変更し、画像表示装置が画像を表示する画面領域の分割数や大きさを変更する場合、変更可能な分割数や、画面領域の大きさは固定されており、レイアウトの操作性に改善の余地があった。
本開示の一態様は、第１端末装置が、画像の範囲を指定する複数のモードのうち前記第１端末装置が使用するモードである第１端末用モードを選択する操作を受け付けることと、前記第１端末装置が生成する画像のうち、前記第１端末用モードによって指定される第１範囲の画像である第１画像を出力することと、第２端末装置が、前記複数のモードのうち前記第２端末装置が使用するモードである第２端末用モードを選択する操作を受け付けることと、前記第２端末装置が生成する画像のうち、前記第２端末用モードによって指定される第２範囲の画像である第２画像を出力することと、表示装置が、前記第１画像と前記第２画像とを並べた画像を表示することと、を含む、表示制御方法である。
本開示の一態様は、第１端末装置と、第２端末装置と、表示装置と、を含む表示システムであって、前記第１端末装置は、画像の範囲を指定する複数のモードのうち前記第１端末装置が使用するモードである第１端末用モードを選択する操作を受け付けることと、前記第１端末装置が生成する画像のうち、前記第１端末用モードによって指定される第１範囲の画像である第１画像を出力することと、を実行する少なくとも１つの第１プロセッサーを含み、前記第２端末装置は、前記複数のモードのうち前記第２端末装置が使用するモードである第２端末用モードを選択する操作を受け付けることと、前記第２端末装置が生成する画像のうち、前記第２端末用モードによって指定される第２範囲の画像である第２画像を出力することと、を実行する少なくとも１つの第２プロセッサーを含み、前記表示装置は、前記第１画像と前記第２画像とを並べた画像を表示する光学デバイスを含む、表示システムである。
システム構成の一例を示す図。 端末装置の構成を示す図。 ホスト装置の構成を示す図。 アプリ画像を示す図。 アプリ画像を示す図。 アプリ画像を示す図。 アプリ画像を示す図。 インターフェース画像の例を示す図。 キャプチャー範囲の設定例を示す図。 キャプチャー範囲の設定例を示す図。 キャプチャー範囲の設定例を示す図。 キャプチャー範囲の設定例を示す図。 投写面に表示された投写用画像を示す図。 投写面に表示された投写用画像を示す図。 投写面に表示された投写用画像を示す図。 投写面に表示された投写用画像を示す図。 端末装置の動作を示すフローチャート。 端末装置の動作を示すフローチャート。 端末装置の動作を示すフローチャート。 ホスト装置の動作を示すフローチャート。
１．システム構成
図１は、表示システムのシステム構成の一例を示す図である。
図１に示す本実施形態の表示システムは、プロジェクター５０と、複数の端末装置１００と、ホスト装置２００とを備える。
プロジェクター５０には、無線接続されたホスト装置２００から投写用画像１５が供給される。プロジェクター５０は、表示装置に相当する。プロジェクター５０は、光源、液晶パネル等の光変調装置、レンズ等の光学デバイスを有し、供給された投写用画像１５に基づいて画像光を生成し、生成した画像光を投写面１０に拡大投写させる。これにより投写面１０には、投写用画像１５が表示される。なお、表示装置は、表示パネル、光源等の光学デバイスを含む直視型のディスプレイであってもよい。
図１に示す表示システムには、プロジェクター５０を１台用いた場合を示すが、複数台のプロジェクター５０を用いて投写面１０に画像を表示させるタイリング投写を行うことも可能である。また、プロジェクター５０とホスト装置２００との接続は、無線であっても有線であってもよい。
端末装置１００及びホスト装置２００は、通信装置を有する情報処理装置である。端末装置１００及びホスト 装置２００は、例えば、ノート型ＰＣ（Personal Computer）、デスクトップ型ＰＣやタブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）等が用いられる。
各端末装置１００は、ホスト装置２００に無線接続され、後述するキャプチャー画像５５をホスト装置２００に送信する。図１には、複数の端末装置１００として、端末装置１００Ａ、１００Ｂ、１００Ｃ及び１００Ｄの４台を示すが、端末装置１００の台数は４台に限定されない。また、図１には、端末装置１００とホスト装置２００とが無線により接続された構成を示すが、端末装置１００とホスト装置２００との接続は有線であってもよい。
端末装置１００Ａは、第１端末装置に相当し、端末装置１００Ｂは、第２端末装置に相当し、端末装置１００Ｃは、第３端末装置に相当し、端末装置１００Ｄは、第４端末装置に相当する。
ホスト装置２００は、各端末装置１００から受信したキャプチャー画像５５に基づき、プロジェクター５０に投写させる画像である投写用画像１５を生成する。ホスト装置２００は、複数の端末装置１００から受信したキャプチャー画像５５を並べて、投写面１０に表示させる画像である投写用画像１５を生成する。ホスト装置２００は、生成した投写用画像１５をプロジェクター５０に出力する。
２．端末装置の構成
図２は、端末装置１００の構成を示すブロック図である。
端末装置１００Ａ、端末装置１００Ｂ、端末装置１００Ｃ及び端末装置１００Ｄは、略同一の構成を備える。このため、端末装置１００Ａの構成を例に説明する。また、以下では、端末装置１００Ａ、端末装置１００Ｂ、端末装置１００Ｃ及び端末装置１００Ｄを区別する必要がない場合には、端末装置１００と称する場合がある。端末装置１００Ａに関連する構成にはＡの符号を付し、端末装置１００Ｂに関連する構成にはＢの符号を付す。また、端末装置１００Ｃ、端末装置１００Ｄについても同様であり、さらに多くの端末装置１００について説明する場合も同様に、特定の端末装置１００及び当該端末装置１００に関連する構成には同一かつ固有のアルファベットを符号の末尾に付して説明する。端末装置１００に関連する構成についても、構成同士を区別する必要がない場合には、符号末尾のアルファベットは省略され得る。
端末装置１００Ａは、第１無線通信部１１０Ａ、第１表示部１２０Ａ、第１操作部１３０Ａ、撮影部１４０Ａ及び第１制御部１５０Ａを備える。
第１無線通信部１１０Ａは、ホスト装置２００を含む外部の装置と無線通信を行うインターフェースである。第１無線通信部１１０Ａは、例えば、無線ＬＡＮ（Local Area Network）カードなどのネットワークインタフェースカードにより構成される。第１無線通信部１１０Ａは、外部の装置と無線通信を行い、各種情報を送受信する。
第１表示部１２０Ａは、液晶パネルや有機ＥＬ（Electro-Luminescence）パネル等の表示パネル１２５Ａと、この表示パネル１２５Ａを駆動する駆動回路とを含む。駆動回路の図示は省略する。第１表示部１２０Ａには、第１制御部１５０Ａから表示信号が入力される。第１表示部１２０Ａは、入力された表示信号に基づいて駆動回路が表示パネル１２５Ａを駆動し、表示信号に対応した画像を表示パネル１２５Ａに表示させる。
端末装置１００Ａが備える表示パネル１２５Ａは、第１画面に相当する。端末装置１００Ｂが備える表示パネル１２５Ｂは、第２画面に相当する。
第１操作部１３０Ａは、例えば、マウスやキーボード等の入力デバイスを備え、ユーザーの操作を受け付ける。第１操作部１３０Ａは、受け付けた操作に対応した操作信号を第１制御部１５０Ａに出力する。
第１操作部１３０Ａは、表示パネル１２５Ａに対するタッチ操作を検出するタッチパネルにより構成してもよい。この場合、第１操作部１３０Ａは、検出したタッチ操作の位置を示す表示パネル１２５Ａの座標情報を第１制御部１５０Ａに出力する。
撮影部１４０Ａは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサーと、イメージセンサーから出力される電気信号に基づいて画像を生成するデータ処理回路とを備える。イメージセンサー及びデータ処理回路の図示は省略する。
撮影部１４０Ａは、例えば、端末装置１００Ａを使用するユーザーの顔を含む撮影画像を生成し、生成した撮影画像を第１制御部１５０Ａに出力する。撮影部１４０Ａが撮影する撮影画像は、動画像であってもよいし、静止画像であってもよい。第１制御部１５０Ａは、入力された撮影画像を第１記憶部１６０Ａに記憶させる。
第１制御部１５０Ａは、第１記憶部１６０Ａと、第１プロセッサー１７０Ａとを備えたコンピューター装置であり、端末装置１００Ａの各部を統括制御する。
第１記憶部１６０Ａは、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリーを備える。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、端末装置１００の動作を制御するための制御プログラムや、各種設定情報を記憶する。制御プログラムには、アプリケーションプログラムが含まれる。以下、アプリケーションプログラムを、簡単にアプリという。第１記憶部１６０Ａは、クライアント用会議アプリ１６５Ａを含む複数のアプリを記憶する。クライアント用会議アプリ１６５Ａは、端末装置１００Ａがホスト装置２００及びホスト装置２００に接続された他の端末装置１００と画像を共有しながら会議を行うことに用いるアプリである。
また、第１記憶部１６０Ａは、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の補助記憶装置を備える構成であってもよい。
第１プロセッサー１７０Ａは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-processing unit）により構成される演算処理装置である。第１プロセッサー１７０Ａは、制御プログラムを実行して端末装置１００Ａの各部を制御する。第１プロセッサー１７０Ａは、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。
第１プロセッサー１７０Ａは、第１無線通信部１１０Ａを制御して、ホスト装置２００を含む外部の装置と相互にデータ通信を行う。
第１プロセッサー１７０Ａは、第１記憶部１６０Ａを参照して、クライアント用会議アプリ１６５Ａを含むアプリを実行する。第１プロセッサー１７０Ａは、クライアント用会議アプリ１６５Ａを実行することで、後述するキャプチャー画像５５Ａを生成したり、キャプチャー画像５５Ａをホスト装置２００に送信したりする。
第１プロセッサー１７０Ａがクライアント用会議アプリ１６５Ａを実行した場合の動作については後述する。
３．ホスト装置の構成
図３は、ホスト装置２００の構成を示すブロック図である。
ホスト装置２００は、第２無線通信部２１０、第２表示部２２０、第２操作部２３０及び第２制御部２５０を備える。
第２無線通信部２１０、第２表示部２２０及び第２操作部２３０の具体的な構成は、端末装置１００と同一であるため、詳細な説明は省略する。
第２制御部２５０は、第２記憶部２６０と、第２プロセッサー２７０とを備えるコンピューター装置であり、ホスト装置２００の各部を統括制御する。
第２記憶部２６０は、ＲＡＭやＲＯＭ等のメモリーを備える。また、第２記憶部２６０は、ＳＳＤやＨＤＤ等の補助記憶装置を備える構成であってもよい。
ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、ホスト装置２００の動作を制御するための制御プログラムや、各種設定情報を記憶する。第２記憶部２６０は、ホスト用会議アプリ２６１、キャプチャー画像５５、サムネイル画像３２５、及びレイアウト情報２６３を記憶する。ホスト用会議アプリ２６１は、端末装置１００とホスト装置２００との画像の共有、投写用画像１５の生成及び送信等を統括制御するアプリである。なお、本実施形態のアプリは会議用のアプリであるが、用途は一例であり、会議以外の用途のアプリであってもよい。また、第１記憶部１６０Ａ又は第２記憶部２６０に記憶されるアプリには、ドキュメントアプリ、表計算アプリ、画像編集アプリ、動画再生アプリ等の、各種のアプリが含まれ得る。以下では、クライアント用会議アプリ１６５Ａ又はホスト用会議アプリ２６１以外のアプリを他のアプリと称する。
第２プロセッサー２７０は、第２無線通信部２１０を制御して、プロジェクター５０や、端末装置１００を含む外部の装置と相互にデータ通信を行う。なお、以下では、ホスト装置２００が有するプロセッサーを第２プロセッサー２７０と称する。ただし、各端末装置１００のプロセッサーを名称によって区別する必要がある場合には、端末装置１００Ａのプロセッサーを第１プロセッサー１７０Ａ、端末装置１００Ｂのプロセッサーを第２プロセッサー２７０Ｂ、等と称し、ホスト装置２００のプロセッサーをホストプロセッサーと称してもよい。
第２プロセッサー２７０は、第２記憶部２６０を参照して、ホスト用会議アプリ２６１を含むアプリを実行する。第２プロセッサー２７０は、ホスト用会議アプリ２６１を実行することにより、端末装置１００から受信したキャプチャー画像５５に基づいて投写用画像１５を生成する。キャプチャー画像５５は、ユーザーにより選択された画像を第１プロセッサー１７０Ａがキャプチャーして生成する画像である。また、第２プロセッサー２７０は、サムネイル画像３２５の生成及び送信、レイアウト情報２６３の生成及び送受信等を行う。
第２プロセッサー２７０がホスト用会議アプリ２６１を実行したときの動作については後述する。
４．第１プロセッサーの動作
４．１．基本的な動作
次に、クライアント用会議アプリ１６５Ａを実行する第１プロセッサー１７０Ａの動作について説明する。ここまでと同様、端末装置１００Ａを例に説明するが、各端末装置１００は端末装置１００Ａと同様の機能を有し、同様の動作を実行することが可能である図４は、表示パネル１２５Ａに表示されるアプリ画像３００Ａの一例を示す図である。
アプリ画像３００Ａには、ボタン表示領域３１０Ａと、画像表示領域３２０Ａとが含まれる。
ボタン表示領域３１０Ａには、参加ボタン３１２Ａ、退出ボタン３１３Ａ、強調表示ボタン３１４Ａ、均等表示ボタン３１５Ａ及び画像選択ボタン３１６Ａが表示される。
参加ボタン３１２Ａは、端末装置１００Ａが会議に参加するときに押下されるボタンである。
退出ボタン３１３Ａは、端末装置１００Ａが会議から退出するときに押下されるボタンである。
強調表示ボタン３１４Ａ及び均等表示ボタン３１５Ａは、レイアウトを操作するときに押下されるボタンである。レイアウトの変更については後述する。また、強調表示ボタン３１４Ａ及び均等表示ボタン３１５Ａをレイアウトボタンと総称する。
画像選択ボタン３１６Ａは、端末装置１００Ａにおけるキャプチャー範囲３５０Ａを指定するときに押下されるボタンである。キャプチャー範囲３５０Ａについては後述する。
サムネイル画像３２５は、端末装置１００Ａがホスト装置２００から受信した画像である。図４には３つのサムネイル画像３２５が表示されている。サムネイル画像３２５は、端末装置１００がホスト装置２００に送信したキャプチャー画像５５を、ホスト装置２００が縮小して生成した画像である。
ユーザーの操作によってクライアント用会議アプリ１６５Ａが起動されると、第１プロセッサー１７０Ａは、まず、アプリ画像３００Ａを生成し、表示パネル１２５Ａに表示させる。この時点では会議に参加していないため、画像表示領域３２０Ａにサムネイル画像３２５は表示されない。
第１プロセッサー１７０Ａは、参加ボタン３１２Ａが押下されると、ホスト装置２００に会議への参加要求を送信する。ホスト装置２００は、会議への参加を許可する場合には、会議のセッションを開始する。なお、会議の開始方法は限定されない。例えば、参加ボタン３１２Ａが押下された場合にユーザーにログイン情報を入力させ、ホスト装置２００にてユーザー認証を行ってもよい。ログイン情報に対応する会議の一覧をホスト装置２００から取得し、端末装置１００Ａのユーザーが参加する会議を選択してもよい。
ホスト装置２００との間で会議のセッションが開始されると、第１プロセッサー１７０Ａは、端末装置１００Ａの識別情報をホスト装置２００に送信する。識別情報は各端末装置１００を識別することに用いる情報であり、端末装置１００ごとに固有の情報である。識別情報は、例えば各端末装置１００のＭＡＣ（Media Access Control）アドレスや、ＩＰ（Internet Protocol）アドレスである。また、第１プロセッサー１７０Ａは、ホスト装置２００から投写用画像１５のサイズを示すサイズ情報を受信する。サイズ情報は、投写用画像１５の幅及び高さを示す情報であり、以下においては、特に断りがない限り、サイズは幅及び高さを意味する。サイズ情報は、例えば、解像度、又は、投写用画像１５の座標系を正規化した正規化座標系における値を用いて表現されてもよい。以下では、投写用画像１５、画像表示領域３２０Ａ、及び表示パネル１２５Ａはそれぞれ左上を原点とする座標系によって表されるものとし、ホスト装置２００と端末装置１００Ａとの間で送受信される座標情報、サイズ情報等は、左上を原点とし、横幅を１．０に正規化した正規化座標系を用いて表されるものとする。第１プロセッサー１７０Ａは、投写用画像１５のサイズを示す情報を受信すると、投写用画像１５のアスペクト比と同じアスペクト比で画像表示領域３２０Ａを表示する。なお、投写用画像１５の座標系又は画像表示領域３２０Ａの座標系を用いて座標情報等を送受信する場合には、送信を行う装置又は受信を行う装置において適宜座標変換を行えばよい。
また、会議のセッションが開始されると、第１プロセッサー１７０Ａは、ユーザーによるキャプチャー範囲３５０Ａの指定を受け付ける。キャプチャー範囲３５０Ａは、端末装置１００Ａが生成する画像のうち、第１プロセッサー１７０Ａによってキャプチャーされる画像の範囲を示す情報である。キャプチャー範囲３５０Ａは、表示パネル１２５Ａの座標系で表される。第１プロセッサー１７０Ａは、画像選択ボタン３１６Ａが押下されると、キャプチャー範囲３５０Ａの指定を受け付けることに用いるインターフェース画像２０を表示パネル１２５Ａに表示させ、ユーザーによる操作を受け付ける。第１プロセッサー１７０Ａは、受け付けたユーザーの操作に基づいて、キャプチャー範囲３５０Ａを決定する。第１プロセッサー１７０Ａは、キャプチャー範囲３５０Ａに含まれる画像を所定時間ごとにキャプチャーすることによって、キャプチャー画像５５Ａを生成する。第１プロセッサー１７０Ａは、生成したキャプチャー画像５５Ａを端末装置１００Ａの識別情報と対応付けて、ホスト装置２００に送信する。送信されるキャプチャー画像５５Ａには、正規化座標系で表された、キャプチャー画像５５Ａのサイズ情報が付与されている。キャプチャー可能な画像には、端末装置１００が生成する画像が含まれる。例えば、クライアント用会議アプリ１６５Ａ及び他のアプリを含む各種アプリにより生成された画像や、撮影部１４０Ａにより撮影された撮影画像等が含まれる。アプリにより生成される画像は、静止画像であっても、動画像であってもよい。
端末装置１００Ａがホスト装置２００に出力するキャプチャー画像５５Ａが第１画像に相当する。端末装置１００Ａと同様にして、端末装置１００Ｂ、端末装置１００Ｃ、及び端末装置１００Ｄは、それぞれキャプチャー画像５５をホスト装置２００に出力する。端末装置１００Ｂがホスト装置２００に出力するキャプチャー画像５５Ｂが第２画像に相当する。端末装置１００Ｃがホスト装置２００に出力するキャプチャー画像５５Ｃが第３画像に相当する。端末装置１００Ｄがホスト装置２００に出力するキャプチャー画像５５Ｄが第４画像に相当する。
また、会議のセッションが開始されると、第１プロセッサー１７０Ａは、ホスト装置２００からレイアウト情報２６３及びサムネイル画像３２５の受信を開始する。レイアウト情報２６３は、会議に参加している各端末装置１００のサムネイル画像３２５を表示する際のレイアウトを示す情報である。具体的には、レイアウト情報２６３は、各端末装置１００の識別情報と、識別情報と対応付けられた座標情報と、サムネイル画像３２５のサイズ情報と、を含む。座標情報は、サムネイル画像３２５の画像表示領域３２０Ａにおける表示位置を決定することに用いられる座標情報であり、例えば、正規化座標系におけるサムネイル画像３２５の左上角の座標である。サムネイル画像３２５のサイズ情報は、サムネイル画像３２５の幅及び高さを正規化座標系における値で表現する。第１プロセッサー１７０Ａは、受信したレイアウト情報２６３及びサムネイル画像３２５を第１記憶部１６０Ａに記憶させる。第１プロセッサー１７０Ａは、サムネイル画像３２５を、正規化座標系を画像表示領域３２０Ａの座標系に変換する倍率と同じ倍率でサムネイル画像３２５のサイズ情報を変換し、座標情報に対応する画像表示領域３２０Ａの位置に展開してアプリ画像３００Ａを生成する。第１プロセッサー１７０Ａは、生成したアプリ画像３００Ａを表示パネル１２５Ａに表示させる。図４は、この時点でのアプリ画像３００Ａの表示例である。図４には、サムネイル画像３２５Ａ、サムネイル画像３２５Ｂ、及びサムネイル画像３２５Ｃが、レイアウト情報２６３に基づいて表示されている。
また、第１プロセッサー１７０Ａは、レイアウト情報２６３を生成し、送信することが可能である。第１プロセッサー１７０Ａは、レイアウトを指定するユーザーの操作を受け付け、受け付けた操作に基づいてレイアウト情報２６３を生成する。第１プロセッサー１７０Ａは、生成したレイアウト情報２６３をホスト装置２００に送信する。また、第１プロセッサー１７０Ａは、生成したレイアウト情報２６３に基づいてアプリ画像３００Ａを生成し、表示パネル１２５Ａに表示させる。
４．２．第１プロセッサーによるレイアウト情報の生成
上述のように、第１プロセッサー１７０Ａは、クライアント用会議アプリ１６５Ａを実行することによってレイアウト情報２６３を生成し、送信することが可能である。すなわち、アプリ画像３００Ａに表示されたサムネイル画像３２５の表示位置や表示サイズを指定するユーザーの操作に基づいてレイアウト情報２６３を生成し、ホスト装置２００に送信することが可能である。また、以下で説明する強調表示、均等表示、位置、及び、サイズ、を指定する操作は、レイアウトを指定する操作に相当する。
まず、強調表示ボタン３１４Ａを用いてレイアウトを制御する場合の基本的な動作例を説明する。図５は、アプリ画像３００Ａを示す図である。図５は、強調表示がされた場合のサムネイル画像３２５のレイアウトの一例である。以下では、図５を参照しながら、サムネイル画像３２５Ｂを強調表示するレイアウト情報２６３を端末装置１００Ａが生成する場合を中心に説明するが、他の端末装置１００を用いても同様の動作が可能である。
第１プロセッサー１７０Ａは、強調表示ボタン３１４Ａの操作を受け付けると、画像表示領域３２０Ａのレイアウトを強調表示のレイアウトにする。換言すると、第１プロセッサー１７０Ａは、レイアウトボタンのうち強調表示ボタン３１４Ａの操作を受け付けると、レイアウトモードの１つである強調表示モードで動作する。
第１プロセッサー１７０Ａは、強調表示ボタン３１４Ａが押下されると、画像表示領域３２０Ａに表示されているサムネイル画像３２５のうち、拡大表示させるサムネイル画像３２５を選択する操作を受け付ける。図５の例では、第１プロセッサー１７０Ａは、３つのサムネイル画像３２５Ａ、サムネイル画像３２５Ｂ、サムネイル画像３２５Ｃから、拡大表示させるサムネイル画像３２５を選択する操作を受け付ける。本実施形態では、選択可能なサムネイル画像３２５は、操作が行われている端末装置１００Ａに対応するサムネイル画像３２５Ａに限定されない。第１プロセッサー１７０Ａは、他の端末装置１００のサムネイル画像３２５を選択することが可能である。図５は、ユーザーがサムネイル画像３２５Ｂを選択した場合の例である。ユーザーは、例えば、第１操作部１３０Ａを操作することによって、サムネイル画像３２５Ｂを選択する。
第１プロセッサー１７０Ａは、受け付けた操作に基づいて、レイアウト情報２６３を生成する。具体的には、選択されたサムネイル画像３２５Ｂのサイズとして、選択されなかったサムネイル画像３２５Ａ及びサムネイル画像３２５Ｃのサイズよりも相対的に大きな値を指定することによって、強調表示のサイズ情報を有する新たなレイアウト情報２６３を生成する。さらに、選択されたサムネイル画像３２５Ｂが画像表示領域３２０Ａの中央に配置されるように、新たな座標情報を生成してもよい。例えば、選択前にはサムネイル画像３２５Ｂが図５における画像表示領域３２０Ａの位置にあった場合、サムネイル画像３２５Ｂを選択することで、サムネイル画像３２５Ａ又はサムネイル画像Ｃの位置とサムネイル画像３２５Ｂの位置とが入れ替わってもよい。
第１プロセッサー１７０Ａは、第１記憶部１６０Ａに記憶された現在のレイアウト情報２６３を、新たなレイアウト情報２６３で上書きする。そして、新たなレイアウト情報２６３に基づいて新たなアプリ画像３００Ａを生成し、表示パネル１２５Ａに表示させる。また、第１プロセッサー１７０Ａは、新たなレイアウト情報２６３をホスト装置２００に送信する。
以上の動作により、画像表示領域３２０Ａには、サムネイル画像３２５Ｂのサイズが拡大されて表示される。すなわち、サムネイル画像３２５Ｂが強調表示される。また、詳細は後述するが、レイアウト情報２６３をホスト装置２００に送信することで、投写用画像１５、及び、他の端末装置１００のアプリ画像３００においても、端末装置１００Ａにおけるレイアウトと同じレイアウトで表示が行われる。したがって、端末装置１００Ａのユーザーは、自身の端末装置１００Ａを用いて、投写用画像１５、端末装置１００Ｂ、及び、端末装置１００Ｃに表示されるアプリ画像３００のレイアウトを指定できる。また、したがって、端末装置１００Ａが画像表示領域３２０Ａにおけるサムネイル画像３２５のレイアウトを指定する操作を受け付けることは、投写用画像１５におけるキャプチャー画像５５のレイアウト、及び、他の端末装置１００の画像表示領域３２０におけるサムネイル画像３２５のレイアウトを指定する操作を受け付けることでもある。
強調表示においては、ホスト装置２００から受信したすべてのサムネイル画像３２５を画像表示領域３２０Ａに表示することが好ましい。また、サムネイル画像３２５のアスペクト比は、ホスト装置２００から受信したサムネイル画像３２５のアスペクト比に保つことが好ましい。強調表示におけるサムネイル画像３２５Ｂのサイズは、後述する均等表示において強調表示と同数のサムネイル画像３２５を表示する場合のサムネイル画像３２５のサイズよりも大きいことが好ましい。この場合、強調表示において、第１プロセッサー１７０Ａは、サムネイル画像３２５Ｂのサイズを均等表示におけるサムネイル画像３２５のサイズよりも拡大し、サムネイル画像３２５Ｂ及びサムネイル画像３２５Ｃのサイズを均等表示におけるサイズよりも縮小する。これにより、図５に示すように、拡大されたサムネイル画像３２５Ｂと、縮小されたサムネイル画像３２５Ａ及びサムネイル画像３２５Ｃのすべてが画像表示領域３２０Ａに表示される。また、強調表示において、サムネイル画像３２５Ｂのサイズは変更せずに、サムネイル画像３２５Ａ及びサムネイル画像３２５Ｃのサイズを縮小してもよい。
なお、強調表示ボタン３１４Ａの押下とサムネイル画像３２５の選択とは、上記とは逆の順序で行われてもよい。つまり、サムネイル画像３２５Ｂを選択した状態で、強調表示ボタン３１４Ａが押下された場合に、第１プロセッサー１７０Ａは、選択中のサムネイル画像３２５Ｂを強調表示させてもよい。また、強調表示ボタン３１４が押下された端末装置１００に対応するサムネイル画像３２５が強調表示されてもよい。例えば、第１プロセッサー１７０Ａは、強調表示ボタン３１４Ａが押下されると、端末装置１００Ａに対応する識別情報と対応付けられたサムネイル画像３２５Ａを拡大表示させる。この場合には、サムネイル画像３２５の選択は省略可能である。
次に、図４に戻り、均等表示ボタン３１５Ａを用いてレイアウトを制御する例を説明する。図４には、均等表示がされた場合のサムネイル画像３２５のレイアウトが示されている。第１プロセッサー１７０Ａは、均等表示ボタン３１５Ａが押下されると、画像表示領域３２０Ａのレイアウトを均等表示のレイアウトにする。換言すると、第１プロセッサー１７０Ａは、レイアウトボタンのうち均等表示ボタン３１５Ａの操作を受け付けると、レイアウトモードの１つである均等表示モードで動作する。
第１プロセッサー１７０Ａは、均等表示ボタン３１５Ａが押下されると、新たなレイアウト情報２６３を生成する。具体的には、すべてのサムネイル画像３２５のサイズとして同一のサイズを指定することによって、均等表示のサイズ情報を有する新たなレイアウト情報２６３を生成する。そして、第１プロセッサー１７０Ａは、強調表示の場合と同様に、第１記憶部１６０Ａのレイアウト情報２６３を更新し、新たなアプリ画像３００Ａを生成して、表示パネル１２５Ａに表示させる。また、第１プロセッサー１７０Ａは、新たなレイアウト情報２６３をホスト装置２００に送信する。
例えば、画像表示領域３２０Ａのレイアウトが強調表示のレイアウトである場合に均等表示ボタン３１５Ａが押下されると、第１プロセッサー１７０Ａは、強調表示を終了し、均等表示を行う。すなわち、図５のように拡大されていたサムネイル画像３２５Ｂと、縮小されていたサムネイル画像３２５Ａ及び３２５Ｃとが、図４のように同一のサイズで表示される。強調表示から均等表示に変更する場合に、均等表示におけるサムネイル画像３２５の配置の順序は、直前の強調表示におけるサムネイル画像３２５の配置の順序と同じであってもよい。この場合には、第１プロセッサー１７０Ａは、直前の強調表示におけるレイアウト情報を参照して、新たなレイアウト情報におけるサムネイル画像３２５の座標情報を決定する。また、均等表示ボタン３１５Ａが押下されたら、サムネイル画像３２５を初期の配置順、例えば、会議を開始したときの順序で配置してもよい。この場合には、第１プロセッサー１７０Ａは、少なくとも最初のレイアウト情報を第１記憶部１６０Ａに記憶しておき、均等表示ボタン３１５Ａが押下されたら、最初のレイアウト情報を参照して新たな座標情報を決定する。
均等表示の場合、サムネイル画像３２５のサイズは、画像表示領域３２０Ａにすべてのサムネイル画像３２５を同じサイズで表示可能な最大のサイズであることが、視認性の観点から好ましい。図４において、画像表示領域３２０Ａに表示されるサムネイル画像３２５Ａ、３２５Ｂ及び３２５Ｃのサイズは同一かつ最大である。また、図４においては、同一サイズのサムネイル画像３２５Ａ、３２５Ｂ及び３２５Ｃが一列に並べて表示される。図４には、サムネイル画像３２５Ａ、３２５Ｂ及び３２５Ｃを横一列に並べた例を示すが、配列は画像表示領域３２０Ａのアスペクト比に応じて決定すればよく、縦一列に並べてもよい。また、会議に参加するユーザーの数、すなわちサムネイル画像３２５の数に応じて、横Ｍ行、縦Ｎ列のマトリクス状にサムネイル画像３２５を配列することも可能である。なお、Ｍ、Ｎは１以上の整数である。
続いて、強調表示の他の例を説明する。図６及び図７は、アプリ画像３００Ａを示す図である。図６及び図７は、強調表示ボタン３１４Ａが押下された場合のサムネイル画像３２５のレイアウトの例を示す。図６及び図７は、端末装置１００Ａ～１００Ｉの９台の端末装置１００が会議に参加している場合の表示例である。
図６を用いて例示するレイアウトにおいては、中央に配置されたサムネイル画像３２５Ａの４辺の周囲に、選択されていないサムネイル画像３２５を配置するための領域が設けられる。図６には、サムネイル画像３２５Ａ～３２５Ｉの９つのサムネイル画像３２５が表示されている。図６は、サムネイル画像３２５Ａが選択され、強調表示された例であるが、サムネイル画像３２５Ａ～３２５Ｉのいずれが選択されてもよい。この点は、図７についても同様である。図６に示す画像表示領域３２０Ａのレイアウトでは、拡大されたサムネイル画像３２５Ａの周囲に、他のサムネイル画像３２５Ｂ～３２５Ｉが配置される。
以下、ユーザーがアプリ画像３００Ａを視認する向きを基準として、図６におけるサムネイル画像３２５の位置関係を説明する。つまり、以下における上下左右はボタン表示領域３１０Ａに表示される文字列の上下左右と一致するものとして説明する。
サムネイル画像３２５Ｃは、サムネイル画像３２５Ａの上に配置され、サムネイル画像３２５Ｈは、サムネイル画像３２５Ａの下に配置される。
サムネイル画像３２５Ｂは、サムネイル画像３２５Ａの左に配置され、サムネイル画像３２５Ｄは、サムネイル画像３２５Ａの右に配置される。
サムネイル画像３２５Ｅは、サムネイル画像３２５Ａの左斜め上に配置され、サムネイル画像３２５Ｆは、サムネイル画像３２５Ａの右斜め上に配置される。
サムネイル画像３２５Ｇは、サムネイル画像３２５Ａの左斜め下に配置され、サムネイル画像３２５Ｉは、サムネイル画像３２５Ａの右斜め下に配置される。
サムネイル画像３２５Ｅ、サムネイル画像３２５Ｃ及びサムネイル画像３２５Ｆは、サムネイル画像３２５Ａの上側に、画像表示領域３２０Ａの横方向に一列に並んで配置される。
サムネイル画像３２５Ｇ、サムネイル画像３２５Ｈ及びサムネイル画像３２５Ｉは、サムネイル画像３２５Ａの下側に、画像表示領域３２０Ａの横方向に一列に並んで配置される。
サムネイル画像３２５Ｅ、サムネイル画像３２５Ｂ及びサムネイル画像３２５Ｇは、サムネイル画像３２５Ａの左側に、画像表示領域３２０Ａの縦方向に一列に並んで配置される。
サムネイル画像３２５Ｆ、サムネイル画像３２５Ｄ及びサムネイル画像３２５Ｉは、サムネイル画像３２５Ａの右側に、画像表示領域３２０Ａの縦方向に一列に並んで配置される。
図７も、サムネイル画像３２５Ａ～３２５Ｉの９つのサムネイル画像３２５が表示され、選択されたサムネイル画像３２５Ａが拡大表示された例を示す。図７を用いて例示するレイアウトにおいては、選択されたサムネイル画像３２５Ａの連続する２辺の周囲に、選択されていないサムネイル画像３２５を配置するための領域が設けられる。サムネイル画像３２５Ａは、アプリ画像３００Ａの画像表示領域３２０Ａの中央から右上部にかけて配置され、サムネイル画像３２５Ａの上辺及び右辺に他のサムネイル画像３２５は配置されない。他のサムネイル画像３２５Ｂ～３２５Ｉは、拡大したサムネイル画像３２５Ａの左又は及び下方に配置される。
図７において、サムネイル画像３２５Ｂ、３２５Ｄ、３２５Ｅ、３２５Ｆ、及び３２５Ｇは、サムネイル画像３２５Ａの左側に、画像表示領域３２０Ａの縦方向に沿って一列に配置される。
サムネイル画像３２５Ｇ、３２５Ｃ、３２５Ｈ及び３２５Ｉは、サムネイル画像３２５Ａの下側に、画像表示領域３２０Ａの横方向に沿って一列に配置される。なお、拡大されないサムネイル画像３２５を配置する位置は、サムネイル画像３２５Ａの左辺側及び下辺側に限定されない。
図５、図６、及び図７に例示するレイアウトのいずれを用いて強調表示を行うかは、サムネイル画像３２５の数又は投写用画像１５のアスペクト比に応じて第１プロセッサー１７０Ａが決定してもよい。例えば、投写用画像１５のアスペクト比とサムネイル画像３２５の数に基づいて、各サムネイル画像３２５のサイズが最も大きくなるレイアウトを選択してもよい。また、強調表示するサムネイル画像３２５のサイズが最も大きくなるレイアウトを選択してもよい。また、選択されたサムネイル画像３２５の位置に応じて、強調表示のレイアウトを決定してもよい。例えば、サムネイル画像３２５Ａ～３２５Ｉがマトリクス配置されている場合に、中央のサムネイル画像３２５Ａが選択されたら、図６のレイアウトで強調表示し、右上のサムネイル画像３２５Ｃが選択されたら、図７におけるサムネイル画像３２５Ａの位置にサムネイル画像３２５Ｃを配置したレイアウトで強調表示してもよい。
また、第１プロセッサー１７０Ａは、強調表示に使用するレイアウトをユーザーの操作に基づいて決定してもよい。例えば、第１プロセッサー１７０Ａは、強調表示におけるレイアウトの候補を提示するレイアウト選択画像を表示し、ユーザーにレイアウトを選択させてもよい。レイアウト選択画像の図示は省略する。レイアウト選択画像は強調表示ボタン３１４Ａが押下されたときに表示してもよいし、不図示の設定ボタンからユーザーが呼び出してもよい。ホスト装置２００が指定した強調表示のレイアウトを端末装置１００に送信し、ホスト装置２００及びすべての端末装置１００で共通のレイアウトを使用してもよい。
第１プロセッサー１７０Ａがレイアウト情報２６３を生成する、他の例を説明する。この例では、ユーザーは、第１操作部１３０Ａを操作することによって、サムネイル画像３２５の位置及びサイズを任意に指定可能である。これらの制御方法は、不図示のボタンを押下することによって選択できてもよいし、強調表示ボタン３１４Ａが押下された後に、下記の操作が行われた場合に実行されてもよい。また、第１プロセッサー１７０Ａは、ボタン操作なしに下記の操作を受け付けてもよい。上述の例と同様に、第１プロセッサー１７０Ａは、ユーザーの操作に応じてレイアウト情報２６３を生成してホスト装置２００へ送信する。また、第１プロセッサー１７０Ａは、ユーザーの操作に応じてアプリ画像３００Ａを生成し、表示パネル１２５Ａに表示させる。
例えば、ユーザーは、ドラッグアンドドロップ操作によってサムネイル画像３２５を移動させてもよい。ユーザーは、アプリ画像３００Ａに表示されたサムネイル画像３２５の１つに指をタッチさせ、タッチさせた指を表示パネル１２５Ａ上で移動させる。第１プロセッサー１７０Ａは、選択されたサムネイル画像３２５の表示位置を、ユーザーの指の動きに対応させて移動させる。第１プロセッサー１７０Ａは、ユーザーが指を離した位置をサムネイル画像３２５の新たな位置とする新たな座標情報を生成する。
また、例えば、ユーザーは、ピンチイン、ピンチアウトのような拡大縮小操作によってサムネイル画像３２５のサイズを変更してもよい。ユーザーは、アプリ画像３００Ａに表示されたサムネイル画像３２５の１つに２本の指をタッチさせ、タッチさせた指の間隔を広げたり、狭めたりする操作を行う。第１プロセッサー１７０Ａは、ユーザーの２本の指の間隔の変化に応じた変化量で、選択されたサムネイル画像３２５のサイズを拡大させたり、縮小させたりして、新たなサイズ情報を含む新たなレイアウト情報２６３を生成する。
４．３．キャプチャー画像の生成
次に、画像選択ボタン３１６Ａが押下された場合の第１プロセッサー１７０Ａの動作について説明する。上述の通り、第１プロセッサー１７０Ａは、ユーザーによる操作に基づいて画像の範囲であるキャプチャー範囲３５０Ａを決定し、キャプチャー範囲３５０Ａに含まれる画像をキャプチャーしてホスト装置２００に送信する。
図８は、キャプチャー範囲３５０Ａの指定を受け付けることに用いるインターフェース画像２０の一例である。第１プロセッサー１７０Ａは、画像選択ボタン３１６Ａが押下されると、インターフェース画像２０をアプリ画像３００Ａに表示させる。
クライアント用会議アプリ１６５Ａは、キャプチャー範囲３５０Ａを指定する複数のモードを有する。複数のモードには、全画面選択モード、アプリ選択モード、枠選択モード、及び、自由選択モードが含まれる。キャプチャー範囲３５０Ａを指定するモードを、以下では指定モードと総称する。端末装置１００Ａが使用する指定モードが第１端末用モードに相当する。また、端末装置１００Ａと同様にして指定モードを選択する操作を受け付け、端末装置１００Ｂが使用する指定モードが第２端末用モードに相当する。また、端末装置１００Ａにおけるキャプチャー範囲３５０Ａが第１範囲に相当し、端末装置１００Ｂにおけるキャプチャー範囲３５０Ｂが第２範囲に相当する。なお、各端末装置１００はそれぞれ独立して指定モードを選択可能であるので、複数の端末装置１００が同じ指定モードを選択してもよいし、異なる指定モードを選択してもよい。
インターフェース画像２０は、これらの指定モードのうちいずれか１つの選択を受け付けるユーザーインターフェース画像である。図８には、上述した各指定モードにそれぞれ対応する全画面選択ボタン２１、アプリ選択ボタン２２、枠選択ボタン２３及び自由選択ボタン２４が表示されている。ユーザーは第１操作部１３０Ａを用いてこれらのボタンのうち１つを選択する。第１プロセッサー１７０Ａは、ユーザーが選択したボタンを判定することによって、指定モードの選択を受け付ける。枠選択モード及び自由選択モードは、第１モードに相当する。アプリ選択モードは、第２モードに相当する。全画面選択モードは第３モードに相当する。
図９～図１２は、キャプチャー範囲３５０Ａの設定例を示す図である。図９～図１２には、表示パネル１２５Ａに表示される画像の全体が示されている。図９～図１２の例では、表示パネル１２５Ａに表示される画像には、他のアプリが生成するアプリ画像３６０Ａ、及び、各種アプリのアイコン３３０Ａが含まれる。また、キャプチャー範囲３５０Ａが破線で示されている。以下、図９～図１２を参照しながら４つの指定モードを説明する。
図９は、全画面選択モードにおけるキャプチャー範囲３５０Ａの設定例である。全画面選択モードは、表示パネル１２５に表示される画像の全体をキャプチャー範囲３５０とするモードである。全画面選択ボタン２１が押下されると、第１プロセッサー１７０Ａは全画面選択モードに移行する。全画面選択モードにおいては、第１プロセッサー１７０Ａは、表示パネル１２５Ａに表示される画像の全体をキャプチャー範囲３５０Ａに設定する。第１プロセッサー１７０Ａは、アプリ画像３００Ａを最小化又は透明化することによって、キャプチャー範囲３５０Ａに設定された表示パネル１２５の画像をユーザーに視認させてもよい。このとき、表示パネル１２５の外周に図９のような枠線を表示してもよい。なお、全画面選択モードにおいてはキャプチャー画像５５Ａの表示は行わなくてもよい。
図１０は、アプリ選択モードにおけるキャプチャー範囲３５０Ａの設定例である。アプリ選択モードは、ユーザーによるアプリの選択を受け付け、選択されたアプリが生成する画像をキャプチャー範囲３５０とするモードである。アプリ選択モードでは、端末装置１００Ａが実行可能なアプリであれば選択することが可能である。アプリ選択ボタン２２が押下されると、第１プロセッサー１７０Ａはアプリ選択モードに移行する。第１プロセッサー１７０Ａは、不図示のアプリ選択画面を表示する。第１プロセッサー１７０Ａは、アプリ選択画面に起動中のアプリの一覧を表示させ、ユーザーがアプリを選択する操作を受け付ける。ユーザーは、第１操作部１３０Ａを操作してアプリの一覧からアプリを選択する。第１プロセッサー１７０Ａは、選択されたアプリが生成する画像の全体をキャプチャー範囲３５０Ａに設定する。図１０は、アプリ選択モードで画像編集アプリが選択された場合の例であり、画像編集アプリが生成するアプリ画像３６０Ａがキャプチャー範囲３５０Ａに設定されている。なお、アプリ選択モードにおけるキャプチャー範囲３５０Ａは、アプリ画像３６０Ａが描画される第１記憶部１６０Ａの領域の座標系である。アプリ画像３６０Ａが表示パネル１２５Ａに表示されていなくても、第１プロセッサー１７０Ａはアプリ画像３６０Ａをキャプチャーすることが可能である。アプリ選択モードにおいても、全画面選択モードと同様に、キャプチャー画像５５Ａを表示してユーザーに視認させてもよいし、表示を行わなくてもよい。
図１１は、枠選択モードにおけるキャプチャー範囲３５０Ａの設定例である。枠選択モードは、ユーザーが表示パネル１２５Ａ上においてキャプチャー範囲３５０Ａの形状及び位置を指定することで、キャプチャー範囲３５０Ａを設定するモードである。第１プロセッサー１７０Ａは、キャプチャー範囲３５０Ａの形状及び位置を示す枠の描画を受け付けることによって、キャプチャー範囲３５０Ａを決定する。第１プロセッサー１７０Ａは、枠の形状、及び、枠を配置する表示パネル１２５Ａ上の位置を指定するユーザーの操作を受け付ける。枠の形状には、枠の幾何学形状、及び、サイズが含まれる。枠が矩形ではない場合には、サイズは、例えば枠に外接する矩形のサイズによって表されてもよい。枠選択ボタン２３が押下されると、第１プロセッサー１７０Ａは枠選択モードに移行し、表示パネル１２５Ａに操作アイコン３３０Ａを表示させる。このとき、図１１のように、アプリ画像３００Ａを最小化又は透明化することによって、表示パネル１２５Ａに表示されるアプリ画像３００Ａ以外の画像をユーザーが視認できるようにしてもよい。この点は、後述する自由選択モードについても同様である。
選択可能な枠の形状には、例えば、矩形、円形、楕円、多角形等の種々の形状が含まれる。操作アイコン３３０Ａには、選択可能な複数の枠の形状を表す図形が表示される。ユーザーは、操作アイコン３３０Ａに表示された図形のなかから所望の形状の図形を選択する。次いで、マウス等の操作により選択した図形を所望の位置及びサイズで表示パネル１２５Ａに描画する。第１プロセッサー１７０Ａは、例えば図１１のように、ユーザーが描画した軌跡を表示パネル１２５Ａに表示させる。ユーザーは、一度描画した図形の位置やサイズを、描画した図形を操作することによって変更させてもよい。ユーザーが図形の描画を終了すると、第１プロセッサー１７０Ａは、表示パネル１２５Ａにおいて、作成された図形の形状及び位置によって規定される枠の内側を、キャプチャー範囲３５０Ａに設定する。
図１１では、カメラアプリが第１記憶部１６０Ａを参照して生成したアプリ画像３６０Ａとして表示され、そのうちの一部が四角形の枠で囲まれてキャプチャー範囲３５０Ａに設定されている。第１プロセッサー１７０Ａは、キャプチャー範囲３５０Ａに含まれる画像をキャプチャーするので、枠選択モードでは、表示パネル１２５Ａに表示される画像のうち、枠で囲まれた内側の部分がキャプチャーされる。従って、図１１のように、アプリ画像３６０Ａのうち枠で囲まれた一部をキャプチャー画像５５Ａとすることが可能である。また、アプリ画像３６０の一部と、表示パネル１２５Ａに表示された他の画像とを含む範囲をキャプチャー範囲３５０に設定してもよい。また、枠選択モードでは、表示パネル１２５Ａ上の範囲が指定されるので、例えば、表示パネル１２５Ａに表示されたアプリのウィンドウの位置を移動させることで、キャプチャー範囲３５０Ａに所望の画像を表示させたり、非表示にさせたりすることも可能である。
また、枠選択モードでは、表示パネル１２５Ａ上に、枠を配置する頂点の位置を指定して表示パネル１２５Ａ上に所望の枠を設定してもよい。例えば、枠の形状が矩形又は多角形の場合、ユーザーは、枠の各頂点の位置を順に指定する。また、枠選択モードにおいて、枠の形状をアスペクト比により指定してもよい。
さらに、枠選択モードの枠を表す画像として、マスク画像を用いてもよい。マスク画像は、表示パネル１２５Ａと同じ解像度をもつ画像で、各画素は０か１の値を持ち、０であればキャプチャー範囲３５０Ａの画素を、１であればキャプチャー範囲３５０Ａではない画素を表す。０と１は逆であってもよい。値が１の領域をマスクと言い、この場合、キャプチャー画像５５Ａの形状は指定されたマスクの形となる。マスクの輪郭、すなわち画素の値が１の領域と０の領域の境界が枠に相当する。また、位置は、マスクを配置する表示パネル１２５Ａの位置となる。
図１２は、自由選択モードにおけるキャプチャー範囲３５０Ａの設定例である。自由選択モードは、枠選択モードと同様に表示パネル１２５Ａ上にキャプチャー範囲３５０Ａを示す枠を設定するモードであるが、枠の形状をユーザーが描画することで決定する点が枠選択モードとは異なっている。ユーザーは、マウスの操作や、表示パネル１２５Ａのタッチ操作により、キャプチャー画像５５Ａとして表示させたい画像の範囲を指定する。自由選択モードでは、枠選択モードのような枠の形状の選択は行わない。ユーザーは、マウスや指を移動させることによって枠を描画し、キャプチャー画像５５Ａとして表示させたい画像の範囲を囲むことで、キャプチャー範囲３５０Ａを指定する。図１２の例では、第１プロセッサー１７０Ａは、操作アイコン３３０Ａに表示されたペンのアイコンをユーザーが選択した場合に自由選択モードに移行する。第１プロセッサー１７０Ａは、操作アイコン３３０Ａにおいて枠の形状が選択されずに、表示パネル１２５Ａに対して描画が行われた場合に自由選択モードで動作してもよい。図１２においては、アプリ画像３６０Ａの一部、具体的には、画像編集アプリによって表示されたアプリ画像３６０Ａのうち、自動車が描かれた部分が、枠で囲まれることでキャプチャー範囲３５０Ａに設定されている。
端末装置１００Ａは、表示パネル１２５Ａ上を移動したマウスや指の軌跡を検出して軌跡データを生成する。軌跡データは、描画において指示された点の集合である。軌跡データには、軌跡を構成する各点の座標及び各点が指示された順序を示す情報が含まれる。端末装置１００Ａは、軌跡データにおいて始点と終点とが一致したら、軌跡データが示す輪郭に対する表示パネル１２５Ａの各画素の内外判定を行う。端末装置１００Ａは、軌跡データが示す輪郭の内側と判定された画素をキャプチャー範囲３５０Ａに設定する。端末装置１００Ａは、キャプチャー範囲３５０Ａに含まれる画像をキャプチャーしてキャプチャー画像５５Ａを生成する。この場合、枠の形状及びサイズは、自由選択した座標と座標の順序、すなわち軌跡データによって表され、位置は、例えば軌跡の始点の位置によって表される。
５．第２プロセッサー２７０の動作
次に、第２プロセッサー２７０の動作について説明する。
ホスト装置２００を使用するユーザーの操作によってホスト用会議アプリ２６１が起動されると、第２プロセッサー２７０は、端末装置１００からの会議への参加要求を受け付ける。第２プロセッサー２７０は、端末装置１００Ａから会議への参加要求を受信すると、会議への参加を許可する場合には、会議のセッションを開始する。第２プロセッサー２７０は、端末装置１００Ａの識別情報を取得し、端末装置１００Ａの識別情報を第２記憶部２６０へ記憶させる。ホスト装置２００は、投写用画像１５のサイズ情報を端末装置１００Ａへ送信する。ホスト装置２００は、端末装置１００Ａからキャプチャー画像５５Ａを受信すると、受信したキャプチャー画像５５Ａをアスペクト比を保って縮小することによってサムネイル画像３２５Ａを生成する。ホスト装置２００は、キャプチャー画像５５Ａと、サムネイル画像３２５Ａと、端末装置１００Ａの識別情報とを対応づけて、第２記憶部２６０に記憶させる。第２プロセッサー２７０は、新たな端末装置１００から会議への参加要求を受信する毎に、以上の動作を実行する。また、端末装置１００Ａから新しいキャプチャー画像５５Ａを受信する毎に、新たなサムネイル画像３２５Ａを生成し、第２記憶部２６０に記憶したキャプチャー画像５５Ａ及びサムネイル画像３２５Ａを更新する。
次に、ホスト装置２００は、レイアウト情報２６３を生成する。ホスト装置２００は、会議に参加している端末装置１００の数を、例えば、識別情報の数に基づいて判定する。ホスト装置２００は、端末装置１００の数に対応したレイアウトで、レイアウト情報２６３を生成する。本実施形態においては、第２プロセッサー２７０が最初に生成するレイアウト情報２６３は均等表示のレイアウト情報である。まず、第２プロセッサー２７０は、サムネイル画像３２５を配置する配列を決定する。配列は、例えば、マトリクス配列の行列数と、配列の各位置を示す座標情報とによって表される。第２プロセッサー２７０は、例えば、端末装置１００の数と画像表示領域３２０Ａのアスペクト比とに基づいて、すべてのサムネイル画像３２５を同じサイズで表示した場合に、最も大きなサイズで表示可能な配列を決定してもよい。また、第２プロセッサー２７０は、配列の候補、又は、マトリクス配置の行数及び列数の入力画面を第２表示部２２０に表示させ、ユーザーの入力に基づいてレイアウトを決定してもよい。
続いて、第２プロセッサー２７０は、決定した配列の各座標と、各端末装置１００の識別情報とをそれぞれ対応付けることでレイアウト情報２６３を生成する。第２プロセッサー２７０は、生成したレイアウト情報２６３を第２記憶部２６０に記憶させる。座標と識別情報との組み合わせは任意であるが、例えば、配列の一端から、ホスト装置２００が会議への参加要求を受け付けた順に識別情報を対応付けてもよい。
例えば、端末装置１００の数が１である場合、行列数は１行1列と決定される。座標情報は画像表示領域３２０の中央の座標である。したがって、１つのサムネイル画像３２５が画像表示領域３２０の中央に配置されるレイアウト情報２６３が生成される。
また、端末装置１００の数が３である場合、ホスト装置２００は、例えば、図４に示すように、３つのサムネイル画像３２５Ａ、３２５Ｂ及び３２５Ｃを１行３列に並べた配列を選択する。ここで、端末装置１００Ａ、端末装置１００Ｂ、端末装置１００Ｃの順にホスト装置２００が会議への参加要求を受け付けたとする。参加要求を受け付けた順に、左からサムネイル画像３２５が配置される場合には、第２プロセッサー２７０は、端末装置１００Ａの識別情報と配列の左端の座標、端末装置１００Ｂと配列の中央の座標、端末装置１００Ｃと配列の右端の座標、をそれぞれ対応付けたレイアウト情報２６３を生成する。これにより、図４のように、画像表示領域３２０Ａに左から、サムネイル画像３２５Ａ、サムネイル画像３２５Ｂ、サムネイル画像３２５Ｃが順に配置されるレイアウト情報２６３が得られる。
そして、ホスト装置２００は、生成したレイアウト情報２６３と、レイアウト情報２６３と対応付けられたサムネイル画像３２５とを、第２記憶部２６０から読み出し、会議に参加している各端末装置１００に送信する。
また、第２プロセッサー２７０は、会議に参加している端末装置１００からレイアウト情報２６３を受信すると、第２記憶部２６０に記憶されたレイアウト情報２６３を受信したレイアウト情報２６３で上書きする。そして、第２記憶部２６０から、受信したレイアウト情報２６３とサムネイル画像３２５とを読み出す。第２プロセッサー２７０は、受信したレイアウト情報２６３及びサムネイル画像３２５を、会議に参加している各端末装置１００に送信する。端末装置１００は、それぞれ、受信したレイアウト情報２６３を用いてアプリ画像３００を生成し、表示パネル１２５に表示する。これにより、会議に参加しているすべての端末装置１００において、同じレイアウトでサムネイル画像３２５が表示される。
また、第２プロセッサー２７０は、会議に参加する端末装置１００から一定間隔ごとに受信するキャプチャー画像５５を、第２記憶部２６０に記憶されたレイアウト情報２６３に従って配置し、投写用画像１５を生成する。レイアウト情報２６３は、投写面１０に表示される投写用画像１５に含まれるキャプチャー画像５５の表示位置を示す情報でもある。ホスト装置２００は、端末装置１００から受信したキャプチャー画像５５を、レイアウト情報２６３に対応した配置で展開して投写用画像１５を生成する。第２プロセッサー２７０は、生成した投写用画像１５をプロジェクター５０に送信する。プロジェクター５０は、受信した投写用画像１５を投写面１０に表示させる。これにより、投写面１０には、プロジェクター５０によって投写用画像１５が表示される。
図１３は、投写面１０に表示された投写用画像１５を示す図である。キャプチャー画像５５Ａ～５５Ｃは、サムネイル画像３２５Ａ～３２５Ｃにそれぞれ対応する。図１３は、図４に示すサムネイル画像３２５のレイアウトに対応するレイアウトの投写用画像１５を示す。
図１３には、複数の端末装置１００が異なるキャプチャー範囲３５０を指定した場合のキャプチャー画像５５の例を示す。端末装置１００Ａはアプリ選択モードである。図１３の例では、図９に示したアプリ画像３６０Ａのキャプチャー画像５５Ａが表示されている。端末装置１００Ｂは枠選択モードである。キャプチャー画像５５Ｂは、端末装置１００Ｂが図１１のアプリ画像３６０Ａと同じアプリ画像３６０Ｂを表示し、図１１のキャプチャー範囲３５０Ａと同じキャプチャー範囲３５０Ｂを設定した場合の例である。端末装置１００Ｃは自由選択モードである。キャプチャー画像５５Ｃは、端末装置１００Ｃが図１２のアプリ画像３６０Ａと同じアプリ画像３６０Ｃを表示し、図１２のキャプチャー範囲３５０Ａと同じキャプチャー範囲３５０Ｃを設定した場合の例である。
図１４は、図５に示すサムネイル画像３２５のレイアウトに対応するレイアウトの投写用画像１５を示す。端末装置１００Ａが図５に示すレイアウトのレイアウト情報２６３をホスト装置２００に送信すると、ホスト装置２００は、受信したレイアウト情報を用いて投写用画像１５を生成し、プロジェクター５０に出力する。その結果、投写面１０には、図１４に示すように、図５のレイアウトと同じレイアウトでキャプチャー画像５５を並べた投写用画像１５が表示される。図５はサムネイル画像３２５Ｂが拡大される強調表示のレイアウトであるので、図１４においては、サムネイル画像３２５Ｂに対応するキャプチャー画像５５Ｂが強調表示されている。
図１５及び図１６は、投写面１０に表示された投写用画像１５を示す図である。キャプチャー画像５５Ａ～５５Ｉは、サムネイル画像３２５Ａ～３２５Ｉにそれぞれ対応する。
図１５は、図６に示すサムネイル画像３２５のレイアウトに対応するレイアウトの投写用画像１５を示す。ホスト装置２００は、端末装置１００Ａから受信した、図６に示すレイアウトのレイアウト情報２６３を用いて、投写用画像１５を投写面１０に表示させる。図６はサムネイル画像３２５Ａが拡大される強調表示のレイアウトであるので、図１５においては、サムネイル画像３２５Ａに対応するキャプチャー画像５５Ａが強調表示されている。また、図１５におけるキャプチャー画像５５Ａ～５５Ｉの位置関係は、図６におけるサムネイル画像３２５Ａ～３２５Ｉの位置関係と同じである。
図１５において、キャプチャー画像５５Ａが第１画像に相当する。キャプチャー画像５５Ｂは、キャプチャー画像５５Ａの横に並べた第２画像に相当する。またキャプチャー画像５５Ｄは、キャプチャー画像５５Ｂとは反対側に並べた第４画像に相当する。キャプチャー画像５５Ｃは、キャプチャー画像５５Ａの縦に並べた第３画像に相当する。なお、図６のレイアウトでは、キャプチャー画像５５Ｅ、３２５Ｆ、３２５Ｇ、３２５Ｉのいずれかが第２画像又は第４画像であってもよい。キャプチャー画像５５Ｈが第３画像であってもよい。
図１６は、図７に示すサムネイル画像３２５のレイアウトに対応するレイアウトの投写用画像１５を示す。ホスト装置２００は、端末装置１００Ａから受信した、図７に示すレイアウトのレイアウト情報２６３を用いて、投写用画像１５を投写面１０に表示させる。図７はサムネイル画像３２５Ａが拡大される強調表示のレイアウトであるので、図１６においては、キャプチャー画像５５Ａが強調表示されている。また、図１６におけるキャプチャー画像５５Ａ～５５Ｉの位置関係は、図７におけるサムネイル画像３２５Ａ～３２５Ｉの位置関係と同じである。
図１６において、キャプチャー画像５５Ａが第１画像に相当する。キャプチャー画像５５Ｂが第１画像の横に並べた第２画像に相当する。また、キャプチャー画像５５Ｄが、第２画像と同じ側に並べた第４画像に相当する。また、キャプチャー画像５５Ｃは、キャプチャー画像５５Ａと縦に並べた第３画像に相当する。なお、図７のレイアウトでは、キャプチャー画像５５Ｄ～３２５Ｇのいずれかが第２画像又は第４画像であってもよい。キャプチャー画像５５Ｇ～３２５Ｉのいずれかが第３画像であってもよい。
６．端末装置の動作フローチャート
図１７、図１８及び図１９は、端末装置１００の動作を示すフローチャートである。
図１７、図１８及び図１９に示すフローチャートを参照しながら端末装置１００Ａの動作について説明する。
図１７は、端末装置１００Ａの動作の概要を示すフローチャートである。第１制御部１５０Ａは、クライアント用会議アプリ１６５Ａを起動させる（ステップＳ１）。例えば、第１制御部１５０Ａは、ユーザーの操作によりクライアント用会議アプリ１６５Ａが選択された場合に、クライアント用会議アプリ１６５Ａを起動させる。
第１制御部１５０Ａは、クライアント用会議アプリ１６５Ａを起動させると、アプリ画像３００Ａを表示パネル１２５Ａに表示させる（ステップＳ２）。次に、第１制御部１５０Ａは、会議への参加要求を送信し（ステップＳ３）、会議のセッションが開始されると端末装置１００Ａの識別情報を送信し、ホスト装置２００から投写用画像１５のサイズを示す情報を受信する。
次に、第１制御部１５０Ａは、画像選択が指示されたか否かを判定する（ステップＳ４）。例えば、第１制御部１５０Ａは、画像選択ボタン３１６Ａが押下され場合には、画像選択が指示されたと判定した場合には（ステップＳ４／ＹＥＳ）、キャプチャー範囲３５０Ａを設定する処理を行い（ステップＳ５）、ステップＳ６へ移行する。キャプチャー範囲３５０Ａを設定する処理の詳細は後述する。第１制御部１５０Ａは、画像選択ボタン３１６Ａが押下されていない場合には画像選択が指示されていないと判定し（ステップＳ４／ＮＯ）、ステップＳ５を行わずにステップＳ６へ移行する。
次に、第１制御部１５０Ａは、ステップＳ５２～Ｓ５５で設定されたキャプチャー範囲３５０Ａの画像をキャプチャーしてキャプチャー画像５５Ａを生成する（ステップＳ６）。指定モードに応じてキャプチャー範囲３５０Ａに設定される範囲が異なるので、ステップＳ６で生成されるキャプチャー画像５５Ａは、ステップＳ５で判定された指定モードによって異なる。画像選択が指示されていないと判定した場合（ステップＳ４／ＮＯ）には、ステップＳ６では、過去に設定済みのキャプチャー範囲３５０Ａに基づいてキャプチャー画像５５Ａを生成する。第１制御部１５０Ａは、生成したキャプチャー画像５５Ａをホスト装置２００に送信する（ステップＳ７）。そして、第１制御部１５０Ａは、ステップＳ８へ移行する。なお、ステップＳ３の直後のステップＳ４において画像選択が指示されていないと判定した場合（ステップＳ４／ＮＯ）には、キャプチャー範囲３５０Ａが設定されていない。この場合には、第１制御部１５０Ａは、ステップＳ６及びステップＳ７を省略してステップＳ８へ移行してもよいし、第３モードのキャプチャー範囲３５０Ａを設定してステップＳ６及びステップＳ７を実行してもよい。
次に、第１制御部１５０Ａは、ホスト装置２００からレイアウト情報２６３及びサムネイル画像３２５を受信したか否かを判定する（ステップＳ８）。第１制御部１５０Ａは、レイアウト情報２６３及びサムネイル画像３２５を受信していないと判定した場合には、（ステップＳ８／ＮＯ）、レイアウト情報２６３及びサムネイル画像３２５を受信するまで待機する。第１制御部１５０Ａは、レイアウト情報２６３及びサムネイル画像３２５を受信したと判定すると（ステップＳ８／ＹＥＳ）、受信したレイアウト情報２６３に従って画像表示領域３２０Ａにサムネイル画像３２５を展開してアプリ画像３００Ａを生成し、第１制御部１５０Ａは、生成したアプリ画像３００Ａを表示パネル１２５Ａに表示させる（ステップＳ９）。
次に、第１制御部１５０Ａは、レイアウト操作が指示されたか否かを判定する（ステップＳ１０）。第１制御部１５０Ａは、レイアウトボタンが押下された場合には、レイアウト操作が指示されたと判定し（ステップＳ１０／ＹＥＳ）、レイアウト情報２６３をホスト装置２００に送信する処理を行い（ステップＳ１１）、ステップＳ１２へ移行する。レイアウト情報２６３を送信する処理の詳細は後述する。第１制御部１５０Ａは、レイアウトボタンが押下されていない場合には、レイアウト操作が指示されていないと判定し（ステップＳ１０／ＮＯ）、ステップＳ１１を行わずにステップＳ１２へ移行する。
第１制御部１５０Ａは、退出が指示されたか否かを判定する（ステップＳ１２）。第１制御部１５０Ａは、退出ボタン３１３Ａが押下された場合には、退出が指示されたと判定し（ステップＳ１２／ＹＥＳ）、サムネイル画像３２５の画像表示領域３２０Ａへの表示、及び、端末装置１００Ａとホスト装置２００との通信を終了し、この処理フローを終了させる。また、第１制御部１５０Ａは、退出ボタン３１３Ａが押下されていない場合には退出が指示されていないと判定し（ステップＳ１２／ＮＯ）、ステップＳ４の判定に戻る。
次に、図１４を参照して、ステップＳ５のキャプチャー範囲３５０Ａを設定する処理を詳述する。第１制御部１５０Ａは、画像選択が指示されたと判定すると（ステップＳ４／ＹＥＳ）、インターフェース画像２０を表示パネル１２５Ａに表示させ、ユーザーによる指定モードの選択を受け付ける（ステップＳ５１）。第１制御部１５０Ａはインターフェース画像２０への選択操作を受け付けると、選択された指定モードが第１モード、第２モード、及び第３モードのいずれであるかを判定する（ステップＳ５２）。
第１制御部１５０Ａは、選択された指定モードが第１モードであると判定した場合には（ステップＳ５２／第１モード）、キャプチャー範囲３５０Ａの形状及び位置を指定する操作を受け付ける（ステップＳ５３）。例えば、第１制御部１５０Ａは、表示パネル１２５Ａにおけるユーザーの描画操作を受け付ける。そして、描画された図形の形状及び位置を、キャプチャー範囲３５０Ａの形状及び位置として、キャプチャー範囲３５０Ａを設定する（ステップＳ５５）。第１制御部１５０Ａは、選択された指定モードが第２モードであると判定した場合には（ステップＳ５２／第２モード）、アプリの選択を受け付け（ステップＳ５４）、選択されたアプリをキャプチャー範囲３５０Ａに設定する（ステップＳ５５）。また、第１制御部１５０Ａは、選択された指定モードが第３モードであると判定した場合には（ステップＳ５２／第３モード）、表示パネル１２５Ａに表示される画像の全体をキャプチャー範囲３５０Ａに設定し（ステップＳ５５）、ステップＳ６へ移行する。
次に、図１５を参照して、ステップＳＳ１１のレイアウト情報２６３を送信する処理を説明する。第１制御部１５０Ａは、レイアウト操作が指示されたと判定すると（ステップＳ１０／ＹＥＳ）、指定されたレイアウト強調表示及び均等表示のいずれであるかを判定する（ステップＳ１１１）。例えば、第１制御部１５０Ａは、押下されたレイアウトボタンが強調表示ボタン３１４Ａ及び均等表示ボタン３１５Ａのいずれであるかを判定する。
第１制御部１５０Ａは、強調表示ボタン３１４Ａが押下された場合には、強調表示が指示されたと判定し（ステップＳ１１１／強調）、強調表示するサムネイル画像３２５の選択を受け付ける（ステップＳ１１２）。第１制御部１５０Ａは、強調表示するサムネイル画像３２５の選択を受け付けると、選択されたサムネイル画像３２５が拡大表示される強調表示のレイアウト情報２６３を生成する（ステップＳ１１３）。強調表示においていずれのレイアウトを採用するかは、第１制御部１５０Ａがサムネイル画像３２５の数に応じて決定してもよいし、レイアウトが予め指定されている場合には、そのレイアウトを採用してもよい。
第１制御部１５０Ａは、均等表示ボタン３１５Ａが押下された場合には（ステップＳ１１１／均等）、均等表示のレイアウト情報２６３を生成する（ステップＳ１１４）。そして、第１制御部１５０Ａは、ステップＳ１１３またステップＳ１１４で生成したレイアウト情報２６３を、ホスト装置２００に送信する（ステップＳ１１５）。その後、第１制御部１５０Ａは、図１７に示すステップＳ１０の判定へ移行する。
７．ホスト装置の動作フローチャート
図２０は、ホスト装置２００の動作を示すフローチャートである。
図２０に示すフローチャートを参照しながらホスト装置２００の動作を説明する。
まず、ホスト用会議アプリ２６１が起動されると、第２制御部２５０は、端末装置１００からの参加要求の受け付けを開始する（ステップＴ１）。第２制御部２５０は、端末装置１００から参加要求を受信すると、参加要求を送信した端末装置１００との間で会議のセッションを開始する。また、ホスト装置２００は、参加要求を送信した端末装置１００から識別情報を受信し、第２記憶部２６０へ記憶させる。ホスト装置２００は、投写用画像１５のサイズ情報を端末装置１００へ送信する。第２記憶部２６０は以上の動作を、新たな参加要求を受信する毎に繰り返す。
第２制御部２５０は、投写用画像１５、及びサムネイル画像３２５の更新タイミングであるか否かを判定する（ステップＴ２）。第２制御部２５０は、例えば前回の更新時刻からの経過時間に基づき、更新タイミングであるか否かを判定する。更新タイミングであると判定した場合には（ステップＴ２／ＹＥＳ）、ステップＴ３へ移行する。また、第２制御部２５０は、更新タイミングではないと判定した場合には、更新タイミングまで待機する（ステップＴ２／ＮＯ）。
第２制御部２５０は、更新タイミングであると判定した場合には（ステップＴ２／ＹＥＳ）、端末装置１００からキャプチャー画像５５を受信したか否かを判定する（ステップＴ３）。第２制御部２５０は、識別情報を記憶した端末装置１００のいずれからもキャプチャー画像５５を受信していないと判定した場合（ステップＴ３／ＮＯ）、ステップＴ５へ移行する。
第２制御部２５０は、識別情報を記憶した端末装置１００のうち１台以上からキャプチャー画像５５を受信したと判定した場合には（ステップＴ３／ＹＥＳ）、受信したキャプチャー画像５５を縮小してサムネイル画像３２５を生成する（ステップＴ４）。第２記憶部２６０は、受信したキャプチャー画像５５、及び、生成したサムネイル画像３２５を、キャプチャー画像５５を送信した端末装置１００の識別情報と対応付けて第２記憶部２６０に記憶する。
次に、第２制御部２５０は、いずれかの端末装置１００からレイアウト情報２６３を受信したか否かを判定する（ステップＴ５）。第２制御部２５０は、レイアウト情報２６３を受信したと判定した場合には（ステップＴ５／ＹＥＳ）、第２記憶部２６０のレイアウト情報２６３を受信したレイアウト情報２６３に更新し、ステップＴ８へ移行する。
第２制御部２５０は、レイアウト情報２６３を受信しなかった場合には（ステップＴ５／ＮＯ）、続いて、会議へ参加している端末装置１００の台数に変更があったか否かを判定する（ステップＴ６）。第２制御部２５０は、例えば、第２記憶部２６０に記憶された識別情報の数が、現在参照しているレイアウト情報２６３に含まれる識別情報の数と一致するか否かに基づいて、台数に変更があったか否かを判定する。第２制御部２５０は、識別情報の数が一致した場合には、台数に変更はないと判定し（ステップＴ６／ＮＯ）、ステップＳ１０へ移行する。
第２制御部２５０は、識別情報が一致しない場合には、台数に変更があったと判定し（ステップＴ６／ＹＥＳ）、新たなレイアウト情報２６３を生成する（ステップＴ７）。第２制御部２５０は、第２記憶部２６０に記憶された最新の識別情報の数に基づいて、新たなレイアウトを決定する。第２記憶部２６０は、例えば、直前のレイアウトが均等表示である場合、及び、直前のレイアウト情報２６３が存在しない場合には、均等表示のレイアウト情報２６３を生成してもよい。第２制御部２５０は、直前のレイアウトが強調表示である場合には、選択されたサムネイル画像３２５を拡大する強調表示のレイアウト情報２６３を生成してもよい。なお、台数が変化していることから、第２制御部２５０は、直前のレイアウトによらず、識別情報の数に応じた均等表示のレイアウト情報２６３を生成してもよい第２制御部２５０は、生成したレイアウト情報２６３を第２記憶部２６０に記憶させる。
次に、第２制御部２５０は、第２記憶部２６０に記憶された最新のレイアウト情報２６３及び最新のサムネイル画像３２５を各端末装置１００に送信する（ステップＴ８）。端末装置１００からレイアウト情報２６３を受信した場合には（ステップＴ５／ＹＥＳ）受信したレイアウト情報２６３が送信され、第２制御部２５０が新たなレイアウト情報２６３を生成した場合には（ステップＴ７）、第２制御部２５０が生成したレイアウト情報２６３が送信される。
次に、第２制御部２５０は、第２記憶部２６０に記憶された最新のレイアウト情報２６３に従ってキャプチャー画像５５を展開し、投写用画像１５を生成する（ステップＴ９）。第２制御部２５０は、生成した投写用画像１５をプロジェクター５０に送信し、プロジェクター５０によって投写用画像１５を表示させる（ステップＴ１０）。
その後、第２制御部２５０は、会議の終了が指示されたか否かを判定する（ステップＴ１１）。例えば、第２制御部２５０は、ホスト用会議アプリ２６１に対して会議又はアプリの終了を指示する操作を受け付けたか否かに基づいて、会議の終了が指示されたか否かを判定する。第２制御部２５０は、アプリの終了を指示する操作を受け付けていない場合には、会議の終了が指示されていないと判定し（ステップＴ１１／ＮＯ）、ステップＴ２に戻り、一連の処理を繰り返す。第２制御部２５０は、アプリの終了を指示する操作を受け付けた場合には、会議の終了が指示されたと判定し（ステップＴ１１／ＹＥＳ）、端末装置１００、及びプロジェクター５０との通信を終了し、この処理フローを終了させる。
８．まとめ
端末装置１００Ａが、画像の範囲を指定する複数のモードのうち端末装置１００Ａが使用する指定モードを選択する操作を受け付け、端末装置１００Ａが生成する画像のうち、受け付けた指定モードによって指定されるキャプチャー範囲３５０Ａの画像であるキャプチャー画像５５Ａを出力する。端末装置１００Ｂが、複数の指定モードのうち端末装置１００Ｂが使用する指定モードを選択する操作を受け付け、端末装置１００Ｂが生成する画像のうち、受け付けた指定モードにより指定される第２範囲の画像であるキャプチャー画像５５Ｂを出力する。プロジェクター５０が、キャプチャー画像５５Ａとキャプチャー画像５５Ｂとを並べた画像を表示する。
このため、端末装置１００Ａの指定モードと、端末装置１００Ｂの指定モードとをそれぞれ選択することで、端末装置１００Ａ及び１００Ｂで選択された指定モードにより指定されるキャプチャー範囲３５０Ａ及びキャプチャー範囲３５０Ｂにそれぞれ対応するキャプチャー画像５５Ａ及びキャプチャー画像５５Ｂを並べた投写用画像１５を、プロジェクター５０に表示させることができる。
従って、端末装置１００Ａと端末装置１００Ｂとで、それぞれプロジェクター５０に表示させる画像の範囲を選択できるので、投写する画像の選択の自由度を高め、ユーザーの利便性を向上させることができる。
端末装置１００Ａは、表示パネル１２５Ａを含む。複数の指定モードには、枠選択モード及び自由選択モードを含む。指定モードとして枠選択モード又は自由選択モードが選択された場合、端末装置１００Ａが、キャプチャー範囲３５０Ａの形状、及び、表示パネル１２５Ａにおけるキャプチャー範囲３５０Ａの位置の指定を受け付ける。
端末装置１００Ａは、表示パネル１２５Ａの位置において形状を有するキャプチャー範囲３５０Ａに表示される画像をキャプチャー画像５５Ａとして出力することで、キャプチャー画像５５Ａを出力する。
従って、ユーザーは、表示パネル１２５上の画像を、所望の位置及び形状でキャプチャー画像５５として表示装置に出力できるので、画像選択の自由度を高め、ユーザーの利便性を向上させることができる。
複数の指定モードには、アプリ選択モードが含まれる。端末装置１００Ａは、指定モードとしてアプリ選択モードが選択された場合、アプリを選択する操作を受け付ける。
端末装置１００Ａは、アプリによって生成されるアプリ画像３６０をキャプチャー画像５５Ａとして出力することでキャプチャー画像５５Ａを出力する。
従って、選択したアプリにより生成されるアプリ画像３６０をキャプチャー画像５５Ａとして出力することができ、ユーザーの利便性を向上させることができる。
指定モードが枠選択モード又は自由選択モードであり、キャプチャー範囲３５０Ａに、アプリによって生成されるアプリ画像３６０の一部が含まれる場合に、端末装置１００Ａは、アプリ画像３６０の一部を含むキャプチャー画像５５Ａを出力することでキャプチャー画像５５Ａを出力する。
従って、表示パネル１２５上に指定したキャプチャー範囲３５０Ａに含まれる画像として、アプリにより生成されるアプリ画像３６０の一部を含む画像をキャプチャー画像５５Ａとして出力することができるので、ユーザーの利便性を向上させることができる。
端末装置１００Ｃは、キャプチャー画像５５Ｃを出力し、端末装置１００Ａは、画像のレイアウトを指定する操作を受け付ける。
プロジェクター５０は、キャプチャー画像５５Ａと、キャプチャー画像５５Ｂと、キャプチャー画像５５Ｃとをレイアウトで並べた画像を表示する。
レイアウトを指定する操作は、キャプチャー画像５５Ａ、キャプチャー画像５５Ｂ及びキャプチャー画像５５Ｃから、画像において拡大表示させる画像を選択する操作を含む。
従って、投写用画像１５に含まれるキャプチャー画像５５Ａ、キャプチャー画像５５Ｂ及びキャプチャー画像５５Ｃから拡大表示させる画像を選択することができ、ユーザーの利便性を向上させることができる。
プロジェクター５０は、画像を表示する場合、拡大表示させる画像がキャプチャー画像５５Ａであるときは、拡大したキャプチャー画像５５Ａと、拡大したキャプチャー画像５５Ａの横に並べたキャプチャー画像５５Ｂと、拡大したキャプチャー画像５５Ａと縦に並べたキャプチャー画像５５Ｃと、を含む画像を表示する。
従って、キャプチャー画像５５Ａ、３２５Ｂ及び３２５Ｃを含み、キャプチャー画像５５Ａを拡大表示させる投写用画像１５を投写面１０に表示させる場合に、好適なレイアウトで表示することができる。
端末装置１００Ｄは、キャプチャー画像５５Ｄを出力する。
プロジェクター５０は、画像を表示する場合、拡大したキャプチャー画像５５Ａと、拡大したキャプチャー画像５５Ａの横に並べたキャプチャー画像５５Ｂと、拡大したキャプチャー画像５５Ａと縦に並べたキャプチャー画像５５Ｃと、拡大したキャプチャー画像５５Ａに対してキャプチャー画像５５Ｂとは反対側に並べたキャプチャー画像５５Ｄと、を含む画像を表示する。
また、端末装置１００Ｄは、キャプチャー画像５５Ｄを出力する。
プロジェクター５０は、画像を表示する場合、拡大したキャプチャー画像５５Ａと、拡大したキャプチャー画像５５Ａの横に並べたキャプチャー画像５５Ｂと、拡大したキャプチャー画像５５Ａと縦に並べたキャプチャー画像５５Ｃと、拡大したキャプチャー画像５５Ａに対してキャプチャー画像５５Ｂと同じ側に並べたキャプチャー画像５５Ｄと、を含む画像を１つの画面に表示する。
従って、キャプチャー画像５５Ａ、５５Ｂ、５５Ｃ及び５５Ｄを含み、キャプチャー画像５５Ａを拡大表示させる投写用画像１５を投写面１０に表示させる場合に、好適なレイアウトで表示することができる。
本実施形態の表示システム１は、端末装置１００Ａと、端末装置１００Ｂと、プロジェクター５０と、を含む。
端末装置１００Ａは、画像の範囲を指定する複数の指定モードのうち端末装置１００Ａが使用する指定モードを選択する操作を受け付け、端末装置１００Ａが生成する画像のうち、選択された指定モードによって指定されるキャプチャー範囲３５０Ａの画像であるキャプチャー画像５５Ａを出力する第１プロセッサー１７０Ａを備える。
端末装置１００Ｂは、複数のモードのうち端末装置１００Ｂが使用する指定モードを選択する操作を受け付け、端末装置１００Ｂが生成する画像のうち、選択された指定モードによって指定されるキャプチャー範囲３５０Ｂの画像であるキャプチャー画像５５Ｂを出力する第１プロセッサー１７０Ｂを備える。
プロジェクター５０は、キャプチャー画像５５Ａとキャプチャー画像５５Ｂとを並べた画像を表示する光学デバイスを含む。
このため、端末装置１００Ａの指定モードと、端末装置１００Ｂの指定モードとをそれぞれ選択することで、端末装置１００Ａ及び１００Ｂで選択された指定モードにより指定されるキャプチャー範囲３５０Ａ及びキャプチャー範囲３５０Ｂにそれぞれ対応するキャプチャー画像５５Ａ及びキャプチャー画像５５Ｂを並べた投写用画像１５を、プロジェクター５０に表示させることができる。
従って、端末装置１００Ａと端末装置１００Ｂとで、それぞれにプロジェクター５０に表示させる画像の範囲を選択できるので、投写する画像の選択の自由度を高め、ユーザーの利便性を向上させることができる。
上述した実施形態は、本発明の好適な実施の形態である。但し、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、ホスト装置２００が端末装置１００に、レイアウト情報２６３とサムネイル画像３２５とを送信する例を説明した。ホスト装置２００から端末装置１００に送信するデータ量を削減するため、ホスト装置２００は、レイアウト情報２６３だけを端末装置１００に送信する構成であってもよい。この場合には、端末装置１００は、サムネイル画像３２５を表示しない。端末装置１００は、レイアウト情報２６３を受信すると、キャプチャー画像５５の表示領域を示す枠の画像を、画像表示領域３２０のレイアウト情報によって指定された位置に表示させる。
また、上述した実施形態では、端末装置１００はクライアント用会議アプリ１６５Ａを実行し、ホスト装置２００はホスト用会議アプリ２６１を実行した。上述の例のようにクライアント用会議アプリ１６５Ａとホスト用会議アプリ２６１はそれぞれ別のソフトウェアであってもよいが、単独のソフトウェアに、両方の機能が搭載されていてもよい。その場合には、端末装置１００とホスト装置２００とは、同一の会議アプリを実行することで、それぞれの機能を実現する。
また、上述した実施形態では、端末装置１００からのキャプチャー画像５５を用いてアプリ画像３００及び投写用画像１５を生成し、表示した。ホスト装置２００が実行するアプリがクライアント用会議アプリ１６５Ａの機能を含む場合には、ホスト装置２００は、ホスト装置２００及び端末装置１００の両方として機能してもよい。すなわち、ホスト装置２００のキャプチャー画像５５を含むアプリ画像３００及び投写用画像１５を表示してもよい。
また、上述した実施形態では、複数の端末装置１００が会議に参加したが、キャプチャー画像５５を生成する装置は1台以上であればよい。例えば、端末装置１００Ａのキャプチャー画像５５Ａのみを使用してもよく、ホスト装置２００が実行するアプリがクライアント用会議アプリ１６５Ａの機能を含む場合には、ホスト装置２００が生成するキャプチャー画像５５のみを使用してもよい。
また、上述した実施形態では、会議を行うシステム及びアプリを例に説明したが、表示システムの用途は、会議用に限定されない。実施形態の表示システム及び表示制御方法は、複数の端末装置１００からのキャプチャー画像５５を並べた投写用画像１５を表示する任意の用途に、好適に使用することができる。
上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター５０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。図３に示すホスト装置２００についても同様である。
また、図１７～図１９に示す端末装置１００の処理を示すフローチャートは、第１制御部１５０Ａ処理を理解容易にするために、主な処理内容に応じて分割したものである。図１７～図２０に示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、第１制御部１５０Ａの処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように統合することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。図２０に示す第２制御部２５０の処理を示すフローチャートについても同様である。
また、端末装置１００及びホスト装置２００が備えるコンピューターを用いて表示制御方法を実現する場合、これらのコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
１０…投写面、５０…プロジェクター、５０Ａ…プロジェクター、５５…キャプチャー画像、５５Ａ～５５Ｄ…キャプチャー画像、１００、１００Ａ～１００Ｄ…端末装置、１１０…第１無線通信部、１２０…第１表示部、１３０…第１操作部、１４０…撮影部、１５０…第１制御部、１６０…第１記憶部、１６５…クライアント用会議アプリ、１７０…第１プロセッサー、２００…ホスト装置、２１０…第２無線通信部、２２０…第２表示部、２３０…第２操作部、２５０…第２制御部、２６０…第２記憶部、２６１…ホスト用会議アプリ、２６３…ユーザー管理テーブル、２６５…会議予定テーブル、２７０…第２プロセッサー、３００…アプリ画像、３１０…ボタン表示領域、３１１…ログインボタン、３１２…参加ボタン、３１３…退出ボタン、３１４…強調表示ボタン、３１５…均等表示ボタン、３１６…画像選択ボタン、３２０…画像表示領域、３２５、３２５Ａ～３２５Ｉサムネイル画像、３５０…キャプチャー範囲、３６０…アプリ画像、３７０…撮影画像。
第２プロセッサー２７０は、第２記憶部２６０を参照して、ホスト用会議アプリ２６１を含むアプリを実行する。第２プロセッサー２７０は、ホスト用会議アプリ２６１を実行することにより、端末装置１００から受信したキャプチャー画像５５に基づいて投写用画像１５を生成する。キャプチャー画像５５は、ユーザーにより選択された画像を第１プロセッサー１７０がキャプチャーして生成する画像である。また、第２プロセッサー２７０は、サムネイル画像３２５の生成及び送信、レイアウト情報２６３の生成及び送受信等を行う。
第２プロセッサー２７０がホスト用会議アプリ２６１を実行したときの動作については後述する。
４．第１プロセッサーの動作
４．１．基本的な動作
次に、クライアント用会議アプリ１６５Ａを実行する第１プロセッサー１７０Ａの動作について説明する。ここまでと同様、端末装置１００Ａを例に説明するが、各端末装置１００は端末装置１００Ａと同様の機能を有し、同様の動作を実行することが可能である。図４は、表示パネル１２５Ａに表示されるアプリ画像３００Ａの一例を示す図である。
アプリ画像３００Ａには、ボタン表示領域３１０Ａと、画像表示領域３２０Ａとが含まれる。
ボタン表示領域３１０Ａには、参加ボタン３１２Ａ、退出ボタン３１３Ａ、強調表示ボタン３１４Ａ、均等表示ボタン３１５Ａ及び画像選択ボタン３１６Ａが表示される。
図９は、全画面選択モードにおけるキャプチャー範囲３５０Ａの設定例である。全画面選択モードは、表示パネル１２５に表示される画像の全体をキャプチャー範囲３５０Ａとするモードである。全画面選択ボタン２１が押下されると、第１プロセッサー１７０Ａは全画面選択モードに移行する。全画面選択モードにおいては、第１プロセッサー１７０Ａは、表示パネル１２５Ａに表示される画像の全体をキャプチャー範囲３５０Ａに設定する。第１プロセッサー１７０Ａは、アプリ画像３００Ａを最小化又は透明化することによって、キャプチャー範囲３５０Ａに設定された表示パネル１２５の画像をユーザーに視認させてもよい。このとき、表示パネル１２５の外周に図９のような枠線を表示してもよい。なお、全画面選択モードにおいてはキャプチャー画像５５Ａの表示は行わなくてもよい。
図１１では、カメラアプリが第１記憶部１６０Ａを参照して生成したアプリ画像３６０Ａとして表示され、そのうちの一部が四角形の枠で囲まれてキャプチャー範囲３５０Ａに設定されている。第１プロセッサー１７０Ａは、キャプチャー範囲３５０Ａに含まれる画像をキャプチャーするので、枠選択モードでは、表示パネル１２５Ａに表示される画像のうち、枠で囲まれた内側の部分がキャプチャーされる。従って、図１１のように、アプリ画像３６０Ａのうち枠で囲まれた一部をキャプチャー画像５５Ａとすることが可能である。また、アプリ画像３６０Ａの一部と、表示パネル１２５Ａに表示された他の画像とを含む範囲をキャプチャー範囲３５０Ａに設定してもよい。また、枠選択モードでは、表示パネル１２５Ａ上の範囲が指定されるので、例えば、表示パネル１２５Ａに表示されたアプリのウィンドウの位置を移動させることで、キャプチャー範囲３５０Ａに所望の画像を表示させたり、非表示にさせたりすることも可能である。
図１５において、キャプチャー画像５５Ａが第１画像に相当する。キャプチャー画像５５Ｂは、キャプチャー画像５５Ａの横に並べた第２画像に相当する。またキャプチャー画像５５Ｄは、キャプチャー画像５５Ｂとは反対側に並べた第４画像に相当する。キャプチャー画像５５Ｃは、キャプチャー画像５５Ａの縦に並べた第３画像に相当する。なお、図６のレイアウトでは、キャプチャー画像５５Ｅ、５５Ｆ、５５Ｇ、５５Ｉのいずれかが第２画像又は第４画像であってもよい。キャプチャー画像５５Ｈが第３画像であってもよい。
図１６において、キャプチャー画像５５Ａが第１画像に相当する。キャプチャー画像５５Ｂが第１画像の横に並べた第２画像に相当する。また、キャプチャー画像５５Ｄが、第２画像と同じ側に並べた第４画像に相当する。また、キャプチャー画像５５Ｃは、キャプチャー画像５５Ａと縦に並べた第３画像に相当する。なお、図７のレイアウトでは、キャプチャー画像５５Ｄ～５５Ｇのいずれかが第２画像又は第４画像であってもよい。キャプチャー画像５５Ｇ～５５Ｉのいずれかが第３画像であってもよい。
６．端末装置の動作フローチャート
図１７、図１８及び図１９は、端末装置１００Ａの動作を示すフローチャートである。
図１７、図１８及び図１９に示すフローチャートを参照しながら端末装置１００Ａの動作について説明する。
図１７は、端末装置１００Ａの動作の概要を示すフローチャートである。第１制御部１５０Ａは、クライアント用会議アプリ１６５Ａを起動させる（ステップＳ１）。例えば、第１制御部１５０Ａは、ユーザーの操作によりクライアント用会議アプリ１６５Ａが選択された場合に、クライアント用会議アプリ１６５Ａを起動させる。
次に、第１制御部１５０Ａは、画像選択が指示されたか否かを判定する（ステップＳ４）。例えば、第１制御部１５０Ａは、画像選択ボタン３１６Ａが押下され場合には、画像選択が指示されたと判定し（ステップＳ４／ＹＥＳ）、キャプチャー範囲３５０Ａを設定する処理を行い（ステップＳ５）、ステップＳ６へ移行する。キャプチャー範囲３５０Ａを設定する処理の詳細は後述する。第１制御部１５０Ａは、画像選択ボタン３１６Ａが押下されていない場合には画像選択が指示されていないと判定し（ステップＳ４／ＮＯ）、ステップＳ５を行わずにステップＳ６へ移行する。
次に、図１５を参照して、ステップＳ１１のレイアウト情報２６３を送信する処理を説明する。第１制御部１５０Ａは、レイアウト操作が指示されたと判定すると（ステップＳ１０／ＹＥＳ）、指定されたレイアウトが強調表示及び均等表示のいずれであるかを判定する（ステップＳ１１１）。例えば、第１制御部１５０Ａは、押下されたレイアウトボタンが強調表示ボタン３１４Ａ及び均等表示ボタン３１５Ａのいずれであるかを判定する。
７．ホスト装置の動作フローチャート
図２０は、ホスト装置２００の動作を示すフローチャートである。
図２０に示すフローチャートを参照しながらホスト装置２００の動作を説明する。
まず、ホスト用会議アプリ２６１が起動されると、第２制御部２５０は、端末装置１００からの参加要求の受け付けを開始する（ステップＴ１）。第２制御部２５０は、端末装置１００から参加要求を受信すると、参加要求を送信した端末装置１００との間で会議のセッションを開始する。また、ホスト装置２００は、参加要求を送信した端末装置１００から識別情報を受信し、第２記憶部２６０へ記憶させる。ホスト装置２００は、投写用画像１５のサイズ情報を端末装置１００へ送信する。第２制御部２５０は以上の動作を、新たな参加要求を受信する毎に繰り返す。
第２制御部２５０は、識別情報が一致しない場合には、台数に変更があったと判定し（ステップＴ６／ＹＥＳ）、新たなレイアウト情報２６３を生成する（ステップＴ７）。第２制御部２５０は、第２記憶部２６０に記憶された最新の識別情報の数に基づいて、新たなレイアウトを決定する。第２制御部２５０は、例えば、直前のレイアウトが均等表示である場合、及び、直前のレイアウト情報２６３が存在しない場合には、均等表示のレイアウト情報２６３を生成してもよい。第２制御部２５０は、直前のレイアウトが強調表示である場合には、選択されたサムネイル画像３２５を拡大する強調表示のレイアウト情報２６３を生成してもよい。なお、台数が変化していることから、第２制御部２５０は、直前のレイアウトによらず、識別情報の数に応じた均等表示のレイアウト情報２６３を生成してもよい。第２制御部２５０は、生成したレイアウト情報２６３を第２記憶部２６０に記憶させる。
プロジェクター５０は、画像を表示する場合、拡大表示させる画像がキャプチャー画像５５Ａであるときは、拡大したキャプチャー画像５５Ａと、拡大したキャプチャー画像５５Ａの横に並べたキャプチャー画像５５Ｂと、拡大したキャプチャー画像５５Ａと縦に並べたキャプチャー画像５５Ｃと、を含む画像を表示する。
従って、キャプチャー画像５５Ａ、５５Ｂ及び５５Ｃを含み、キャプチャー画像５５Ａを拡大表示させる投写用画像１５を投写面１０に表示させる場合に、好適なレイアウトで表示することができる。

Claims (9)

  1. 第１端末装置が、
    画像の範囲を指定する複数のモードのうち前記第１端末装置が使用するモードである第１端末用モードを選択する操作を受け付けることと、
    前記第１端末装置が生成する画像のうち、前記第１端末用モードによって指定される第１範囲の画像である第１画像を出力することと、
    第２端末装置が、
    前記複数のモードのうち前記第２端末装置が使用するモードである第２端末用モードを選択する操作を受け付けることと、
    前記第２端末装置が生成する画像のうち、前記第２端末用モードによって指定される第２範囲の画像である第２画像を出力することと、
    表示装置が、
    前記第１画像と前記第２画像とを並べた画像を表示することと、
    を含む、表示制御方法。
  2. 前記第１端末装置は第１画面を含み、
    前記複数のモードは、第１モードを含み、
    前記第１端末用モードが前記第１モードである場合に、前記第１端末装置が、前記第１範囲の形状、及び、前記第１画面における前記第１範囲の位置の指定を受け付けること、をさらに含み、
    前記第１画像を出力することは、
    前記第１画面の前記位置において前記形状を有する前記第１範囲に表示される画像を前記第１画像として出力することを含む、請求項１記載の表示制御方法。
  3. 前記複数のモードは、第２モードを含み、
    前記第１端末用モードが前記第２モードである場合に、前記第１端末装置が、アプリケーションプログラムを選択する操作を受け付けることをさらに含み、
    前記第１画像を出力することは、前記アプリケーションプログラムによって生成されるアプリ画像を前記第１画像として出力することを含む、請求項１又は２記載の表示制御方法。
  4. 前記第１端末用モードが前記第１モードであり、前記第１範囲に、アプリケーションプログラムによって生成されるアプリ画像の一部が含まれる場合に、
    前記第１画像を出力することは、前記アプリ画像の一部を含む前記第１画像を出力することを含む、請求項２記載の表示制御方法。
  5. 第３端末装置が、第３画像を出力することと、
    前記第１端末装置が、前記画像のレイアウトを指定する操作を受け付けることと、をさらに含み、
    前記画像を表示することは、前記表示装置が、前記第１画像と、前記第２画像と、前記第３画像とを前記レイアウトで並べた前記画像を表示することと、を含み、
    前記レイアウトを指定する操作は、前記第１画像、前記第２画像及び前記第３画像から、前記画像において拡大表示させる画像を選択する操作を含む、請求項１から４のいずれか一項に記載の表示制御方法。
  6. 前記拡大表示させる画像が前記第１画像である場合に、
    前記画像を表示することは、前記表示装置が、拡大した第１画像と、前記拡大した第１画像の横に並べた前記第２画像と、前記拡大した第１画像と縦に並べた前記第３画像と、を含む前記画像を表示すること、を含む、請求項５に記載の表示制御方法。
  7. 第４端末装置が、第４画像を出力することをさらに含み、
    前記画像を表示することは、前記表示装置が、前記拡大した第１画像と、前記拡大した第１画像の横に並べた前記第２画像と、前記拡大した第１画像と縦に並べた前記第３画像と、前記拡大した第１画像に対して前記第２画像とは反対側に並べた前記第４画像と、を含む前記画像を表示すること、を含む、請求項６に記載の表示制御方法。
  8. 第４端末装置が、第４画像を出力することをさらに含み、
    前記画像を表示することは、前記拡大した第１画像と、前記拡大した第１画像の横に並べた前記第２画像と、前記拡大した第１画像と縦に並べた前記第３画像と、前記拡大した第１画像に対して前記第２画像と同じ側に並べた第４画像と、を含む前記画像を表示すること、を含む、請求項６に記載の表示制御方法。
  9. 第１端末装置と、第２端末装置と、表示装置と、を含む表示システムであって、
    前記第１端末装置は、
    画像の範囲を指定する複数のモードのうち前記第１端末装置が使用するモードである第１端末用モードを選択する操作を受け付けることと、
    前記第１端末装置が生成する画像のうち、前記第１端末用モードによって指定される第１範囲の画像である第１画像を出力することと、
    を実行する少なくとも１つの第１プロセッサーを含み、
    前記第２端末装置は、
    前記複数のモードのうち前記第２端末装置が使用するモードである第２端末用モードを選択する操作を受け付けることと、
    前記第２端末装置が生成する画像のうち、前記第２端末用モードによって指定される第２範囲の画像である第２画像を出力することと、
    を実行する少なくとも１つの第２プロセッサーを含み、
    前記表示装置は、
    前記第１画像と前記第２画像とを並べた画像を表示する光学デバイスを含む、表示システム。
JP2021056788A 2021-03-30 2021-03-30 表示制御方法及び表示システム Withdrawn JP2022153986A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021056788A JP2022153986A (ja) 2021-03-30 2021-03-30 表示制御方法及び表示システム
CN202210309733.8A CN115225946B (zh) 2021-03-30 2022-03-28 显示控制方法以及显示系统
US17/707,397 US20220319081A1 (en) 2021-03-30 2022-03-29 Display control method and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021056788A JP2022153986A (ja) 2021-03-30 2021-03-30 表示制御方法及び表示システム

Publications (1)

Publication Number Publication Date
JP2022153986A true JP2022153986A (ja) 2022-10-13

Family

ID=83449998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021056788A Withdrawn JP2022153986A (ja) 2021-03-30 2021-03-30 表示制御方法及び表示システム

Country Status (3)

Country Link
US (1) US20220319081A1 (ja)
JP (1) JP2022153986A (ja)
CN (1) CN115225946B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200257544A1 (en) * 2019-02-07 2020-08-13 Goldmine World, Inc. Personalized language conversion device for automatic translation of software interfaces

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054134A (ja) * 2002-07-23 2004-02-19 Seiko Epson Corp ネットワーク対応表示装置および表示制御プログラム
JP2004054783A (ja) * 2002-07-23 2004-02-19 Seiko Epson Corp ネットワーク対応表示装置およびネットワーク対応プロジェクタ
JP2009212657A (ja) * 2008-03-03 2009-09-17 Brother Ind Ltd サーバ装置及びそれを備えたプロジェクタ及び表示システム
JP2011215530A (ja) * 2010-04-02 2011-10-27 Seiko Epson Corp 投写画面制御方法、プロジェクターシステム、プロジェクターおよびプログラム
JP2011242713A (ja) * 2010-05-21 2011-12-01 Seiko Epson Corp 画像表示システム及びその制御方法、並びにプログラム
JP2013175211A (ja) * 2013-04-09 2013-09-05 Olympus Imaging Corp 画像表示装置および画像表示方法
JP2018163234A (ja) * 2017-03-24 2018-10-18 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2019015834A (ja) * 2017-07-06 2019-01-31 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP2020194107A (ja) * 2019-05-29 2020-12-03 セイコーエプソン株式会社 表示装置の制御方法、及び表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4688996B2 (ja) * 2000-01-31 2011-05-25 キヤノン株式会社 映像表示装置、その制御方法および記憶媒体
JP5442393B2 (ja) * 2009-10-29 2014-03-12 日立コンシューマエレクトロニクス株式会社 表示装置
JP5585506B2 (ja) * 2011-03-18 2014-09-10 セイコーエプソン株式会社 プログラム、情報記憶媒体、端末装置、及び表示システム
JP6147825B2 (ja) * 2015-09-29 2017-06-14 株式会社東芝 電子機器および方法
JP7147317B2 (ja) * 2018-07-20 2022-10-05 オムロンヘルスケア株式会社 端末装置、情報処理方法、及びプログラム
JP7201355B2 (ja) * 2018-07-23 2023-01-10 シャープ株式会社 携帯端末装置及び携帯端末装置の表示制御方法
JP2020042370A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 表示制御装置
TWI780497B (zh) * 2020-10-07 2022-10-11 佳世達科技股份有限公司 顯示系統、顯示方法及顯示器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054134A (ja) * 2002-07-23 2004-02-19 Seiko Epson Corp ネットワーク対応表示装置および表示制御プログラム
JP2004054783A (ja) * 2002-07-23 2004-02-19 Seiko Epson Corp ネットワーク対応表示装置およびネットワーク対応プロジェクタ
JP2009212657A (ja) * 2008-03-03 2009-09-17 Brother Ind Ltd サーバ装置及びそれを備えたプロジェクタ及び表示システム
JP2011215530A (ja) * 2010-04-02 2011-10-27 Seiko Epson Corp 投写画面制御方法、プロジェクターシステム、プロジェクターおよびプログラム
JP2011242713A (ja) * 2010-05-21 2011-12-01 Seiko Epson Corp 画像表示システム及びその制御方法、並びにプログラム
JP2013175211A (ja) * 2013-04-09 2013-09-05 Olympus Imaging Corp 画像表示装置および画像表示方法
JP2018163234A (ja) * 2017-03-24 2018-10-18 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2019015834A (ja) * 2017-07-06 2019-01-31 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP2020194107A (ja) * 2019-05-29 2020-12-03 セイコーエプソン株式会社 表示装置の制御方法、及び表示装置

Also Published As

Publication number Publication date
US20220319081A1 (en) 2022-10-06
CN115225946B (zh) 2024-01-12
CN115225946A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US8745509B2 (en) Image display system, graphical user interface, and image display method
US8791877B2 (en) Image display system, image display device, and image display method
US20150109400A1 (en) Method, Apparatus and System for Controlling Multipicture Display
EP2897043B1 (en) Display apparatus, display system, and display method
US20100185955A1 (en) Image Display Device and Image Display System
JP2010175738A (ja) 表示制御装置および表示制御方法
JP2015156008A (ja) プロジェクター、表示装置、表示システムおよび表示装置の制御方法
KR20130035785A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20130332884A1 (en) Display control apparatus and control method thereof
CN102739934A (zh) 图像处理装置、图像处理方法、图像处理程序和成像装置
WO2019214655A1 (zh) 用户界面显示方法及设备
JP6540367B2 (ja) 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム
JP2017102635A (ja) 通信端末、通信システム、通信制御方法、及びプログラム
CN115225946B (zh) 显示控制方法以及显示系统
JP2016038728A (ja) 画像表示装置、画像表示装置の制御方法、及びプログラム
JP6729028B2 (ja) 情報処理装置、電子黒板、プログラム
JP7452155B2 (ja) 手書き入力装置、手書き入力方法、プログラム
JP2020197865A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2022111078A1 (zh) 智能交互平板、其显示方法及可读存储介质
JP2008118317A (ja) 投影装置
JP2009303083A (ja) 会議支援システム及び会議支援方法
JP7338330B2 (ja) 表示装置、表示方法、プログラム
JP7408959B2 (ja) 情報処理装置及びプログラム
JP7151490B2 (ja) 情報処理端末、情報処理システム、操作画面表示方法及びプログラム
US11698575B2 (en) Projective transformation matrix determination method, projector, and determination system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230724