JP2022152491A - 画像生成装置、端末装置、及び画像生成方法 - Google Patents

画像生成装置、端末装置、及び画像生成方法 Download PDF

Info

Publication number
JP2022152491A
JP2022152491A JP2021055280A JP2021055280A JP2022152491A JP 2022152491 A JP2022152491 A JP 2022152491A JP 2021055280 A JP2021055280 A JP 2021055280A JP 2021055280 A JP2021055280 A JP 2021055280A JP 2022152491 A JP2022152491 A JP 2022152491A
Authority
JP
Japan
Prior art keywords
image
application
terminal device
image data
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021055280A
Other languages
English (en)
Other versions
JP7380625B2 (ja
Inventor
俊樹 藤森
Toshiki Fujimori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021055280A priority Critical patent/JP7380625B2/ja
Priority to US17/706,162 priority patent/US20220311937A1/en
Priority to CN202210310494.8A priority patent/CN115134566B/zh
Publication of JP2022152491A publication Critical patent/JP2022152491A/ja
Application granted granted Critical
Publication of JP7380625B2 publication Critical patent/JP7380625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Abstract

Figure 2022152491000001
【課題】複数のアプリケーションプログラムに従って端末装置が表示する各アプリ画像を表示領域に効率的に配置した出力画像を生成する。
【解決手段】取得部110a、決定部110b、及び生成部110cを有する画像生成装置40を提供する。取得部110aは、端末装置と通信することにより、アプリ画像のアプリ画像データとアプリ画像の解像度を示す解像度情報とを取得する。決定部110bは、取得部110aにより取得した各解像度情報に基づいて、出力画像における表示領域に、取得部110aにより取得した各アプリ画像データの表すアプリ画像を配置するレイアウトを決定する。生成部110cは、決定部110bにより決定されたレイアウトと、各アプリ画像データとに基づいて、当該レイアウトに従って各アプリ画像データの表すアプリ画像が表示領域に配置された出力画像を表す出力画像データを生成する。
【選択図】図10

Description

本開示は、画像生成装置、端末装置、及び画像生成方法に関する。
特許文献1には、複数の画像供給装置の各々から供給される画像を、表示領域を分割して得られる複数の部分領域の各々に一つずつ割り当てて表示する表示装置が開示されている。特許文献1に開示の表示装置は、画像とともに画像供給装置から供給される解像度情報に基づいて各部分領域の境界を動的に変更することで、画像が表示されない余白をできるだけ小さくする。
特開2019-015834号公報
特許文献1に開示の技術には、一台の画像供給装置から表示装置に供給される画像は一つに制限される、という問題があった。画像供給装置がパーソナルコンピューター等である場合、以下のようにして上記制約を回避することが考えられる。即ち、複数のアプリケーションプログラムを画像供給装置に並列に実行させ、各アプリケーションプログラムの画像を画像供給装置の表示部に表示させる。そして、画像供給装置は、表示部に表示される画像の複製を特許文献1に開示の表示装置に供給する。しかし、表示画像の複製を画像供給装置から特許文献1に開示の表示装置に供給する態様には、表示画像における各アプリケーションプログラムの画像の配置を画像供給装置側で制御する必要があり、煩わしいという問題がある。
本開示の画像生成装置の一態様は、第1アプリケーションプログラム及び第2アプリケーションプログラムを実行中の第1端末装置と通信することにより、前記第1アプリケーションプログラムに従って前記第1端末装置が表示する第1画像を表す第1画像データと前記第1画像の解像度を示す第1解像度情報とを取得するとともに、前記第2アプリケーションプログラムに従って前記第1端末装置が表示する第2画像を表す第2画像データと前記第2画像の解像度を示す第2解像度情報とを取得すること、前記第1解像度情報及び前記第2解像度情報に基づいて、出力画像における予め定められた領域に前記第1画像及び前記第2画像を配置する第1レイアウトを決定すること、及び、前記第1レイアウト、前記第1画像データ及び前記第2画像データに基づいて、前記第1レイアウトに従って前記予め定められた領域に前記第1画像及び前記第2画像が配置された出力画像を生成すること、を実行する。
本開示の端末装置の一態様は、表示装置を含み、第1アプリケーションプログラムを実行することにより、第1画像を前記表示装置に表示させること、第2アプリケーションプログラムを実行することにより、第2画像を前記表示装置に表示させること、及び、前記第1画像を表す第1画像データ及び前記第1画像の解像度を示す第1解像度情報を所定の宛先へ送信するとともに、前記第2画像を表す第2画像データと前記第2画像の解像度を示す第2解像度情報とを前記所定の宛先へ送信すること、を実行する。
本開示の画像生成方法の一態様は、第1アプリケーションプログラム及び第2アプリケーションプログラムを実行中の第1端末装置と通信することにより、前記第1アプリケーションプログラムに従って前記第1端末装置が表示する第1画像を表す第1画像データと前記第1画像の解像度を示す第1解像度情報とを取得するとともに、前記第2アプリケーションプログラムに従って前記第1端末装置が表示する第2画像を表す第2画像データと前記第2画像の解像度を示す第2解像度情報とを取得すること、前記第1解像度情報及び前記第2解像度情報に基づいて、出力画像における予め定められた領域に前記第1画像及び前記第2画像を配置する第1レイアウトを決定すること、及び、前記第1レイアウト、前記第1画像データ及び前記第2画像データに基づいて、前記第1レイアウトに従って前記予め定められた領域に前記第1画像及び前記第2画像が配置された出力画像を生成すること、を含む。
本開示の第1実施形態による画像投射システム1Aの構成例を示す図である。 端末装置10の構成例を示す図である。 端末装置10Bの表示装置130に表示されるアプリ画像GB1及びアプリ画像GB2の一例を示す図である。 出力画像GZの一例を示す図である。 出力画像GZの他の例を示す図である。 アプリ画像GB1の他の例を示す図である。 出力画像GZの他の例を示す図である。 第1実施形態における画像生成方法の流れを示す図である。 本開示の第2実施形態による画像投射システム1Bの構成例を示す図である。 画像生成装置40の構成例を示す図である。 第2実施形態における画像生成方法の流れを示す図である。 変形例(3)の画像投射システム1Cの構成例を示す図である。 画像投射システム1Cにおける論理的な接続関係の一例を示す図である。
以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。
1.第1実施形態
図1は、本開示の実施形態による画像投射システム1Aの一例を示す図である。画像投射システム1Aは、端末装置10A、端末装置10B、及びプロジェクター20を含む。図1に示されるように、端末装置10A、端末装置10B及びプロジェクター20は通信網30に接続される。通信網30は、例えば企業における会議室等に敷設されたLAN(Local Area Network)である。本実施形態では、端末装置10A、端末装置10B及びプロジェクター20は、通信網30の敷設される会議室に設置される。端末装置10A及び端末装置10Bは、通信網30の敷設された会議室にて開催される会議の参加者によって使用される。プロジェクター20は、通信網30の敷設された会議室にて開催される会議において使用される資料の画像の投射に使用される。通信網30に対する端末装置10A、端末装置10B及びプロジェクター20の各々の接続は有線接続であってもよいし、無線接続であってもよい。
プロジェクター20は、通信網30から送信されてくる画像データを受信する。プロジェクター20は、画像処理装置と投射装置210とを備える。図1では、画像処理装置の図示は省略されている。画像処理装置は、通信網30を介して受信した画像データに台形補正等の画像処理を施す。投射装置210は、画像処理装置により処理済の画像データの表す画像を投射スクリーン等の投射面に投射する。端末装置10A及び端末装置10Bは、例えばパーソナルコンピューターである。本実施形態では、端末装置10A及び端末装置10Bの構成は同一である。以下、端末装置10Aと端末装置10Bとを区別する必要がない場合には、端末装置10A及び端末装置10Bの各々は端末装置10と称される。
端末装置10には、予め複数のアプリケーションプログラムが予めインストールされている。端末装置10にインストールされているアプリケーションプログラムの一例としては、表計算ソフトウェア、及びワードプロセッサソフトウェアが挙げられる。端末装置10は、複数のアプリケーションプログラムを並列に実行することができる。複数のアプリケーションプログラムを並列に実行している状態の端末装置10は、自装置の表示装置に各アプリケーションプログラムに従って画像を表示させる。以下、端末装置10がアプリケーションプログラムに従って自装置の表示装置に表示させる画像はアプリ画像と称される。また、アプリ画像を表す画像データはアプリ画像データと称される。複数のアプリケーションプログラムを実行中の端末装置10は、アプリケーションプログラム毎にアプリ画像を複製し、複製したアプリ画像を表すアプリ画像データを生成する。本実施形態では、アプリ画像が会議の資料の画像となる。
本実施形態では、端末装置10Bは、アプリ画像データとアプリ画像データの表すアプリ画像の解像度を表す解像度情報とをアプリケーションプログラム毎に端末装置10Aへ送信する。解像度情報は、アプリ画像の縦方向の画素数と横方向の画素数との比、即ちアスペクト比を表す。一方、端末装置10Aは、端末装置10Bから受信したアプリ画像データ及び解像度情報と、端末装置10Aにて実行中のアプリケーションプログラムに従って自装置の表示装置に表示されるアプリ画像を表すアプリ画像データ及び解像度情報とに基づいて、プロジェクター20に投射させる出力画像を表す出力画像データを生成する。そして、端末装置10Aは、生成した出力画像データをプロジェクター20に送信することによって、出力画像をプロジェクター20に投射させる。以下では、端末装置10Bのように、アプリ画像データを送信する装置はクライアントと称される。一方、端末装置10Aのように、出力画像データを生成する装置はモデレーターと称される。
図2は、端末装置10の構成例を示す図である。図2に示されるように、端末装置10は、処理装置110と、通信装置120と、表示装置130と、入力装置140と、記憶装置150と、を備える。
通信装置120は、LANケーブル等の通信線を介して通信網30に接続される。通信装置120は、通信網30を介して他の装置とデータ通信を行う装置である。本実施形態では、端末装置10Aにとっての他の装置は、端末装置10B又はプロジェクター20である。また、本実施形態では、端末装置10Bにとっての他の装置は、端末装置10Aである。通信装置120の具体例としては、NIC(Network Interface Card)が挙げられる。通信装置120は、通信網30を介して他の装置から送信されてくるデータを受信する。通信装置120は、受信したデータを処理装置110へ引き渡す。また、通信装置120は、処理装置110から与えられるデータを、通信網30を介して他の装置へ送信する。
表示装置130は、例えば液晶ディスプレイとその駆動回路である。表示装置130は、処理装置110による制御の下、画像を表示する。表示装置130に表示される画像の一例としては、アプリ画像が挙げられる。入力装置140は、例えばマウス等のポインティングデバイスとキーボードとを含む。入力装置140は、ユーザーの操作を受け付け、受け付けた操作の内容を示す操作内容データを処理装置110へ引き渡す。入力装置140から処理装置110へ操作内容データを引き渡すことによって、ユーザーの操作の内容が処理装置110へ伝達される。
記憶装置150は、処理装置110が読み取り可能な記録媒体である。記憶装置150は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)又はEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Radom Access Memory)である。
図2では、詳細な図示が省略されているが、記憶装置150の不揮発性メモリーには、表計算ソフトウェア及びワードプロセッサソフトウェアなどの各種アプリケーションプログラムが予め記憶されている。また、図2に示されるように、不揮発性メモリーには、本開示の特徴を顕著に示す処理を処理装置110に実行させるためのプログラム152が記憶されている。記憶装置150の揮発性メモリーは、各種アプリケーションプログラム又はプログラム152を実行する際のワークエリアとして処理装置110によって利用される。
処理装置110は、例えばCPU(Central Processing Unit)等のプロセッサー、即ちコンピューターを含んで構成される。処理装置110は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置110は、入力装置140に対する入力操作によりアプリケーションプログラムの実行開始を指示されたことを契機として当該アプリケーションプログラムを不揮発性メモリーから揮発性メモリーへ読み出し、読み出したアプリケーションプログラムの実行を開始する。アプリケーションプログラムを実行中の処理装置110は、当該アプリケーションプログラムに対応するアプリ画像を表示装置130に表示させるとともに、当該アプリ画像を複製してアプリ画像データを生成する。また、処理装置110は、入力装置140に対する入力操作によりプログラム152の実行開始を指示されたことを契機として、プログラム152を不揮発性メモリーから揮発性メモリーへ読み出し、読み出したプログラム152の実行を開始する。プログラム152に従って作動している処理装置110は、入力装置140に対する入力操作によりクライアントとして動作することを指示された場合にはクライアントとして動作する。また、プログラム152に従って作動している処理装置110は、入力装置140に対する入力操作によりモデレーターとして動作することを指示された場合にはモデレーターとして動作する。
本実施形態では、端末装置10Bの入力装置140に対してはクライアントとして動作することを指示する入力操作が為される。一方、端末装置10Aの入力装置140に対しては、モデレーターとして動作することを指示する入力操作が為される。クライアントとして動作することを指示された処理装置110は、アプリ画像データをモデレーターへ送信する。一方、モデレーターとして動作することを指示された処理装置110は、図2に示される取得部110a、決定部110b、及び生成部110cとして機能する。つまり、図2における取得部110a、決定部110b、及び生成部110cは、処理装置110をプログラム152に従って作動させることで実現されるソフトウェアモジュールである。図2では、取得部110a、決定部110b、及び生成部110cの各々がソフトウェアモジュールであることが点線で示されている。取得部110a、決定部110b、及び生成部110cの各々が担う機能は次の通りである。
取得部110aは、クライアントして機能する端末装置10と通信することにより、当該端末装置10において実行中のアプリケーションプログラムに対応するアプリ画像のアプリ画像データと解像度情報とをアプリケーションプログラム毎に取得する。本実施形態では、取得部110aは、端末装置10Bと通信することにより、端末装置10Bにおいて実行中のアプリケーションプログラム毎に、アプリ画像データと解像度情報とを取得する。また、表計算ソフトウェア又はワードプロセッサソフトウェア等のアプリケーションプログラムが端末装置10Aにおいて実行中である場合には、取得部110aは、端末装置10Aにおいて実行中のアプリケーションプログラムに対応するアプリ画像のアプリ画像データと解像度情報とをアプリケーションプログラム毎に取得する。
決定部110bは、取得部110aにより取得した各アプリ画像データの表すアプリ画像を出力画像における表示領域に配置するレイアウトを、取得部110aにより取得した各解像度情報に基づいて決定する。以下、端末装置10Aでは、アプリケーションプログラムは実行されておらず、端末装置10Bでは表計算ソフトウェア及びワードプロセッサソフトウェアが実行中である場合を例にとって、決定部110bが実行する処理の内容を説明する。
端末装置10Bでは表計算ソフトウェア及びワードプロセッサソフトウェアが実行中であるため、端末装置10Bの表示装置130には、図3に示すアプリ画像GB1とアプリ画像GB2とが表示される。図3におけるアプリ画像GB1はワードプロセッサソフトウェアのアプリ画像の一例である。図3におけるアプリ画像GB2は表計算ソフトウェアのアプリ画像の一例である。取得部110aによりアプリ画像GB1を表すアプリ画像データとアプリ画像GB1の解像度情報とが取得され、アプリ画像GB2を表すアプリ画像データとアプリ画像GB2の解像度情報とが取得されたとする。この場合、決定部110bは、以下の第1の態様、第2の態様、又は第3態様により、アプリ画像GB1及びアプリ画像GB2のレイアウトを決定する。
第1の態様は、取得部110aにより取得されたアプリ画像データの数に応じて出力画像の表示領域を均等に分割し、各分割領域にアプリ画像データを一つずつ割り当てる態様である。図4は、第1の態様によりレイアウトが決定された出力画像GZの一例を示す図である。図4では、出力画像GZにおける表示領域が点線の矩形で示されている。また、図4には、出力画像GZの表示領域を横方向に2分割する例が示されており、図4における一点鎖線は2つの分割領域の境界を示す。図4に示す例では、一方の分割領域の中央にアプリ画像GB2が配置され、他方の分割領域にアプリ画像GB1が配置されている。図4においてハッチングは、アプリ画像が存在しない余白を意味する。図5及び図7においても同様にハッチングは余白を意味する。なお、出力画像GZに割り当て可能なアプリ画像の上限数を予め定めておき、当該上限数を超える数のアプリ画像データが取得部110aにより取得された場合には、先着順にアプリ画像の割り当てが行われ、未割当のアプリ画像は待機状態とされてもよい。この場合、決定部110bは、待機状態のアプリ画像をサムネイル形式で表示装置130に表示させてもよい。
従来の表示画面単位の画面共有であれば、表示画面全体の画像の縦横比は16:9又は16:9に近い比であることが一般的である。一方、投射装置210の解像度の縦横比も16:9又は16:9に近い比であることが一般的である。このため、表示画面全体の画像をそのまま出力画像の表示領域に割り当てても大きな余白が生じることはなかった。これに対して、アプリ画像GB1の縦横比は16:9又は16:9に近い比とは限らず、アプリ画像GB2の縦横比も16:9又は16:9に近い比とは限らない。このため、図4に示す出力画像GZでは、大きな余白が生じている。第2の態様及び第3の態様は、アプリ画像GB1及びアプリ画像GB2を見るユーザーに違和感を与えることなく、出力画像GZの表示領域における余白が最小になるようにアプリ画像GB1及びアプリ画像GB2のレイアウトを決定する態様である。
第2の態様では、決定部110bは、アプリ画像GB1の解像度情報の示すアスペクト比を維持したままアプリ画像GB1を拡大又は縮小するとともに、アプリ画像GB2の解像度情報の示すアスペクト比を維持したままアプリ画像GB2を拡大又は縮小し、拡大又は縮小したアプリ画像GB1と拡大又は縮小したアプリ画像GB2とを、出力画像GZにおける表示領域に余白が最小となるように割り当てる。図5は、第2の態様により決定されたレイアウトに従ってアプリ画像GB1及びアプリ画像GB2が表示領域に配置された出力画像GZの一例を示す図である。図5に示す出力画像GZでは、図4に示す出力画像GZに比較して余白が小さくなっている。また、図5に示す出力画像GZにおいてアプリ画像GB1及びアプリ画像GB2の各々の縦横比は維持されているため、出力画像GZにおけるアプリ画像GB1又はアプリ画像GB2に着目したユーザーが大きな違和感を抱くことはない。本実施形態では、決定部110bにおける処理の態様として、当該第2の態様が採用されている。
第3の態様では、決定部110bは、アプリ画像GB1の優先順位とアプリ画像GB2の優先順位とを比較し、優先順位が高い方については解像度情報の示すアスペクト比を維持したまま表示領域に収まる最大の大きさまで拡大して表示領域に割り当てる。そして、決定部110bは、他方のアプリ画像を、優先順位が高い方のアプリ画像を割り当てた表示領域の余白に収まる大きさまで当該アプリ画像の解像度情報の示す縦横比を維持したまま縮小して配置する。アプリ画像の優先順位は、アプリケーションプログラムの種類に応じて予め定められていてもよいし、取得部110aによりアプリ画像データを取得する毎にユーザーに指定させてもよい。
例えば、図3におけるアプリ画像GB1を示すアプリ画像データと図6のアプリ画像GB2を示すアプリ画像データとが取得部110aにより取得されたとする。また、端末装置10Aのユーザーは、端末装置10Aの入力装置140に対する操作により、アプリ画像GB2の優先順位をアプリ画像GB1の優先順位よりも高く指定したとする。この場合、決定部110bは、まず、アプリ画像GB2を解像度情報の示すアスペクト比を維持したまま表示領域に収まる最大の大きさまで拡大して表示領域に割り当てる。次いで、決定部110bは、アプリ画像GB2を割り当てた表示領域の余白に収まる大きさまで解像度情報の示す縦横比を維持したままアプリ画像GB1を縮小して配置する。この結果、図7に示すように、出力画像GZにおけるアプリ画像GB1とアプリ画像GB2のレイアウトが決定される。図7に示す出力画像GZでは、図4に示す出力画像GZに比較して余白が小さくなっている。また、図7に示す出力画像GZにおいてアプリ画像GB1及びアプリ画像GB2の各々の縦横比は維持されているため、出力画像GZにおけるアプリ画像GB1又はアプリ画像GB2に着目したユーザーが大きな違和感を抱くことはない。
なお、前述した第2の態様又は第3の態様によりレイアウトを決定する場合には、決定部110bは、アプリ画像毎に拡大率又は縮小率を端末装置10Bへ通知してもよい。この場合、端末装置10Bは、端末装置10Aから通知された拡大率で拡大済、又は端末装置10Aから通知された縮小率で縮小済のアプリ画像を表すアプリ画像データを端末装置10Aへ送信してもよい。アプリ画像を縮小して表示領域に配置する場合には、縮小済のアプリ画像を表すアプリ画像データを端末装置10Bから端末装置10Aに送信することによって、通信トラヒックを低減させることができる。
生成部110cは、決定部110bにより決定されたレイアウトと、取得部110aにより取得された各アプリ画像データとに基づいて、当該レイアウトに従って各アプリ画像データの表すアプリ画像を表示領域に配置した出力画像を表す出力画像データを生成する。生成部110cは、生成した出力画像データをプロジェクター20へ送信する。
また、端末装置10Aの処理装置110は、プログラム152に従って、本開示の画像生成方法を実行する。図8は、この画像生成方法の流れを示す図である。図8に示されるように、本開示の画像生成方法は、取得処理SA110、決定処理SA120、及び生成処理SA130を含む。
取得処理SA110では処理装置110は取得部110aとして機能する。取得処理SA110では、処理装置110は、クライアントして機能する端末装置10と通信することにより、当該端末装置10において実行中のアプリケーションプログラムに対応するアプリ画像のアプリ画像データと解像度情報とをアプリケーションプログラム毎に取得する。また、アプリケーションプログラムが端末装置10Aにおいて実行中である場合には、処理装置110は、端末装置10Aにおいて実行中のアプリケーションプログラムに対応するアプリ画像のアプリ画像データと解像度情報とをアプリケーションプログラム毎に取得する。
決定処理SA120では、処理装置110は決定部110bとして機能する。決定処理SA120では、処理装置110は、取得処理SA110にて取得した各アプリ画像データの表すアプリ画像を出力画像における表示領域に配置するレイアウトを、取得処理SA110にて取得した各解像度情報に基づいて決定する。
生成処理SA130では、処理装置110は、生成部110cとして機能する。生成処理SA130では、処理装置110は、決定処理SA120にて決定されたレイアウトと、取得処理SA110にて取得された各アプリ画像データとに基づいて、当該レイアウトに従って各アプリ画像データの表すアプリ画像を表示領域に配置した出力画像を表す出力画像データを生成する。生成処理SA130では、処理装置110は、生成した出力画像データをプロジェクター20へ送信する。
例えば、図8に示すように、図3におけるアプリ画像GB1を示すアプリ画像データ及び当該アプリ画像GB1の解像度を示す解像度情報と、図3におけるアプリ画像GB2を示すアプリ画像データ及び当該アプリ画像GB2の解像度を示す解像度情報とが端末装置10Bから端末装置10Aへ送信されたとする。取得処理SA110では、処理装置110は、アプリ画像GB1を示すアプリ画像データ及び当該アプリ画像GB1の解像度を示す解像度情報と、アプリ画像GB2を示すアプリ画像データ及び当該アプリ画像GB2の解像度を示す解像度情報と、を取得する。取得処理SA110に後続する決定処理SA120では、処理装置110は、前述の第2の態様でアプリ画像GB1及びアプリ画像GB2のレイアウトを決定する。決定処理SA120に後続する生成処理SA130では、処理装置110は、決定処理SA120にて決定したレイアウトに従って、図5に示す出力画像GZを表す出力画像データを生成し、この出力画像データをプロジェクター20へ送信する。この結果、プロジェクター20は、図5に示す出力画像GZを投射面に投射する。
本実施形態によれば、表示領域の余白が最小になるようにアプリ画像GB1及びアプリ画像GB2を効率的に配置した出力画像GZを生成することが可能になる。端末装置10Bはアプリ画像単位で画像データを端末装置10Aに送信するため、出力画像GZにおけるアプリ画像GB1及びアプリ画像GB2のレイアウトを端末装置10B側で制御する必要はない。
2.第2実施形態
図9は、本開示の第2実施形態の画像投射システム1Bの構成例を示す図である。図9では、図1におけるものと同一の構成要素には、同一の符号が付されている。図9に示されるように、画像投射システム1Bは、端末装置10Aに代えて端末装置10Cを有する。端末装置10Cは、クライアントとして機能する点が端末装置10Aと異なる。また、図9に示されるように、画像投射システム1Bは、画像生成装置40を有する。画像生成装置40は、端末装置10B、端末装置10C、及びプロジェクター20の各々と通信網30を介して通信する。画像投射システム1Bでは、画像生成装置40がモデレーターとして機能する。
図10は、画像生成装置40の構成例を示す図である。図10に示すように、画像生成装置40は、処理装置110、通信装置120、及び記憶装置150を有する。本実施形態においても、図10に示されるように、記憶装置150にはプログラム152が予め記憶されている。ただし、画像生成装置40の記憶装置150には、表計算ソフトウェア及びワードプロセッサソフトウェア等のアプリケーションプログラムは記憶されていない。画像生成装置40では、アプリケーションプログラムは実行されないからである。画像生成装置40では、アプリケーションプログラムは実行されないため、画像生成装置40は表示装置130及び入力装置140を有さない。
画像生成装置40の処理装置110は、画像生成装置40の電源投入を契機としてプログラム152の実行を開始する。プログラム152に従って作動している処理装置110は、図10に示されるように、取得部110a、決定部110b、及び生成部110cとして機能する。また、画像生成装置40の処理装置110は、プログラム152に従って作動することにより、本開示の画像生成方法を実行する。図11は、この画像生成方法の流れを示す図である。図11に示されるように、この画像生成方法は、取得処理SA110、決定処理SA120、及び生成処理SA130を含む。取得処理SA110では、画像生成装置40の処理装置110は、取得部110aとして機能する。決定処理SA120では、画像生成装置40の処理装置110は、決定部110bとして機能する。生成処理SA130では、画像生成装置40の処理装置110は、生成部110cとして機能する。
例えば、図11に示されるように、アプリ画像GB1を示すアプリ画像データ及び当該アプリ画像GB1の解像度を示す解像度情報と、アプリ画像GB2を示すアプリ画像データ及び当該アプリ画像GB2の解像度を示す解像度情報とが端末装置10Bから画像生成装置40へ送信されたとする。また、図11に示されるように、アプリ画像GC1を示すアプリ画像データ及び当該アプリ画像GC1の解像度を示す解像度情報と、アプリ画像GC2を示すアプリ画像データ及び当該アプリ画像GC2の解像度を示す解像度情報とが端末装置10Cから画像生成装置40へ送信されたとする。取得処理SA110では、処理装置110は、アプリ画像GB1を示すアプリ画像データ及び当該アプリ画像GB1の解像度を示す解像度情報と、アプリ画像GB2を示すアプリ画像データ及び当該アプリ画像GB2の解像度を示す解像度情報とを取得する。また、取得処理SA110では、処理装置110では、処理装置110は、アプリ画像GC1を示すアプリ画像データ及び当該アプリ画像GC1の解像度を示す解像度情報と、アプリ画像GC2を示すアプリ画像データ及び当該アプリ画像GC2の解像度を示す解像度情報とを取得する。以降、決定処理SA120では、前述の第2の態様でアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2のレイアウトが決定され、生成処理SA130では、このレイアウトに従ってアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2を表示領域に配置した出力画像GZを表す出力画像データが生成される。本実施形態によれば、表示領域の余白が最小になるように端末装置10Bのアプリ画像GB1及びGB2と端末装置10Cのアプリ画像GC1及びGC2とを効率的に配置した出力画像GZをプロジェクター20に投射させることが可能になる。
3.変形
上記実施形態は、以下のように変形され得る。
(1)上記各実施形態における生成処理SA130は、アプリケーションプログラムの種類に応じた色で描画した枠をアプリ画像に付与する処理を含んでもよい。例えば、ワードプロセッサソフトウェアのアプリ画像には赤色で描画された枠線が付与され、表計算ソフトウェアのアプリ画面には青色で描画された枠線が付与される。本態様によれば、アプリ画像の端末装置10に表示させているアプリケーションプログラムの種類を、出力画像を見るユーザーに把握させることが可能になる。
(2)上記各実施形態における生成処理SA130は、アプリ画像データの送信元の端末装置10に応じた色で描画した枠をアプリ画像に付与する処理を含んでもよい。例えば、端末装置10Bから送信されたアプリ画像データの表すアプリ画像には赤色で描画した枠線が付与され、端末装置10Cから送信されたアプリ画像データの表すアプリ画像には青色で描画した枠線が付与される。本態様によれば、アプリケーションプログラムを実行中の端末装置10を、出力画像を見るユーザーに把握させることが可能になる。
(3)図12に示される画像投射システム1Cのように、各々画像生成装置40と同一の構成を有する画像生成装置40A、画像生成装置40B、及び画像生成装置40Cが通信網30に接続されてもよい。図12に示されるように、画像投射システム1Cは、各々通信網30に接続された端末装置10A、端末装置10B、端末装置10C、及び端末装置10Dを含む。図13は、画像投射システム1Cの論理トポロジ―の一例を示す図である。画像投射システム1Cの論理トポロジ―は、画像投射システム1Cにおけるプロジェクター20、端末装置10A~10D、及び画像生成装置40A~40Cの論理的な接続関係のことである。画像投射システム1Cでは、端末装置10A~10Dの各々はクライアントとして機能する。端末装置10A及び端末装置10Bは、アプリ画像データ及び解像度情報を画像生成装置40Bへ送信する。端末装置10C及び端末装置10Dは、アプリ画像データ及び解像度情報を画像生成装置40Cへ送信する。
画像生成装置40Bは、端末装置10Aから受信したアプリ画像データの表すアプリ画像GA1及びアプリ画像GA2と、端末装置10Bから受信したアプリ画像データの表すアプリ画像GB1及びアプリ画像GB2と、を表示領域に配置した出力画像GXを表す出力画像データを生成する。画像生成装置40Bは、出力画像GXを表す出力画像データと出力画像GXの解像度を示す解像度情報とを画像生成装置40Aへ送信する。画像生成装置40Cは、端末装置10Cから受信したアプリ画像データの表すアプリ画像GC1及びアプリ画像GC2と、端末装置10Dから受信したアプリ画像データの表すアプリ画像GD1及びアプリ画像GD2と、を表示領域に配置した出力画像GYを表す出力画像データを生成する。画像生成装置40Dは、出力画像GYを表す出力画像データと出力画像GYの解像度を示す解像度情報とを画像生成装置40Aへ送信する。
画像生成装置40Aは、画像生成装置40B及び画像生成装置40Cの各々から受信した出力画像データの表す出力画像を表示領域に配置した出力画像GZを表す出力画像データを生成する。画像生成装置40Aは、生成した出力画像データをプロジェクター20へ送信することにより、出力画像GZをプロジェクター20に投射させる。本態様によれば、プロジェクター20に投射させる出力画像GZを表す出力画像データを端末装置10A~10Dの各々から送信されるアプリ画像データに基づいて生成する処理を画像生成装置40A、画像生成装置40B、及び画像生成装置40Cに分担させて実行させること、即ち負荷分散しつつ出力画像GZを生成することが可能になる。
(4)上記各実施形態における取得部110a、決定部110b、及び生成部110cはソフトウェアモジュールであったが、ASIC(Application Specific Integrated Circuit)等のハードウェアモジュールであってもよい。また、第2実施形態における画像生成装置40はプロジェクター20に含まれてもよい。画像生成装置40を含むプロジェクター20は、モデレーターとして機能するとともに、画像生成装置40により生成した出力画像を投射装置210により投射面に投射する。画像生成装置40を含むプロジェクター20と、各々クライアントとして機能する1又は複数の端末装置10とを通信網30に接続して構成された画像投射システムによっても、第1実施形態及び第2実施形態と同一の効果が奏される。また、第1実施形態における端末装置10A、第2実施形態における画像生成装置40、又は画像生成装置40を含むプロジェクター20が単体で製造又は販売されてもよい。また、インターネット等の一般公衆回線に画像生成装置40を接続し、本開示の画像生成方法により出力画像を生成して送信する通信サービスがASP(Application Service Provider)形式で提供されてもよい。
(5)第1実施形態における端末装置10Aは、端末装置10Bに出力画像データを送信し、出力画像データの表す出力画像を端末装置10Bに表示させてもよい。本態様によれば、例えば通信網30がインターネットであり、端末装置10Bの設置場所がプロジェクター20の設置場所から離れた遠隔地である場合であっても、端末装置10A、及び端末装置10Bの各ユーザーによる会議資料の共有を実現することができる。同様に、第2実施形態の画像生成装置40も、端末装置10B及び端末装置10Cの各々に出力画像データを送信してもよい。
(6)上記各実施形態では、プログラム152が記憶装置150に記憶済であった。しかし、プログラム152が単体で製造又は配布されてもよい。プログラム152の具体的な配布方法としては、フラッシュROM(Read Only Memory)等のコンピューター読み取り可能な記録媒体に上記プログラム152を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。これらの態様により配布されるプログラム152に従って一般的なコンピューターを作動させることで、当該コンピューターを本開示の画像生成装置として機能させることができる。
4.実施形態及び各変形例の少なくとも1つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
本開示の画像生成装置の一態様は、以下の取得部110a、決定部110b、及び生成部110cを備える。取得部110aは、取得処理SA110を実行する。取得処理SA110では、取得部110aは、第1アプリケーションプログラム及び第2アプリケーションプログラムを実行中の端末装置10Bと通信する。取得処理SA110では、取得部110aは、第1アプリケーションプログラムに従って端末装置10Bが表示するアプリ画像GB1を表す第1画像データとアプリ画像GB1の解像度を示す第1解像度情報とを取得する。端末装置10Bは本開示における第1端末装置の一例である。アプリ画像GB1は本開示における第1画像の一例である。また、取得処理SA110では、取得部110aは、第2アプリケーションプログラムに従って端末装置10Bが表示するアプリ画像GB2を表す第2画像データとアプリ画像GB2の解像度を示す第2解像度情報とを取得する。アプリ画像GB2は本開示における第2画像の一例である。決定部110bは、決定処理SA120を実行する。決定処理SA120は、第1解像度情報及び第2解像度情報に基づいて第1レイアウトを決定する処理である。第1レイアウトは、出力画像GZにおける表示領域にアプリ画像GB1及びアプリ画像GB2を配置するためのアプリ画像GB1及びアプリ画像GB2の配置を示す。出力画像GZにおける表示領域は本開示における予め定められた領域の一例である。生成部110cは、生成処理SA130を実行する。生成処理SA130は、第1レイアウト、第1画像データ及び第2画像データに基づいて出力画像GZを表す出力画像データを生成する処理である。出力画像データは、表示領域にアプリ画像GB1及びアプリ画像GB2が第1レイアウトに従って配置された出力画像GZを表す。本態様の画像生成装置によれば、第1画像及び第2画像を予め定められた領域に効率的に配置した出力画像GZを生成することが可能になる。
より好ましい態様の画像生成装置における取得処理SA110では、取得部110aは、第3アプリケーションプログラム及び第4アプリケーションプログラムを実行中の端末装置10Cと通信してもよい。端末装置10Cは本開示における第2端末装置の一例である。本態様における取得処理SA110では、取得部110aは、第3アプリケーションプログラムに従って端末装置10Cが表示するアプリ画像GC1を表す第3画像データとアプリ画像GC1の解像度を示す第3解像度情報とを取得する。アプリ画像GC1は本開示における第3画像の一例である。また、本態様における取得処理SA110では、取得部110aは、第4アプリケーションプログラムに従って端末装置10Cが表示するアプリ画像GC2を表す第4画像データとアプリ画像GC1の解像度を示す第4解像度情報とを取得する。アプリ画像GC2は本開示における第4画像の一例である。本態様における決定処理SA120では、決定部110bは、第1解像度情報、第2解像度情報、第3解像度情報及び第4解像度情報に基づいて第2レイアウトを決定する。第2レイアウトは、出力画像GZにおける表示領域にアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2を配置するためのアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2の配置を示す。本態様における生成処理SA130では、生成部110cは、第2レイアウト、第1画像データ、第2画像データ、第3画像データ及び第4画像データに基づいて、出力画像データを生成する。出力画像データは、表示領域にアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2が第2レイアウトに従って配置された出力画像GZを表す。本態様の画像生成装置によれば、アプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2を表示領域に効率的に配置した出力画像GZを生成することが可能になる。
また、別の好ましい態様の画像生成装置は、以下の送信処理を実行してもよい。送信処理において画像処理装置は、出力画像を表す出力画像データを第1端末装置へ送信することにより、出力画像を第1端末装置に表示させる。また、送信処理において画像生成装置は、出力画像データを第2端末装置へ送信することにより、出力画像を前記第2端末装置に表示させる。本態様によれば、遠隔会議に参加する複数の参加者に会議の資料を共有させつつ、遠隔会議を行うことが可能になる。
より好ましい態様の画像生成装置における生成処理SA130は、以下の第1処理、第2処理、第3処理、及び第4処理を含んでもよい。第1処理は、第1画像に第1アプリケーションプログラムの種類に応じた色で描画した枠を付与する処理である。第2処理は、第2画像に第2アプリケーションプログラムの種類に応じた色で描画した枠を付与する処理である。第3処理は、第3画像に第3アプリケーションプログラムの種類に応じた色で描画した枠を付与する処理である。第4処理は、第4画像に第4アプリケーションプログラムの種類に応じた色で描画した枠を付与する処理である。本態様の画像生成装置によれば、出力画像を見るユーザーに、第1画像、第2画像、第3画像及び第4画像の各々を表示しているアプリケーションプログラムの種類を把握させることが可能になる。
また、別の好ましい態様の画像生成装置における生成処理SA130は、以下の第5処理、及び第6処理を含んでもよい。第5処理は、第1画像及び第2画像の各々に第1端末装置に応じた色で描画した枠を付与する処理である。第6処理は、第3画像及び第4画像の各々に第2端末装置に応じた色で描画した枠を付与する処理である。本態様の画像生成装置によれば、出力画像を見るユーザーに、第1画像、第2画像、第3画像及び第4画像の各々を表示しているアプリケーションプログラムを実行中の端末装置を把握させることが可能になる。
また、別の好ましい態様の画像生成装置は、投射面に前記出力画像を投射する投射装置を含んでもよい。前述の画像生成装置40を含むプロジェクターは本態様の画像生成装置の一例である。本態様によれば、会議に参加する複数の参加者の各々が使用する端末装置と通信するプロジェクターにモデレーターの役割を担わせることが可能になる。
また、本開示の端末装置の一態様は、表示装置130を含み、以下の第7処理、第8処理、及び第9処理を実行する。第7処理は、第1アプリケーションプログラムを実行することにより、アプリ画像GB1を表示装置130に表示させる処理である。第8処理は、第2アプリケーションプログラムを実行することにより、アプリ画像GB2を表示装置130に表示させる処理である。第9処理は、アプリ画像GB1を表す第1画像データ及びアプリ画像GB1の解像度を示す第1解像度情報をモデレーターとして機能する装置へ送信するとともに、アプリ画像GB2を表す第2画像データとアプリ画像GB2の解像度を示す第2解像度情報とをモデレーターとして機能する装置へ送信する処理である。モデレーターとして機能する装置は本開示における所定の宛先の一例である。モデレーターとして機能する装置の具体例としては、第1実施形態における端末装置10A、又は画像生成装置40が挙げられる。本態様の端末装置によっても、第1画像及び第2画像を予め定められた領域に効率的に配置した出力画像を生成することが可能になる。
また、本開示の画像生成方法の一態様は、前述の取得処理SA110,決定処理SA120、及び生成処理SA130を含む。本態様の画像生成方法によっても、第1画像及び第2画像を予め定められた領域に効率的に配置した出力画像を生成することが可能になる。
1A,1B、1C…画像投射システム、10,10A、10B、10C…端末装置、20…投射装置、30…通信網、40…情報処理装置、110…処理装置、110a…取得部、110b…決定部、110c…生成部、120…通信装置、130…表示装置、140…入力装置、150…記憶装置、152…プログラム。
3.変形
上記実施形態は、以下のように変形され得る。
(1)上記各実施形態における生成処理SA130は、アプリケーションプログラムの種類に応じた色で描画した枠をアプリ画像に付与する処理を含んでもよい。例えば、ワードプロセッサソフトウェアのアプリ画像には赤色で描画された枠線が付与され、表計算ソフトウェアのアプリ画像には青色で描画された枠線が付与される。本態様によれば、アプリ画像の端末装置10に表示させているアプリケーションプログラムの種類を、出力画像を
見るユーザーに把握させることが可能になる。
画像生成装置40Bは、端末装置10Aから受信したアプリ画像データの表すアプリ画像GA1及びアプリ画像GA2と、端末装置10Bから受信したアプリ画像データの表すアプリ画像GB1及びアプリ画像GB2と、を表示領域に配置した出力画像GXを表す出力画像データを生成する。画像生成装置40Bは、出力画像GXを表す出力画像データと出力画像GXの解像度を示す解像度情報とを画像生成装置40Aへ送信する。画像生成装置40Cは、端末装置10Cから受信したアプリ画像データの表すアプリ画像GC1及びアプリ画像GC2と、端末装置10Dから受信したアプリ画像データの表すアプリ画像GD1及びアプリ画像GD2と、を表示領域に配置した出力画像GYを表す出力画像データを生成する。画像生成装置40Cは、出力画像GYを表す出力画像データと出力画像GYの解像度を示す解像度情報とを画像生成装置40Aへ送信する。
より好ましい態様の画像生成装置における取得処理SA110では、取得部110aは、第3アプリケーションプログラム及び第4アプリケーションプログラムを実行中の端末装置10Cと通信してもよい。端末装置10Cは本開示における第2端末装置の一例である。本態様における取得処理SA110では、取得部110aは、第3アプリケーションプログラムに従って端末装置10Cが表示するアプリ画像GC1を表す第3画像データとアプリ画像GC1の解像度を示す第3解像度情報とを取得する。アプリ画像GC1は本開示における第3画像の一例である。また、本態様における取得処理SA110では、取得部110aは、第4アプリケーションプログラムに従って端末装置10Cが表示するアプリ画像GC2を表す第4画像データとアプリ画像GC2の解像度を示す第4解像度情報とを取得する。アプリ画像GC2は本開示における第4画像の一例である。本態様における決定処理SA120では、決定部110bは、第1解像度情報、第2解像度情報、第3解像度情報及び第4解像度情報に基づいて第2レイアウトを決定する。第2レイアウトは、出力画像GZにおける表示領域にアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2を配置するためのアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2の配置を示す。本態様における生成処理SA130では、生成部110cは、第2レイアウト、第1画像データ、第2画像データ、第3画像データ及び第4画像データに基づいて、出力画像データを生成する。出力画像データは、表示領域にアプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2が第2レイアウトに従って配置された出力画像GZを表す。本態様の画像生成装置によれば、アプリ画像GB1、アプリ画像GB2、アプリ画像GC1、及びアプリ画像GC2を表示領域に効率的に配置した出力画像GZを生成することが可能になる。

Claims (8)

  1. 第1アプリケーションプログラム及び第2アプリケーションプログラムを実行中の第1端末装置と通信することにより、前記第1アプリケーションプログラムに従って前記第1端末装置が表示する第1画像を表す第1画像データと前記第1画像の解像度を示す第1解像度情報とを取得するとともに、前記第2アプリケーションプログラムに従って前記第1端末装置が表示する第2画像を表す第2画像データと前記第2画像の解像度を示す第2解像度情報とを取得すること、
    前記第1解像度情報及び前記第2解像度情報に基づいて、出力画像における予め定められた領域に前記第1画像及び前記第2画像を配置する第1レイアウトを決定すること、及び、
    前記第1レイアウト、前記第1画像データ及び前記第2画像データに基づいて、前記第1レイアウトに従って前記予め定められた領域に前記第1画像及び前記第2画像が配置された出力画像を生成すること、
    を実行する画像生成装置。
  2. 前記取得することは、
    第3アプリケーションプログラム及び第4アプリケーションプログラムを実行中の第2端末装置と通信することにより、前記第3アプリケーションプログラムに従って前記第2端末装置が表示する第3画像を表す第3画像データと前記第3画像の解像度を示す第3解像度情報とを取得するとともに、前記第4アプリケーションプログラムに従って前記第2端末装置が表示する第4画像を表す第4画像データと前記第4画像の解像度を示す第4解像度情報とを取得すること、を含み、
    前記決定することは、
    前記第1解像度情報、前記第2解像度情報、前記第3解像度情報及び前記第4解像度情報に基づいて、前記予め定められた領域に前記第1画像、前記第2画像、前記第3画像及び前記第4画像を配置する第2レイアウトを決定すること、を含み、
    前記生成することは、
    前記第2レイアウト、前記第1画像データ、前記第2画像データ、前記第3画像データ及び前記第4画像データに基づいて、前記第2レイアウトに従って前記予め定められた領域に前記第1画像、前記第2画像、前記第3画像及び前記第4画像が配置された前記出力画像を生成すること、を含む、
    請求項1に記載の画像生成装置。
  3. 前記生成することは、
    前記第1画像に前記第1アプリケーションプログラムの種類に応じた色で描画した枠を付与すること、
    前記第2画像に前記第2アプリケーションプログラムの種類に応じた色で描画した枠を付与すること、
    前記第3画像に前記第3アプリケーションプログラムの種類に応じた色で描画した枠を付与すること、及び、
    前記第4画像に前記第4アプリケーションプログラムの種類に応じた色で描画した枠を付与すること、を含む、
    請求項2に記載の画像生成装置。
  4. 前記生成することは、
    前記第1画像及び前記第2画像の各々に前記第1端末装置に応じた色で描画した枠を付与すること、及び、
    前記第3画像及び前記第4画像の各々に前記第2端末装置に応じた色で描画した枠を付与すること、
    を含む、
    請求項2に記載の画像生成装置。
  5. 前記出力画像を表す出力画像データを前記第1端末装置へ送信することにより、前記出力画像を前記第1端末装置に表示させること、及び、
    前記出力画像データを前記第2端末装置へ送信することにより、前記出力画像を前記第2端末装置に表示させること、を更に実行する、
    請求項2乃至4のうちの何れか1項に記載の画像生成装置。
  6. 投射面に画像を投射する投射装置を含み、
    前記投射装置により前記出力画像を前記投射面に投射すること、を更に実行する、
    請求項1乃至5のうちの何れか1項に記載の画像生成装置。
  7. 表示装置を含み、
    第1アプリケーションプログラムを実行することにより、第1画像を前記表示装置に表示させること、
    第2アプリケーションプログラムを実行することにより、第2画像を前記表示装置に表示させること、及び、
    前記第1画像を表す第1画像データ及び前記第1画像の解像度を示す第1解像度情報を所定の宛先へ送信するとともに、前記第2画像を表す第2画像データと前記第2画像の解像度を示す第2解像度情報とを前記所定の宛先へ送信すること、
    を実行する端末装置。
  8. 第1アプリケーションプログラム及び第2アプリケーションプログラムを実行中の第1端末装置と通信することにより、前記第1アプリケーションプログラムに従って前記第1端末装置が表示する第1画像を表す第1画像データと前記第1画像の解像度を示す第1解像度情報とを取得するとともに、前記第2アプリケーションプログラムに従って前記第1端末装置が表示する第2画像を表す第2画像データと前記第2画像の解像度を示す第2解像度情報とを取得すること、
    前記第1解像度情報及び前記第2解像度情報に基づいて、出力画像における予め定められた領域に前記第1画像及び前記第2画像を配置する第1レイアウトを決定すること、及び、
    前記第1レイアウト、前記第1画像データ及び前記第2画像データに基づいて、前記第1レイアウトに従って前記予め定められた領域に前記第1画像及び前記第2画像が配置された出力画像を生成すること、
    を含む画像生成方法。
JP2021055280A 2021-03-29 2021-03-29 画像生成装置、端末装置、及び画像生成方法 Active JP7380625B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021055280A JP7380625B2 (ja) 2021-03-29 2021-03-29 画像生成装置、端末装置、及び画像生成方法
US17/706,162 US20220311937A1 (en) 2021-03-29 2022-03-28 Image generation device, terminal device, and image generation method
CN202210310494.8A CN115134566B (zh) 2021-03-29 2022-03-28 图像生成装置以及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021055280A JP7380625B2 (ja) 2021-03-29 2021-03-29 画像生成装置、端末装置、及び画像生成方法

Publications (2)

Publication Number Publication Date
JP2022152491A true JP2022152491A (ja) 2022-10-12
JP7380625B2 JP7380625B2 (ja) 2023-11-15

Family

ID=83363835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021055280A Active JP7380625B2 (ja) 2021-03-29 2021-03-29 画像生成装置、端末装置、及び画像生成方法

Country Status (3)

Country Link
US (1) US20220311937A1 (ja)
JP (1) JP7380625B2 (ja)
CN (1) CN115134566B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11916950B1 (en) 2021-04-12 2024-02-27 Vmware, Inc. Coordinating a distributed vulnerability network scan

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146495A (ja) * 2006-12-12 2008-06-26 Sony Corp 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置
JP2010108372A (ja) * 2008-10-31 2010-05-13 Toshiba Corp 映像表示装置、映像表示方法および映像システム
US20100325577A1 (en) * 2009-06-17 2010-12-23 Brigham Young University Window broker architecture
WO2014013979A1 (ja) * 2012-07-17 2014-01-23 Necディスプレイソリューションズ株式会社 表示装置、及び表示方法
JP2017173763A (ja) * 2016-03-25 2017-09-28 シャープ株式会社 画像提供装置、画像表示システム、画像提供方法、および、プログラム
JP2018036933A (ja) * 2016-09-01 2018-03-08 セイコーエプソン株式会社 端末装置、端末装置のプログラム、端末装置の制御方法、および表示システム
JP2019015834A (ja) * 2017-07-06 2019-01-31 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP2020194107A (ja) * 2019-05-29 2020-12-03 セイコーエプソン株式会社 表示装置の制御方法、及び表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039794A (ja) * 2003-07-18 2005-02-10 Matsushita Electric Ind Co Ltd 表示処理方法及び表示処理装置
JP6364837B2 (ja) * 2014-03-14 2018-08-01 オムロン株式会社 画像処理装置および領域分割方法
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
CN109308862B (zh) * 2017-07-27 2022-03-04 北京淳中科技股份有限公司 信号控制方法、控制装置、处理装置及信号控制设备
CN115243103A (zh) * 2019-04-30 2022-10-25 深圳光峰科技股份有限公司 图像拆分方法与图像显示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146495A (ja) * 2006-12-12 2008-06-26 Sony Corp 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置
JP2010108372A (ja) * 2008-10-31 2010-05-13 Toshiba Corp 映像表示装置、映像表示方法および映像システム
US20100325577A1 (en) * 2009-06-17 2010-12-23 Brigham Young University Window broker architecture
WO2014013979A1 (ja) * 2012-07-17 2014-01-23 Necディスプレイソリューションズ株式会社 表示装置、及び表示方法
JP2017173763A (ja) * 2016-03-25 2017-09-28 シャープ株式会社 画像提供装置、画像表示システム、画像提供方法、および、プログラム
JP2018036933A (ja) * 2016-09-01 2018-03-08 セイコーエプソン株式会社 端末装置、端末装置のプログラム、端末装置の制御方法、および表示システム
JP2019015834A (ja) * 2017-07-06 2019-01-31 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP2020194107A (ja) * 2019-05-29 2020-12-03 セイコーエプソン株式会社 表示装置の制御方法、及び表示装置

Also Published As

Publication number Publication date
US20220311937A1 (en) 2022-09-29
JP7380625B2 (ja) 2023-11-15
CN115134566A (zh) 2022-09-30
CN115134566B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
JP6035712B2 (ja) 画面共有サービス提供システム、情報処理装置、画面共有サービス提供方法、画面共有サービス提供プログラム、及びプログラム
JP4692529B2 (ja) グラフィカルユーザインタフェース装置
JP2004054783A (ja) ネットワーク対応表示装置およびネットワーク対応プロジェクタ
JP4764675B2 (ja) 表示データ送信装置、及びディスプレイシステム
JP7380625B2 (ja) 画像生成装置、端末装置、及び画像生成方法
US10241736B2 (en) System, display position determination method, and computer-readable recording medium
JP2020009456A (ja) 画面共有サービス提供システム、情報処理装置、投影装置、画面共有サービス提供方法、及び画面共有サービス提供プログラム
JP2005284195A (ja) 画像表示システム
WO2009113676A1 (ja) 画像表示システム及び同システムに用いる表示装置、並びに情報処理方法
JP2017062645A (ja) 画像配信システム、画像配信方法及びプログラム
JP5445661B2 (ja) グラフィカルユーザインタフェース装置および制御方法
JP2815927B2 (ja) 分散型コンピュータシステム
JPH11327523A (ja) 画面共有システム、画面共有方法及び記録媒体
JP2014174864A (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
KR20210090510A (ko) 멀티 스크린을 사용하여 가상 모바일 인프라 서비스를 제공하는 방법
JP5515351B2 (ja) 画像出力装置、制御方法、及び制御プログラム
CN112866659B (zh) 影像编辑装置的控制方法、影像编辑装置以及记录介质
JP2013117783A (ja) 画像表示装置
CN113238724B (zh) 多区域组合投屏方法、装置、设备及存储介质
JP5874711B2 (ja) 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
WO2024007799A1 (zh) 显示屏幕远程共享的处理方法、设备及存储介质
KR102379103B1 (ko) 무베젤 디스플레이 환경에서 다수의 다종 영상을 동기화 및 표출하는 시스템 및 방법
JP2017224100A (ja) 表示装置、通信資源割当装置、通信資源割当方法、及びプログラム
JP6801252B2 (ja) 表示装置、表示システム、及び、表示装置の制御方法
CN115762379A (zh) 一种控制方法、装置及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230823

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7380625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150