JP2018169583A - 情報処理システム、情報処理装置および情報処理方法 - Google Patents

情報処理システム、情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP2018169583A
JP2018169583A JP2017068971A JP2017068971A JP2018169583A JP 2018169583 A JP2018169583 A JP 2018169583A JP 2017068971 A JP2017068971 A JP 2017068971A JP 2017068971 A JP2017068971 A JP 2017068971A JP 2018169583 A JP2018169583 A JP 2018169583A
Authority
JP
Japan
Prior art keywords
display
content
connection
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017068971A
Other languages
English (en)
Other versions
JP6897234B2 (ja
Inventor
宏太 板倉
Kota Itakura
宏太 板倉
淳一 由良
Junichi Yura
淳一 由良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017068971A priority Critical patent/JP6897234B2/ja
Priority to PCT/JP2018/001972 priority patent/WO2018179730A1/ja
Priority to EP18777894.9A priority patent/EP3605519A4/en
Publication of JP2018169583A publication Critical patent/JP2018169583A/ja
Priority to US16/571,887 priority patent/US20200013377A1/en
Application granted granted Critical
Publication of JP6897234B2 publication Critical patent/JP6897234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/04Display device controller operating with a plurality of display units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/42Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of patterns using a display memory without fixed position correspondence between the display memory contents and the display position on the screen

Abstract

【課題】複数の表示画面が平面に並んでいない場合であっても、複数の表示画面にコンテンツを矛盾なく表示させる。【解決手段】複数のディスプレイ2のうち少なくとも1つのディスプレイ2は、他のディスプレイ2と捻れがある接続関係である。情報処理装置1は、複数のディスプレイ2の中で描画の基準となり得るディスプレイ2毎に、ディスプレイ2と接続する他のディスプレイ2との描画用の接続関係を記憶する。情報処理装置1は、通信機器3から所定のコンテンツの描画指示を受け付けると、コンテンツの描画の基準となるディスプレイを選択し、記憶部に記憶された描画用の接続関係から、選択されたディスプレイ2と描画の際に接続する他のディスプレイ2との接続関係を決定し、決定された接続関係に基づいて、コンテンツの画像を各ディスプレイで表示する画像に分割し、それぞれの画像を接続関係に応じて複数のディスプレイ2に描画させる。【選択図】図1

Description

本発明は、情報処理システムなどに関する。
近年、空間をデジタル化するUI(User Interface)技術が知られている(例えば、非特許文献1を参照)。かかる空間UIでは、壁や机などの広い空間を使って1つのウィンドウシステムを構築する。
また、複数の表示装置を接続して1つの画像情報を表示する表示装置が開示されている(例えば、特許文献1を参照)。表示装置の一例として、電子ペーパや液晶パネルが挙げられる。かかる表示装置の制御部は、複数の表示装置の隣接形態を判断し、複数の表示装置によって構成される全体領域のうち自装置によって構成する分担領域および表示方向を判断し、判断された分担領域および表示方向に基づき、画像情報のうち自装置が表示する範囲を決定して自装置の表示部で表示させる。なお、表示装置は、表示装置同士でどちらの表示方向を優先させるかを判定させるための表示方向優先度を持つ。
また、複数の表示画面を用いてコンテンツの表示を行う電子表示装置が開示されている(例えば、特許文献2を参照)。
特開2009−25466号公報 特開2003−280622号公報 特開2003−280783号公報
S.lzadi,et al.2003.Dynamo:a public interactive surface supporting the cooperative sharing and exchange of media.In Proc.of UIST’03.ACM,159-168
しかしながら、複数の表示画面が平面に並んでいない場合には、コンテンツを表示する位置によってはコンテンツが矛盾して表示されてしまうという問題がある。
例えば、複数の表示装置は、平面に並んで接続されず、捻れて接続される場合がある。かかる場合には、従来の表示装置の制御部は、複数の表示装置の隣接形態を判断するが、捻れた表示装置の隣接形態を正しく判断することが難しく、複数の表示装置によって構成される全体領域を正しく判断することができない。この結果、表示装置の制御部は、画像情報を複数の表示装置に矛盾なく表示することが難しい。
また、複数の表示装置に代えて複数の表示画面が、平面に並んで接続されず、捻れて接続される場合であっても、捻れて接続される複数の表示装置と同様に、コンテンツを矛盾なく表示することが難しい。
また、空間UIでは、壁や机をそれぞれ表示画面として用いる場合があるが、かかる場合であっても、表示画面同士が捻れて接続されると、捻れて接続される複数の表示装置と同様に、コンテンツを矛盾なく表示することが難しい。
ここで、壁や机をそれぞれ表示画面(ディスプレイ)として用いる場合のコンテンツの表示が矛盾する一例を、図18を参照して説明する。図18は、コンテンツの表示が矛盾する一例を示す図である。図18に示すように、ディスプレイA、ディスプレイBは、壁を利用したものである。ディスプレイCは、机を利用したものである。ディスプレイAおよびディスプレイBは、90度捻れている。ディスプレイAおよびディスプレイCは、90度捻れている。ディスプレイBおよびディスプレイCは、90度捻れている。このような状況下で、表示装置の制御部は、複数のディスプレイA、B、Cの隣接形態を判断する。しかしながら、表示装置の制御部は、複数のディスプレイA、B、Cの接続が捻れているので、隣接形態を正しく判断することができない。そして、表示装置の制御部は、コンテンツの一部を別の一部と重複して1つのディスプレイに表示してしまう。つまり、コンテンツが矛盾して表示されてしまう。
1つの側面では、複数の表示画面が平面に並んでいない場合であっても、複数の表示画面にコンテンツを矛盾なく表示させることを目的とする。
1つの態様では、情報処理システムは、情報処理装置と、前記情報処理装置と通信する通信機器と、前記情報処理装置と接続する複数のディスプレイと、を有する。前記複数のディスプレイのうち少なくとも1つのディスプレイは、他のディスプレイと捻れがある接続関係である。前記情報処理装置は、前記複数のディスプレイの中で描画の基準となり得るディスプレイ毎に、前記ディスプレイと接続する他のディスプレイとの描画用の接続関係を記憶する記憶部と、前記通信機器から所定のコンテンツの描画指示を受け付けると、前記コンテンツの描画の基準となるディスプレイを選択する選択部と、前記記憶部に記憶された描画用の接続関係から前記選択部によって選択された前記ディスプレイと描画の際に接続する他のディスプレイとの接続関係を決定する決定部と、前記決定部によって決定された接続関係に基づいて、前記コンテンツの画像を各ディスプレイで表示する画像に分割する分割部と、前記分割部によって分割されたそれぞれの画像を、前記接続関係に応じて描画する描画部と、を有する。
1つの態様によれば、複数の表示画面が平面に並んでいない場合であっても、複数の表示画面にコンテンツを矛盾なく表示させることができる。
図1は、実施例1に係る情報処理システムの構成を示す機能ブロック図である。 図2は、実施例1に係るコンテンツ描画の概念を示す図である。 図3は、実施例1に係るディスプレイ情報のデータ構造の一例を示す図である。 図4は、実施例1に係る接続情報のデータ構造の一例を示す図である。 図5は、実施例1に係るプライマリディスプレイ情報のデータ構造の一例を示す図である。 図6は、実施例1に係るコンテンツ位置情報のデータ構造の一例を示す図である。 図7は、各ディスプレイにおけるコンテンツの位置の計算の一例を示す図である。 図8Aは、実施例1に係るコンテンツ描画の流れの一例を示す図(1)である。 図8Bは、実施例1に係るコンテンツ描画の流れの一例を示す図(2)である。 図8Cは、実施例1に係るコンテンツ描画の流れの一例を示す図(3)である。 図9は、実施例1に係るプライマリディスプレイ選択の一例を示す図である。 図10は、実施例1に係るプライマリディスプレイ選択の別の例を示す図である。 図11は、プライマリディスプレイを変更した場合のコンテンツ描画の一例を示す図である。 図12は、実施例1に係るコンテンツ生成時のコンテンツ描画のフローチャートの一例を示す図である。 図13は、実施例1に係るコンテンツ移動時のコンテンツ描画のフローチャートの一例を示す図である。 図14は、実施例2に係る情報処理システムの構成を示す機能ブロック図である。 図15は、実施例2に係る描画用ディスプレイ接続の動的推定の一例を示す図である。 図16は、実施例2に係る描画用ディスプレイ接続の動的推定の別の例を示す図である。 図17は、情報処理プログラムを実行するコンピュータの一例を示す図である。 図18は、コンテンツの表示が矛盾する一例を示す図である。
以下に、本願の開示する情報処理システム、情報処理装置および情報処理方法の実施例を図面に基づいて詳細に説明する。なお、実施例によりこの発明が限定されるものではない。
[実施例1に係る情報処理システムの構成]
図1は、実施例1に係る情報処理システムの構成を示す機能ブロック図である。図1に示すように、情報処理システム9は、情報処理装置1および通信機器3を有する。情報処理装置1は、平面に並んでいない複数のディスプレイ2にコンテンツを表示させる場合に、コンテンツの表示基準となるディスプレイ2と他のディスプレイ2との接続関係に基づいて、コンテンツの画像を各ディスプレイ2に表示する画像に分割し、描画する。なお、実施例では、複数のディスプレイ2が平面に並んでいないことを「捻れがある」というものとする。
ここで、実施例1に係るコンテンツ描画の概念を、図2を参照して説明する。図2は、実施例1に係るコンテンツ描画の概念を示す図である。なお、図2では、複数のディスプレイ2のうち少なくとも1つのディスプレイ2は、他のディスプレイ2と捻れがある配置関係であるとする。
図2に示すように、情報処理装置1は、通信機器3からコンテンツの生成または移動の指示を受け取ると(S90)、コンテンツの表示基準となるディスプレイ2(「プライマリディスプレイ」という)を選択する(S91)。ここでは、プライマリディスプレイとしてディスプレイAが選択される。
そして、情報処理装置1は、選択したプライマリディスプレイを基準として、連続して描画を行うディスプレイ2の接続を決定する(S92)。ここでは、情報処理装置1は、プライマリディスプレイAを基準として、連続して描画を行うディスプレイ2との接続を、ディスプレイBとの接続、ディスプレイCとの接続に決定する。ディスプレイBとディスプレイCとの接続は、描画に利用しない。なお、プライマリディスプレイAを基準としたときに描画に利用するディスプレイ2との接続の情報は、予め設定されていれば良い。
そして、情報処理装置1は、描画用の接続に基づいて、コンテンツの画像を各ディスプレイ2に表示する画像に分割し、分割した画像をそれぞれ各ディスプレイ2に描画する(S93)。ここでは、情報処理装置1は、ディスプレイBとディスプレイCとの接続を描画に利用しないことで、複数のディスプレイ2にコンテンツを矛盾なく描画することができる。
図1に戻って、情報処理装置1は、空間にある壁や机などを複数のディスプレイ2として機能させる。また、情報処理装置1は、通信機器3と接続する。通信機器3は、少なくとも無線通信機能を備え、例えば、スマートフォン、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistance)などの携帯用の通信機器に対応する。無線通信は、例えば、WiFi(登録商標)(Wireless Fidelity)であったり、Bluetooth(登録商標)規格の無線通信であったりするが、近距離無線通信であれば良い。
また、情報処理装置1は、ディスプレイ情報11、接続情報12、プライマリディスプレイ情報13およびコンテンツ位置情報14を図示しない記憶部に記憶する。記憶部は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
ディスプレイ情報11は、ディスプレイ2ごとに、ディスプレイ2のサイズを記憶する情報である。ディスプレイ2のサイズは、幅と高さで示される。なお、ディスプレイ情報11は、あらかじめ利用者によって設定される。
ここで、ディスプレイ情報11のデータ構造の一例を、図3を参照して説明する。図3は、実施例1に係るディスプレイ情報のデータ構造の一例を示す図である。図3に示すように、ディスプレイ情報11は、ID(identifier)11aとサイズ11bとを対応付けて記憶する。ID11aは、ディスプレイ2を識別する識別子である。サイズ11bは、ディスプレイ2の幅と高さを示す。一例として、ID11aが「DisplayA」である場合に、サイズ11bとして幅(width)が「800」、高さ(height)が「600」を記憶している。
図1に戻って、接続情報12は、描画の際に用いられるディスプレイ2間の接続を示す情報である。ディスプレイ2間の接続は、各ディスプレイ2上の対応する2点によって示される。なお、接続情報12は、あらかじめ利用者によって設定される。
ここで、接続情報12のデータ構造の一例を、図4を参照して説明する。図4は、実施例1に係る接続情報のデータ構造の一例を示す図である。図4に示すように、接続情報12は、ID12a、接続元12b、点a12c、点b12d、接続先12e、点a´12fおよび点b´12gを対応付けて記憶する。ID12aは、ディスプレイ2間の接続を識別する識別子である。接続元12bは、接続元のディスプレイ2の識別子を示す。点a12cは、ディスプレイ2間の接続を表す際に用いられる接続元のディスプレイ2の1点の座標を示す。点b12dは、ディスプレイ2間の接続を表す際に用いられる接続元のディスプレイ2の他点の座標を示す。なお、座標は、接続元のディスプレイ2上の座標である。接続先12eは、接続先のディスプレイ2の識別子を示す。点a´12fは、ディスプレイ2間の接続を表す際に用いられる接続先のディスプレイ2の1点の座標を示す。点b´12gは、ディスプレイ2間の接続を表す際に用いられる接続先のディスプレイ2の他点の座標を示す。接続元12bおよび接続先12e間の接続は、接続元12bおよび接続先12eの対応する2点、すなわち点a12cおよび点b12d、点a´12fおよび点b´12gによって示される。なお、座標は、接続先のディスプレイ2上の座標である。
一例として、ID12aが「接続1」である場合に、接続元12bとして「DisplayA」、点a12cとして{x:800,y:0}、点b12dとして{x:800,y:600}を記憶している。また、接続先12eとして「DisplayB」、点a´12fとして{x:0,y:0}、点b´12gとして{x:0,y:600}を記憶している。すなわち、図4下図に示すように、「接続1」は、DisplayAとDisplayBとの間の接続を示している。接続元がDisplayAであり、接続先がDisplayBである。
図1に戻って、プライマリディスプレイ情報13は、プライマリディスプレイごとに、描画の際に利用する接続を示す情報である。ここでいう「プライマリディスプレイ」とは、表示基準となるディスプレイのことをいう。なお、プライマリディスプレイ情報13は、実施例1では、あらかじめ利用者によって設定される。
ここで、プライマリディスプレイ情報13のデータ構造の一例を、図5を参照して説明する。図5は、実施例1に係るプライマリディスプレイ情報のデータ構造の一例を示す図である。図5に示すように、プライマリディスプレイ情報13は、プライマリ13aおよび描画用接続13bを対応付けて記憶する。プライマリ13aは、プライマリディスプレイを識別する識別子である。描画用接続13bは、プライマリディスプレイを基準としたときの描画に利用するディスプレイとの接続を示す。一例として、プライマリ13aが「DisplayA」である場合に、描画用接続13bとして「接続1」および「接続2」を記憶している。すなわち、図4下図に示すように、プライマリ13aが「DisplayA」である場合には、描画に利用する接続としてDisplayBとの接続を示す「接続1」およびDisplayCとの接続を示す「接続2」が利用される。
図1に戻って、コンテンツ位置情報14は、コンテンツを表示する際のコンテンツの表示位置に関する情報である。なお、コンテンツ位置情報14は、コンテンツの描画指示があったときに、後述するプライマリディスプレイ選択部16によって生成される。
ここで、コンテンツ位置情報14のデータ構造の一例を、図6を参照して説明する。図6は、実施例1に係るコンテンツ位置情報のデータ構造の一例を示す図である。図6に示すように、コンテンツ位置情報14は、ID14a、プライマリ14b、位置14c、描画用接続14d、サイズ14eおよび回転量14fを対応付けて記憶する。ID14aは、コンテンツを識別する識別子である。プライマリ14bは、コンテンツを表示するプライマリディスプレイの識別子である。位置14cは、プライマリディスプレイ上のコンテンツの表示位置であり、1点の座標を示す。なお、座標は、プライマリディスプレイ上の座標である。描画用接続14dは、プライマリディスプレイを基準としたときのコンテンツの描画に利用するディスプレイとの接続を示す。描画用接続14dは、図5の描画用接続13bに対応する。サイズ14eは、コンテンツの幅と高さを示す。回転量14fは、コンテンツを表示する際のコンテンツの回転量を示す。
一例として、ID14aが「コンテンツ1」である場合に、プライマリ14bとして「DisplayA」、位置14cとして{x:200,y:200}、描画用接続14dとして「接続1」および「接続2」を記憶している。また、サイズ14eとして幅(width)が「800」、高さ(height)が「600」を記憶している。また、回転量14fとして「0」を記憶している。
図1に戻って、情報処理装置1は、コンテンツ実行部15、プライマリディスプレイ選択部16、描画用ディスプレイ接続推定部17、描画位置計算部18および描画分割部19を有する。
コンテンツ実行部15は、コンテンツの描画画像を生成する。例えば、コンテンツ実行部15は、コンテンツの描画指示を受け付けると、対象のコンテンツの描画画像を生成し、生成した描画画像を描画分割部19に出力する。なお、コンテンツの描画指示には、コンテンツの内容が含まれる。
プライマリディスプレイ選択部16は、複数のディスプレイ2の中でプライマリディスプレイを選択する。例えば、プライマリディスプレイ選択部16は、コンテンツの描画指示を受け付けると、描画指示に含まれるプライマリディスプレイの指定に基づき、プライマリディスプレイを選択する。なお、コンテンツの描画指示には、プライマリディスプレイの指定のほか、コンテンツの表示位置、サイズおよび回転量が含まれる。そして、プライマリディスプレイ選択部16は、コンテンツの描画指示に含まれた情報およびプライマリディスプリ情報13からコンテンツ位置情報14を生成する。そして、プライマリディスプレイ選択部16は、生成したコンテンツ位置情報14を描画用ディスプレイ接続推定部17に出力する。なお、コンテンツの描画指示には、コンテンツの生成指示やコンテンツの移動指示が含まれる。
描画用ディスプレイ接続推定部17は、プライマリディスプレイ選択部16によって選択されたプライマリディスプレイから描画に利用するディスプレイ2の接続を推定する。例えば、描画用ディスプレイ接続推定部17は、コンテンツ位置情報14を入力すると、コンテンツ位置情報14に含まれるプライマリ14bが示すプライマリディスプレイに対応付けられた描画用接続13bを、プライマリディスプレイ情報13から取得する。すなわち、描画用ディスプレイ接続推定部17は、プライマリディスプレイ選択部16によって選択されたプライマリディスプレイから描画に利用する描画用接続を決定する。そして、描画用ディスプレイ接続推定部17は、決定した描画用接続およびコンテンツ位置情報14を描画位置計算部18に出力する。
描画位置計算部18は、各ディスプレイ2におけるコンテンツの描画位置を計算する。例えば、描画位置計算部18は、描画用ディスプレイ接続推定部17から描画用接続を入力し、入力した描画用接続から各ディスプレイ2におけるコンテンツの描画位置を計算する。一例として、描画位置計算部18は、描画用接続に従って、接続情報12から接続元12bおよび接続先12eのそれぞれのディスプレイ2を特定し、同一平面上に並べる。描画位置計算部18は、描画用ディスプレイ接続推定部17からコンテンツ位置情報14を入力し、入力したコンテンツ位置情報14からコンテンツの位置14c、サイズ14eおよび回転量14fを取得する。そして、描画位置計算部18は、コンテンツの位置14cを用いて、各ディスプレイ2におけるコンテンツの位置を計算する。加えて、描画位置計算部18は、計算した各ディスプレイ2におけるコンテンツの位置、コンテンツのサイズ14eおよび回転量14fに基づいて、各ディスプレイ2におけるコンテンツの表示領域を計算する。
ディスプレイ2におけるコンテンツの表示領域は、ディスプレイ2が示す矩形とコンテンツが示す矩形とが重なった部分の領域である。ディスプレイ2が示す矩形とコンテンツが示す矩形とが重なった部分の領域は、相手の矩形に包含された矩形の頂点と、矩形同士の交点により囲まれた領域となる。なお、この領域を計算する方法は、従来のいかなる計算方法を用いても良い。
また、各ディスプレイ2におけるコンテンツの位置は、例えば、ディスプレイ2間の座標変換を示すアフィン変換を用いれば良い。
ここで、各ディスプレイ2におけるコンテンツの位置の計算の一例を、図7を参照して説明する。図7は、各ディスプレイにおけるコンテンツの位置の計算の一例を示す図である。なお、図7では、ディスプレイAがプライマリディスプレイであるとし、ディスプレイBにおけるコンテンツの位置を計算する場合を説明する。
図7に示すように、描画位置計算部18は、ディスプレイAおよびディスプレイBを同一平面上に並べる。ここで、(x,y)は、絶対座標系でのディスプレイAの基準点の座標である。(x,y)は、絶対座標系でのディスプレイBの基準点の座標である。θは、絶対座標系でのディスプレイAの回転量である。θは、絶対座標系でのディスプレイBの回転量である。
そして、描画位置計算部18は、描画用ディスプレイ接続推定部17からコンテンツ位置情報14を入力し、入力したコンテンツ位置情報14からコンテンツの位置14cを取得する。ここで、点Pは、コンテンツの位置14cであり、ディスプレイA上のコンテンツの座標である。すなわち、(x、y)から点PへのベクトルPは、ディスプレイA上の点Pの座標で示される。
そして、描画位置計算部18は、ディスプレイBにおけるコンテンツの点Pの位置を、以下の式(1)により計算する。なお、(PAx、PAy)は、(x、y)から点PへのベクトルPである。(PBx、PBy)は、(x、y)から点PへのベクトルPであり、ディスプレイBにおけるコンテンツの点Pの位置(座標)である。
Figure 2018169583
すなわち、描画位置計算部18は、ディスプレイA上の座標(PAx、PAy)をディスプレイAの回転θだけ回転する。そして、描画位置計算部18は、ディスプレイAの位置(x、y)だけ移動する。さらに、描画位置計算部18は、ディスプレイBの位置(x、y)に移動し、ディスプレイBの回転θだけ回転すると、ディスプレイB上の座標になる。
その後、描画位置計算部18は、計算した各ディスプレイ2におけるコンテンツの位置、コンテンツのサイズ14eおよび回転量14fに基づいて、各ディスプレイ2におけるコンテンツの表示領域を計算する。
図1に戻って、描画分割部19は、描画位置計算部18によって計算された各ディスプレイ2における表示領域に基づいてコンテンツ実行部15によって生成されたコンテンツの描画画像を分割する。そして、描画分割部19は、分割されたそれぞれの描画画像を描画位置とともに、描画を担当するそれぞれのディスプレイ2に送信する。
通信機器3は、コンテンツ描画指示部31を有する。
コンテンツ描画指示部31は、コンテンツの描画指示を情報処理装置1へ送信する。例えば、コンテンツ描画指示部31は、プライマリディスプレイの指定、コンテンツの表示位置、サイズおよび回転量を含むコンテンツの描画指示を情報処理装置1へ送信する。プライマリディスプレイの指定、コンテンツの表示位置、サイズおよび回転量は、一例として、ユーザによって指定される。
ディスプレイ2は、入力受付部21およびコンテンツ描画部22を有する。
入力受付部21は、コンテンツの移動操作の入力を受け付けると、コンテンツの移動指示をプライマリディスプレイ選択部16に送信する。また、入力受付部21は、コンテンツの内容の変更操作の入力を受け付けると、コンテンツの内容の変更操作における描画指示をコンテンツ実行部15に送信する。コンテンツの内容の変更操作における描画指示には、変更操作後のコンテンツの内容が含まれる。なお、入力受付部21は、例えば、タッチパネルに対応する。
コンテンツ描画部22は、描画分割部19から送信された描画画像および描画位置を受け付けると、受け付けた描画画像を、受け付けた描画位置に描画する。
[コンテンツ描画の流れの一例]
図8A〜図8Cは、実施例1に係るコンテンツ描画の流れの一例を示す図である。なお、プライマリディスプレイ選択部16は、コンテンツ描画指示部31からコンテンツの生成指示を受け付けたとする。コンテンツの生成指示には、プライマリディスプレイを「DisplayA」とする指示のほか、コンテンツの表示位置を(200,200)とし、コンテンツのサイズとして幅800、高さ600とする指示が含まれている。
図8Aに示すように、プライマリディスプレイ選択部16は、コンテンツの生成指示に含まれるプライマリディスプレイの指定に基づき、「DisplayA」をプライマリディスプレイとして選択する。そして、プライマリディスプレイ選択部16は、コンテンツの生成指示からコンテンツ位置情報14を生成する。ここでは、コンテンツ位置情報14には、ID14aとして「コンテンツ1」、プライマリ14bとして「DisplayA」、位置14cとして{x:200,y:200}が設定される。また、サイズ14eとして幅(width)「800」、高さ(height)「600」が設定される。また、回転量14fとして「0」が設定される。
図8Bに示すように、描画用ディスプレイ接続推定部17は、プライマリディスプレイ情報13から、選択されたプライマリディスプレイ「DisplayA」に対応付けられた描画用接続13bを取得する。ここでは、描画用接続13bとして「接続1、接続2」が取得される。すなわち、「DisplayA」と「DisplayB」とが接続される。「DisplayA」と「DisplayC」とが接続される。
図8Cに示すように、描画位置計算部18は、描画用接続に従って、接続情報12から接続元12bおよび接続先12eのそれぞれのディスプレイ2を特定し、同一平面上に並べる。そして、描画位置計算部18は、コンテンツ位置情報14からコンテンツの位置14c、サイズ14eおよび回転量14fを取得する。ここでは、コンテンツの位置14cは{x:200,y:200}である。コンテンツのサイズ14eは、幅として「800」、高さとして「600」である。コンテンツの回転量14fは「0」である。
そして、描画位置計算部18は、コンテンツの位置14cを用いて各ディスプレイ2のコンテンツの位置を計算する。各ディスプレイ2のコンテンツの位置は、式(1)で示したように、例えば、ディスプレイ2間の座標変換としてアフィン変換を用いれば良い。ここでは、「DisplayA」におけるコンテンツの位置P´は、コンテンツの位置14cである(200,200)である。そして、「DisplayB」におけるコンテンツの位置P´は、(−600,200)と計算される。「DisplayC」におけるコンテンツの位置P´は、(200,−400)と計算される。
そして、描画位置計算部18は、計算した各ディスプレイ2におけるコンテンツの位置、コンテンツのサイズ14eおよび回転量14fに基づいて、各ディスプレイ2におけるコンテンツの表示領域を計算する。ここでは、「DisplayA」におけるコンテンツの表示領域は、符号Dで示される領域である。「DisplayB」におけるコンテンツの表示領域は、符号Dで示される領域である。「DisplayC」におけるコンテンツの表示領域は、符号Dで示される領域である。なお、符号Dで示される領域は、コンテンツに含まれる領域であるが、「DisplayB」と「DisplayC」とが接続されないので、表示されない。これにより、描画位置計算部18は、コンテンツの一部を同じコンテンツの別の一部と重複して1つのディスプレイに表示することを抑制できる。すなわち、描画位置計算部18は、コンテンツを矛盾して表示することを抑制できる。
なお、実施例1では、プライマリディスプレイ選択部16は、通信機器3のコンテンツ描画指示部31からコンテンツの描画指示を受け付けると、描画指示に含まれるプライマリディスプレイの指定に基づき、プライマリディスプレイを選択すると説明した。しかしながら、プライマリディスプレイ選択部16は、これに限定されず、ディスプレイ2からプライマリディスプレイの変更指示を受け付けた場合には、プライマリディスプレイの変更指示に基づき、プライマリディスプレイを選択しても良い。また、プライマリディスプレイ選択部16は、コンテンツを複数のディスプレイ2に描画する場合に、最も描画の面積が大きくなるディスプレイ2を、プライマリディスプレイとして選択しても良い。図9では、プライマリディスプレイ選択の一例として、ディスプレイ2からのプライマリディスプレイの変更指示に基づきプライマリディスプレイが選択される場合を説明する。図10では、プライマリディスプレイ選択の別の例として、最も描画の面積が大きいディスプレイ2をプライマリディスプレイとして選択される場合を説明する。
[プライマリディスプレイの選択の一例]
図9は、実施例1に係るプライマリディスプレイ選択の一例を示す図である。
図9に示すように、プライマリディスプレイ選択部16は、プライマリディスプレイを選択する選択用のボタンを現在のプライマリディスプレイ上に表示する。なお、選択用のボタンを表示するタイミングは、それぞれのディスプレイ2にコンテンツの描画画像が描画された後であれば良い。ここでは、プライマリディスプレイ「DisplayA」上に選択用のボタンが表示されている。選択用のボタンには、「DisplayA」を示す「A」ボタン、「DisplayB」を示す「B」ボタン、「DisplayC」を示す「C」ボタンが存在している。
例えば、プライマリディスプレイが「A」から「B」に変更される場合には、選択用のボタンの「B」ボタンが押下される。すると、入力受付部21は、プライマリディスプレイの変更指示の入力を受け付け、プライマリディスプレイの変更指示をプライマリディスプレイ選択部16に送信する。その後、プライマリディスプレイ選択部16が、プライマリディスプレイの変更指示に基づき、プライマリディスプレイを「B」に変更する。
[プライマリディスプレイの選択の別の例]
図10は、実施例1に係るプライマリディスプレイ選択の別の例を示す図である。
図10に示すように、コンテンツ移動前の状態では、「DisplayA」がプライマリディスプレイである。そして、描画用接続13bとして「接続1、接続2」が取得される。すなわち、「DisplayA」と「DisplayB」とが接続される。「DisplayA」と「DisplayC」とが接続される。
ここで、入力受付部21が、コンテンツ移動後の状態で、コンテンツの移動操作の入力を受け付けると、コンテンツの移動指示をプライマリディスプレイ選択部16に送信する。プライマリディスプレイ選択部16は、コンテンツの移動指示に基づき、コンテンツの移動動作後の表示位置を計算する。プライマリディスプレイ選択部16は、コンテンツ移動後の状態で、各ディスプレイ2におけるコンテンツの表示面積を計算する。プライマリディスプレイ選択部16は、表示面積が最も大きいディスプレイ2をプライマリディスプレイとして選択する。ここでは、「DisplayB」におけるコンテンツの表示面積が、「DisplayA」および「DisplayC」と比べて大きい。すなわち、プライマリディスプレイ選択部16は、表示面積が最も大きい「DisplayB」をプライマリディスプレイとして選択する。
この後、描画用ディスプレイ接続推定部17は、プライマリディスプレイ情報13から、選択されたプライマリディスプレイ「DisplayB」に対応付けられた描画用接続13bを取得する。ここでは、描画用接続13bとして「接続1、接続3」が取得される。描画位置計算部18は、描画用接続13bから各ディスプレイ2における表示領域を計算する。描画分割部19は、各ディスプレイ2における表示領域に基づいてコンテンツの描画画像を分割し、分割した描画画像を各ディスプレイ2に描画させる。
[プライマリディスプレイを変更した場合のコンテンツ描画の一例]
ここで、プライマリディスプレイを変更した場合のコンテンツ描画の一例を、図11を参照して説明する。図11は、プライマリディスプレイを変更した場合のコンテンツ描画の一例を示す図である。なお、図11では、選択用のボタンを用いてプライマリディスプレイを「DisplayA」から「DisplayB」に変更した場合とする。
すると、プライマリディスプレイ選択部16は、プライマリディスプレイの変更指示に基づき、プライマリディスプレイを「DisplayA」から「DisplayB」に変更する。
そして、描画用ディスプレイ接続推定部17は、プライマリディスプレイ情報13から、選択されたプライマリディスプレイ「DisplayB」に対応付けられた描画用接続13bを取得する。ここでは、描画用接続13bとして「接続1、接続3」が取得される。すなわち、「DisplayB」と「DisplayA」とが接続される。「DisplayB」と「DisplayC」とが接続される。
そして、描画位置計算部18は、描画用接続に従って、接続情報12から接続元12bおよび接続先12eのそれぞれのディスプレイ2を同一平面上に並べる。そして、描画位置計算部18は、コンテンツ位置情報14からコンテンツの位置14c、サイズ14eおよび回転量14fを取得する。ここでは、コンテンツの位置14cは{x:200,y:200}である。コンテンツのサイズ14eは、幅として「800」、高さとして「600」である。コンテンツの回転量14fは「0」である。
そして、描画位置計算部18は、コンテンツの位置14cを用いて各ディスプレイ2のコンテンツの位置を計算する。各ディスプレイ2のコンテンツの位置は、式(1)で示したように、例えば、ディスプレイ2間の座標変換としてアフィン変換を用いれば良い。そして、描画位置計算部18は、計算した各ディスプレイ2におけるコンテンツの位置、コンテンツのサイズ14eおよび回転量14fに基づいて、各ディスプレイ2におけるコンテンツの表示領域を計算する。ここでは、「DisplayA」におけるコンテンツの表示領域は、符号Eで示される領域である。「DisplayB」におけるコンテンツの表示領域は、符号Eで示される領域である。「DisplayC」におけるコンテンツの表示領域は、符号Eで示される領域である。
なお、「DisplayA」と「DisplayC」との間の接続(接続2)はされないので、「DisplayA」から「DisplayC」方向にはみ出したコンテンツに含まれる領域は、「DisplayC」に表示されない。これにより、描画位置計算部18は、コンテンツの一部を同じコンテンツの別の一部と重複して1つのディスプレイに表示することを抑制できる。すなわち、描画位置計算部18は、コンテンツを矛盾して表示することを抑制できる。
[コンテンツ生成時のコンテンツ描画のフローチャート]
ここで、コンテンツ生成時のコンテンツ描画のフローチャートを、図12を参照して説明する。図12は、実施例1に係るコンテンツ生成時のコンテンツ描画のフローチャートの一例を示す図である。
図12に示すように、コンテンツ実行部15は、コンテンツ描画指示を受けとったか否かを判定する(ステップS11)。コンテンツ描画指示を受け取っていないと判定した場合には(ステップS11;No)、コンテンツ実行部15は、コンテンツ描画指示を受け取るまで、判定処理を繰り返す。
一方、コンテンツ描画指示を受け取ったと判定した場合には(ステップS11;Yes)、コンテンツ実行部15は、指示されたコンテンツの描画画像を生成する(ステップS12)。
そして、コンテンツ描画指示を受け取ったプライマリディスプレイ選択部16は、コンテンツ描画指示に基づき、プライマリディスプレイを選択する(ステップS13)。例えば、プライマリディスプレイ選択部16は、コンテンツ描画指示に含まれるプライマリディスプレイの指定に基づき、プライマリディスプレイを選択する。そして、プライマリディスプレイ選択部16は、選択したプライマリディスプレイ、コンテンツ描画指示に含まれるコンテンツの表示位置、サイズおよび回転量からコンテンツ位置情報14を生成する。
そして、描画用ディスプレイ接続推定部17は、選択されたプライマリディスプレイから描画用接続を決定する(ステップS14)。例えば、描画用ディスプレイ接続推定部17は、プライマリディスプレイ情報13から、選択されたプライマリディスプレイに対応付けられた描画用接続13bを取得する。そして、描画用ディスプレイ接続推定部17は、コンテンツ位置情報14の描画用接続14dに、取得した描画用接続の情報を格納する。
そして、描画位置計算部18は、決定された描画用接続から各ディスプレイ2における表示領域を計算する(ステップS15)。例えば、描画位置計算部18は、取得された描画用接続13bに従って、接続情報12から接続元12bおよび接続先12eの各ディスプレイを特定し、特定した各ディスプレイ2を同一平面上に並べる。そして、描画位置計算部18は、コンテンツ位置情報14のコンテンツの位置14cを用いて各ディスプレイ2におけるコンテンツの位置を計算する。そして、描画位置計算部18は、計算した各ディスプレイ2におけるコンテンツの位置、コンテンツ位置情報14のコンテンツのサイズ14eおよび回転量14fに基づいて、各ディスプレイ2におけるコンテンツの表示領域を計算する。
そして、描画分割部19は、計算された各ディスプレイ2における表示領域に基づいて、コンテンツ実行部15によって生成されたコンテンツの描画画像を分割する(ステップS16)。そして、描画分割部19は、分割された各描画画像を描画位置とともに、描画を担当するそれぞれのディスプレイ2に送信する。(ステップS17)。
そして、ディスプレイ2では、コンテンツ描画部22が、受信した描画画像および描画位置に基づいて描画する(ステップS18)。例えば、コンテンツ描画部22は、受け取った描画画像を、受け取った描画位置に描画する。
[コンテンツ移動時のコンテンツ描画のフローチャート]
次に、コンテンツ移動時のコンテンツ描画のフローチャートを、図13を参照して説明する。図13は、実施例1に係るコンテンツ移動時のコンテンツ描画のフローチャートの一例を示す図である。なお、図13では、最も描画の面積が大きいディスプレイ2をプライマリディスプレイとして選択する場合を説明する。
図13に示すように、プライマリディスプレイ選択部16は、コンテンツの移動動作があったか否かを判定する(ステップS21)。コンテンツの移動動作がなかったと判定した場合には(ステップS21;No)、プライマリディスプレイ選択部16は、コンテンツの移動動作があるまで、判定処理を繰り返す。
一方、コンテンツの移動動作があったと判定した場合には(ステップS21;Yes)、プライマリディスプレイ選択部16は、コンテンツの移動動作後の表示位置を計算する(ステップS22)。
そして、プライマリディスプレイ選択部16は、コンテンツの移動動作後の表示位置からプライマリディスプレイを推定する(ステップS23)。例えば、プライマリディスプレイ選択部16は、コンテンツ移動動作後の表示位置に基づいて、各ディスプレイ2におけるコンテンツの表示面積を計算する。プライマリディスプレイ選択部16は、表示面積が最も大きいディスプレイ2をプライマリディスプレイとして選択する。そして、プライマリディスプレイ選択部16は、移動動作があったコンテンツに対するコンテンツ位置情報14に対して、選択したプライマリディスプレイおよびコンテンツの表示位置を更新する。
そして、描画用ディスプレイ接続推定部17は、選択されたプライマリディスプレイから描画用接続を決定する(ステップS24)。描画用接続の決定方法は、コンテンツ生成時のコンテンツ描画の場合と同様であるので、その説明を省略する。
そして、描画位置計算部18は、決定された描画用接続から各ディスプレイ2における表示領域を計算する(ステップS25)。表示領域の計算方法は、コンテンツ生成時のコンテンツ描画の場合と同様であるので、その説明を省略する。
そして、描画分割部19は、計算された各ディスプレイ2における表示領域に基づいて、コンテンツ実行部15によって生成されたコンテンツの描画画像を分割する(ステップS26)。そして、描画分割部19は、分割された各描画画像を描画位置とともに、描画を担当するそれぞれのディスプレイ2に送信する。(ステップS27)。
そして、ディスプレイ2では、コンテンツ描画部22が、受信した描画画像および描画位置に基づいて描画する(ステップS28)。例えば、コンテンツ描画部22は、受け取った描画画像を、受け取った描画位置に描画する。
[実施例1の効果]
このようにして、上記実施例1では、情報処理システム9は、情報処理装置1と、通信機器3と、複数のディスプレイ2とを有する。複数のディスプレイ2のうち少なくとも1つのディスプレイ2は、他のディスプレイ2と捻れがある接続関係である。情報処理装置1は、複数のディスプレイ2の中で描画の基準となり得るディスプレイ2毎に、ディスプレイ2と接続する他のディスプレイ2との描画用の接続関係を記憶する。情報処理装置1は、通信機器3から所定のコンテンツの描画指示を受け付けると、コンテンツの描画の基準となるディスプレイを選択する。情報処理装置1は、記憶部に記憶された描画用の接続関係から、選択されたディスプレイ2と描画の際に接続する他のディスプレイ2との接続関係を決定する。情報処理装置1は、決定された接続関係に基づいて、コンテンツの画像を各ディスプレイで表示する画像に分割する。情報処理装置1は、分割されたそれぞれの画像を、接続関係に応じて複数のディスプレイに描画させる。かかる構成によれば、情報処理装置1は、ディスプレイ2同士が捻れのある接続関係であっても、コンテンツの描画の基準となるディスプレイ2に対応付けられた描画用の接続関係にあるディスプレイ2に描画するので、矛盾のない描画を実現することができる。すなわち、情報処理装置1は、コンテンツの一部を同じコンテンツの別の一部と重複して1つのディスプレイに表示することを抑制できる。
また、上記実施例1では、情報処理装置1は、描画指示に含まれるディスプレイの指定に基づいて、コンテンツの描画の基準となるディスプレイを選択する。かかる構成によれば、情報処理装置1は、コンテンツの描画の基準となるディスプレイ2をユーザが所望するディスプレイ2に容易に変更することができる。
また、上記実施例1では、情報処理装置1は、コンテンツを複数のディスプレイ2に描画する場合に最も描画の面積が大きいディスプレイ2を、コンテンツの描画の基準となるディスプレイ2として選択する。かかる構成によれば、情報処理装置1は、コンテンツを移動しても、ディスプレイ2にコンテンツが描画される面積を用いることで、コンテンツの描画の基準となるディスプレイ2を動的に変更することができる。
ところで、実施例1では、プライマリディスプレイごとに描画の際に利用する接続を示すプライマリディスプレイ情報13は、あらかじめ利用者によって設定されると説明した。しかしながら、かかるプライマリディスプレイ情報13は、動的に設定されても良い。
そこで、実施例2では、プライマリディスプレイ情報13が動的に設定される場合について説明する。
[実施例2に係る情報処理システムの構成]
図14は、実施例2に係る情報処理システムの構成を示す機能ブロック図である。なお、図1に示す情報処理システム9と同一の構成については同一符号を示すことで、その重複する構成および動作の説明については省略する。実施例1と実施例2とが異なるところは、描画用ディスプレイ接続推定部17を描画用ディスプレイ接続推定部17Aに変更した点にある。
描画用ディスプレイ接続推定部17Aは、描画用のディスプレイ接続を推定する。なお、描画用のディスプレイ接続の推定処理は、コンテンツ描画処理の運用前に実施される。
一例として、描画用ディスプレイ接続推定部17Aは、複数のディスプレイ2の中から1つのディスプレイ2をプライマリディスプレイとして選択する。描画用ディスプレイ接続推定部17Aは、接続情報12を参照し、プライマリディスプレイとして選択したディスプレイ2からの幅優先探索により描画用のディスプレイ接続を推定する。すなわち、描画用ディスプレイ接続推定部17Aは、接続情報12を参照し、プライマリディスプレイとして選択したディスプレイ2から1つの接続で繋がるディスプレイ2を探索する。さらに、描画用ディスプレイ接続推定部17Aは、接続先のディスプレイ2から1つの接続で繋がるディスプレイ2を探索する。但し、描画用ディスプレイ接続推定部17Aは、既に探索済みのディスプレイ2への接続を採用しない。そして、描画用ディスプレイ接続推定部17Aは、全てのディスプレイ2を探索するまで探索処理を繰り返し、採用された接続を、プライマリディスプレイに対応する描画用接続としてプライマリディスプレイ情報13に格納する。なお、描画用ディスプレイ接続推定部17Aは、全てのディスプレイ2に対して描画用接続を探索し、プライマリディスプレイ情報13に格納する。
別の例として、描画用ディスプレイ接続推定部17Aは、複数のディスプレイ2の中から1つのディスプレイ2をプライマリディスプレイとして選択する。描画用ディスプレイ接続推定部17Aは、接続情報12を参照し、プライマリディスプレイとして選択したディスプレイ2からの最短経路により描画用のディスプレイ接続を推定する。なお、接続情報12には、接続ごとに、実際の空間上の配置を元に測定される距離に応じた重み付けが設定されているとする。そして、描画用ディスプレイ接続推定部17Aは、全てのディスプレイ2を探索するまで最短経路による探索処理を繰り返し、採用された接続を、プライマリディスプレイに対応する描画用接続としてプライマリディスプレイ情報13に格納する。なお、描画用ディスプレイ接続推定部17Aは、全てのディスプレイ2に対して描画用接続を探索し、プライマリディスプレイ情報13に格納する。
また、描画用ディスプレイ接続推定部17Aは、プライマリディスプレイ選択部16によって選択されたプライマリディスプレイから描画に利用するディスプレイ2の接続を推定する。プライマリディスプレイから描画用接続を推定する処理は、描画用ディスプレイ接続推定部17の処理と同様であるので、その説明を省略する。
[描画用ディスプレイ接続の動的推定の一例]
ここで、幅優先探索により描画用のディスプレイ接続を動的に推定する一例を、図15を参照して説明する。図15は、実施例2に係る描画用ディスプレイ接続の動的推定の一例を示す図である。なお、図15に示される「A」,「B」,「C」,「D」および「E」は、それぞれディスプレイ2の識別子であるとする。また、接続情報12には、図15に示された接続関係が記憶されているとする。また、「A」と「B」,「B」と「C」および「C」と「D」は、それぞれ捻れた配置であるが、距離は1であるとする。
このような状況の下、描画用ディスプレイ接続推定部17Aは、複数のディスプレイ2の中から1つのディスプレイ2をプライマリディスプレイとして選択する。ここでは、まず、描画用ディスプレイ接続推定部17Aは、「A」をプライマリディスプレイとして選択する。
すると、描画用ディスプレイ接続推定部17Aは、接続情報12を参照し、プライマリディスプレイとして選択した「A」から1つの接続で繋がるディスプレイ2を探索する。ここでは、「B」および「C」が探索される。そして、描画用ディスプレイ接続推定部17Aは、「A」と「B」との間の「接続1」と、「A」と「C」との間の「接続2」とを採用する(S51)。そして、描画用ディスプレイ接続推定部17Aは、採用した接続を、プライマリディスプレイ情報13の、プライマリ13aが「A」を示すレコードの描画用接続13bの欄に格納する(S52)。
さらに、描画用ディスプレイ接続推定部17Aは、接続先のディスプレイ2から1つの接続で繋がるディスプレイ2を探索する。ここでは、接続先の「B」から1つの接続で繋がる「E」、接続先の「C」から1つの接続で繋がる「D」が探索される。そして、描画用ディスプレイ接続推定部17Aは、「B」と「E」との間の「接続5」と、「C」と「D」との間の「接続4」とを採用する(S53)。なお、接続先の「B」から1つの接続で繋がる「C」は、既に探索済みのディスプレイ2であるので、「B」から「C」への接続3は採用されない。そして、描画用ディスプレイ接続推定部17Aは、採用した接続を、プライマリディスプレイ情報13の、プライマリ13aが「A」を示すレコードの描画用接続13bの欄に格納する(S54)。
そして、描画用ディスプレイ接続推定部17Aは、全てのディスプレイ2を探索するまで探索処理を繰り返し、「A」に対応する描画用ディスプレイ接続の動的推定処理を終了する。
そして、描画用ディスプレイ接続推定部17Aは、「B」〜「E」を順番にプライマリディスプレイとして選択し、「A」の場合と同様に描画用接続を探索し、プライマリディスプレイ情報13に格納する。
これにより、描画用ディスプレイ接続推定部17Aは、プライマリディスプレイとして選択したディスプレイ2からの幅優先探索により描画用のディスプレイ接続を動的に推定することができる。
[描画用ディスプレイ接続の動的推定の別の例]
ここで、幅優先探索により描画用のディスプレイ接続を動的に推定する別の例を、図16を参照して説明する。図16は、実施例2に係る描画用ディスプレイ接続の動的推定の別の例を示す図である。なお、ディスプレイ2の接続関係は、図15の場合と同様であるものとする。また、「A」と「B」,「B」と「C」,「C」と「D」,「D」と「E」および「B」と「E」は、それぞれ捻れた配置であり、距離に応じた重み付けはそれぞれ5,3,3,1,2であるとする。また、「A」と「C」は、同じ平面に並んでおり、距離に応じた重み付けは「0」であるとする。接続情報12には、図16に示された接続関係が記憶されるとともに、距離に応じた重み付けが記憶される。各接続関係に対して、括弧内には接続IDが示され、括弧の左には、距離に応じた重み付けが示されている。
このような状況の下、描画用ディスプレイ接続推定部17Aは、複数のディスプレイ2の中から1つのディスプレイ2をプライマリディスプレイとして選択する。ここでは、まず、描画用ディスプレイ接続推定部17Aは、「A」をプライマリディスプレイとして選択する。
すると、描画用ディスプレイ接続推定部17Aは、接続情報12を参照し、「A」からの最短経路により描画用のディスプレイ接続を推定する。ここでは、描画用ディスプレイ接続推定部17Aは、「A」と「C」との間の「接続2」と、「C」と「B」との間の「接続3」、「B」と「E」との間の「接続5」、「C」と「D」との間の「接続4」とを採用する。そして、描画用ディスプレイ接続推定部17Aは、採用した接続を、プライマリディスプレイ情報13の、プライマリ12aが「A」を示すレコードの描画用接続12bの欄に格納する。
そして、描画用ディスプレイ接続推定部17Aは、「B」〜「E」を順番にプライマリディスプレイとして選択し、「A」の場合と同様に描画用接続を探索し、プライマリディスプレイ情報13に格納する。
これにより、描画用ディスプレイ接続推定部17Aは、プライマリディスプレイとして選択したディスプレイ2からの最短経路探索により描画用のディスプレイ接続を動的に推定することができる。
[実施例2の効果]
このようにして、上記実施例2では、情報処理装置1は、複数のディスプレイ2の接続関係から、描画の基準となり得るディスプレイ2毎に、各ディスプレイ2からの幅優先探索により描画用の接続関係を推定する。かかる構成によれば、情報処理装置1は、描画の基準となり得るプライマリディスプレイからの幅優先探索により描画用のディスプレイ接続を動的に推定することができる。
また、上記実施例2では、情報処理装置1は、複数のディスプレイ2の接続関係から、描画の基準となり得るディスプレイ2毎に、各ディスプレイ2からの最短経路の探索により描画用の接続関係を推定する。かかる構成によれば、情報処理装置1は、描画の基準となり得るプライマリディスプレイからの最短経路探索により描画用のディスプレイ接続を動的に推定することができる。
[その他]
なお、情報処理装置1は、既知のパーソナルコンピュータ、ワークステーションなどの情報処理装置に、上記したコンテンツ実行部15、プライマリディスプレイ選択部16、描画用ディスプレイ接続推定部17、描画位置計算部18および描画分割部19などを搭載することによって実現することができる。
また、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、描画用ディスプレイ接続推定部17Aを、描画用のディスプレイ接続を動的に推定する第1の推定部と、プライマリディスプレイから描画に利用するディスプレイ2の接続を推定する第2の推定部とに分散しても良い。
また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図1に示した情報処理装置1と同様の機能を実現する情報処理プログラムを実行するコンピュータの一例を説明する。図17は、情報処理プログラムを実行するコンピュータの一例を示す図である。
図17に示すように、コンピュータ200は、各種演算処理を実行するCPU203と、ユーザからのデータの入力を受け付ける入力装置215と、表示装置209を制御する表示制御部207とを有する。また、コンピュータ200は、記憶媒体からプログラムなどを読み取るドライブ装置213と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部217とを有する。また、コンピュータ200は、各種情報を一時記憶するメモリ201と、HDD205を有する。そして、メモリ201、CPU203、HDD205、表示制御部207、ドライブ装置213、入力装置215、通信制御部217は、バス219で接続されている。
ドライブ装置213は、例えばリムーバブルディスク211用の装置である。
CPU203は、情報処理プログラム205aを読み出して、メモリ201に展開し、プロセスとして実行する。かかるプロセスは、情報処理装置1の各機能部に対応する。情報処理関連情報205bは、情報処理装置1の図示しない記憶部に記憶されたディスプレイ情報11、接続情報12、プライマリディスプレイ情報13などの情報に対応する。そして、例えばリムーバブルディスク211が、情報処理プログラム205aなどの各情報を記憶する。
なお、情報処理プログラム205aについては、必ずしも最初からHDD205に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ200がこれらから情報処理プログラム205aを読み出して実行するようにしても良い。
1 情報処理装置
2 ディスプレイ
3 通信機器
9 情報処理システム
11 ディスプレイ情報
12 接続情報
13 プライマリディスプレイ情報
14 コンテンツ情報
15 コンテンツ実行部
16 プライマリディスプレイ選択部
17 描画用ディスプレイ接続推定部
18 描画位置計算部
19 描画分割部
21 入力受付部
22 コンテンツ描画部
31 コンテンツ描画指示部

Claims (7)

  1. 情報処理装置と、
    前記情報処理装置と通信する通信機器と、
    前記情報処理装置と接続する複数のディスプレイと、
    を有し、
    前記複数のディスプレイのうち少なくとも1つのディスプレイは、他のディスプレイと捻れがある接続関係であり、
    前記情報処理装置は、
    前記複数のディスプレイの中で描画の基準となり得るディスプレイ毎に、前記ディスプレイと接続する他のディスプレイとの描画用の接続関係を記憶する記憶部と、
    前記通信機器から所定のコンテンツの描画指示を受け付けると、前記コンテンツの描画の基準となるディスプレイを選択する選択部と、
    前記記憶部に記憶された描画用の接続関係から前記選択部によって選択された前記ディスプレイと描画の際に接続する他のディスプレイとの接続関係を決定する決定部と、
    前記決定部によって決定された接続関係に基づいて、前記コンテンツの画像を各ディスプレイで表示する画像に分割する分割部と、
    前記分割部によって分割されたそれぞれの画像を、前記接続関係に応じて前記複数のディスプレイに描画させる描画部と、
    を有することを特徴とする情報処理システム。
  2. 前記選択部は、前記描画指示に含まれるディスプレイの指定に基づいて、前記コンテンツの描画の基準となるディスプレイを選択する
    ことを特徴とする請求項1に記載の情報処理システム。
  3. 前記選択部は、前記コンテンツを前記複数のディスプレイに描画する場合に最も描画の面積が大きいディスプレイを、前記コンテンツの描画の基準となるディスプレイとして選択する
    ことを特徴とする請求項1に記載の情報処理システム。
  4. 前記複数のディスプレイの接続関係から、描画の基準となり得るディスプレイ毎に、前記ディスプレイからの幅優先探索により描画用の接続関係を推定する推定部を有し、
    前記記憶部は、前記推定部によって推定された描画用の接続関係を記憶する
    ことを特徴とする請求項1から請求項3のいずれか1つに記載の情報処理システム。
  5. 前記複数のディスプレイの接続関係から、描画の基準となり得るディスプレイ毎に、前記ディスプレイからの最短経路の探索により描画用の接続関係を推定する推定部を有し、
    前記記憶部は、前記推定部によって推定された描画用の接続関係を記憶する
    ことを特徴とする請求項1から請求項3のいずれか1つに記載の情報処理システム。
  6. 複数のディスプレイの中で描画の基準となり得るディスプレイ毎に、前記ディスプレイと接続する他のディスプレイとの描画用の接続関係を記憶する記憶部と、
    通信機器から所定のコンテンツの描画指示を受け付けると、前記コンテンツの描画の基準となるディスプレイを選択する選択部と、
    前記記憶部に記憶された描画用の接続関係から前記選択部によって選択された前記ディスプレイと描画の際に接続する他のディスプレイとの接続関係を決定する決定部と、
    前記決定部によって決定された接続関係に基づいて、前記コンテンツの画像を各ディスプレイで表示する画像に分割する分割部と、
    前記分割部によって分割されたそれぞれの画像を、前記接続関係に応じて前記複数のディスプレイに描画させる描画部と、
    を有することを特徴とする情報処理装置。
  7. コンピュータが、
    通信機器から所定のコンテンツの描画指示を受け付けると、前記コンテンツの描画の基準となるディスプレイを選択し、
    複数のディスプレイの中で描画の基準となり得るディスプレイ毎に、前記ディスプレイと接続する他のディスプレイとの描画用の接続関係を記憶する記憶部に記憶された描画用の接続関係から前記選択部によって選択された前記ディスプレイと描画の際に接続する他のディスプレイとの接続関係を決定し、
    該決定した接続関係に基づいて、前記コンテンツの画像を各ディスプレイで表示する画像に分割し、
    該分割したそれぞれの画像を、前記接続関係に応じて前記複数のディスプレイに描画させる
    各処理を実行することを特徴とする情報処理方法。
JP2017068971A 2017-03-30 2017-03-30 情報処理システム、情報処理装置および情報処理方法 Active JP6897234B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017068971A JP6897234B2 (ja) 2017-03-30 2017-03-30 情報処理システム、情報処理装置および情報処理方法
PCT/JP2018/001972 WO2018179730A1 (ja) 2017-03-30 2018-01-23 情報処理システム、情報処理装置および情報処理方法
EP18777894.9A EP3605519A4 (en) 2017-03-30 2018-01-23 INFORMATION PROCESSING SYSTEM, DEVICE AND METHOD
US16/571,887 US20200013377A1 (en) 2017-03-30 2019-09-16 Information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017068971A JP6897234B2 (ja) 2017-03-30 2017-03-30 情報処理システム、情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2018169583A true JP2018169583A (ja) 2018-11-01
JP6897234B2 JP6897234B2 (ja) 2021-06-30

Family

ID=63674790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017068971A Active JP6897234B2 (ja) 2017-03-30 2017-03-30 情報処理システム、情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US20200013377A1 (ja)
EP (1) EP3605519A4 (ja)
JP (1) JP6897234B2 (ja)
WO (1) WO2018179730A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6981326B2 (ja) * 2018-03-22 2021-12-15 富士通株式会社 情報処理装置、表示システム及びウィンドウ配置プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173291A (ja) * 2003-12-12 2005-06-30 Canon Inc 画像表示システムおよび画像表示方法
JP2009116274A (ja) * 2007-11-09 2009-05-28 Canon Inc 表示制御装置及び表示制御方法
JP2009169885A (ja) * 2008-01-21 2009-07-30 National Institute Of Advanced Industrial & Technology 多画面表示システム
JP2009288453A (ja) * 2008-05-28 2009-12-10 Canon Inc 表示制御システムおよび表示制御方法
US20140132833A1 (en) * 2012-11-12 2014-05-15 Hulu, LLC Combining Multiple Screens from Multiple Devices in Video Playback
JP2015121574A (ja) * 2013-12-20 2015-07-02 三菱電機株式会社 マルチディスプレイ管理装置およびマルチディスプレイ管理プログラム
US20160139867A1 (en) * 2014-11-17 2016-05-19 Samsung Electronics Co., Ltd. Apparatus for and method of detecting layout of multi display apparatus
US20160155410A1 (en) * 2013-06-25 2016-06-02 Samsung Electronics Co., Ltd. Display method and apparatus with multi-screen
JP2016225694A (ja) * 2015-05-27 2016-12-28 ファンテック株式会社 画像表示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280783A (ja) 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
JP2003280622A (ja) 2002-03-25 2003-10-02 Matsushita Electric Ind Co Ltd 電子表示装置とその表示方法
JP5262006B2 (ja) 2007-07-18 2013-08-14 富士通株式会社 表示装置
EP2446431A1 (en) * 2009-06-26 2012-05-02 Sony Computer Entertainment Inc. Networked computer graphics rendering system with multiple displays
US9077843B2 (en) * 2012-04-06 2015-07-07 Realtek Semiconductor Corp. Video playback system and related computer program product for jointly displaying video with multiple screens
US9417835B2 (en) * 2013-05-10 2016-08-16 Google Inc. Multiplayer game for display across multiple devices
US10061552B2 (en) * 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173291A (ja) * 2003-12-12 2005-06-30 Canon Inc 画像表示システムおよび画像表示方法
JP2009116274A (ja) * 2007-11-09 2009-05-28 Canon Inc 表示制御装置及び表示制御方法
JP2009169885A (ja) * 2008-01-21 2009-07-30 National Institute Of Advanced Industrial & Technology 多画面表示システム
JP2009288453A (ja) * 2008-05-28 2009-12-10 Canon Inc 表示制御システムおよび表示制御方法
US20140132833A1 (en) * 2012-11-12 2014-05-15 Hulu, LLC Combining Multiple Screens from Multiple Devices in Video Playback
US20160155410A1 (en) * 2013-06-25 2016-06-02 Samsung Electronics Co., Ltd. Display method and apparatus with multi-screen
JP2015121574A (ja) * 2013-12-20 2015-07-02 三菱電機株式会社 マルチディスプレイ管理装置およびマルチディスプレイ管理プログラム
US20160139867A1 (en) * 2014-11-17 2016-05-19 Samsung Electronics Co., Ltd. Apparatus for and method of detecting layout of multi display apparatus
JP2016225694A (ja) * 2015-05-27 2016-12-28 ファンテック株式会社 画像表示システム

Also Published As

Publication number Publication date
EP3605519A4 (en) 2020-03-11
JP6897234B2 (ja) 2021-06-30
WO2018179730A1 (ja) 2018-10-04
EP3605519A1 (en) 2020-02-05
US20200013377A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
US9373308B2 (en) Multi-viewport display of multi-resolution hierarchical image
KR102157332B1 (ko) 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
JP2012194673A (ja) 情報処理装置およびその制御方法およびプログラム
JP2014199392A (ja) 表示制御装置、表示制御方法及びプログラム
JP2013142902A (ja) 映像表示装置で応用プログラムのレイアウトをスケーリングするための装置及び方法
US20130159899A1 (en) Display of graphical representations
AU2013204870A1 (en) Method of adjusting size of window and electronic device therefor
JP2018535462A (ja) タッチヒートマップ
US9063582B2 (en) Methods, apparatuses, and computer program products for retrieving views extending a user's line of sight
US20140365958A1 (en) Object editing method and electronic device thereof
JP2013044802A (ja) 画像表示装置、画像表示方法、画像表示プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体
KR102113509B1 (ko) 가상 키패드 제어 방법 및 그 전자 장치
US20200020306A1 (en) Image processing apparatus, program and image processing method
JP2014211720A (ja) 表示装置および表示制御プログラム
US10452256B2 (en) Non-interfering multi-application display method and an electronic device thereof
WO2018179730A1 (ja) 情報処理システム、情報処理装置および情報処理方法
KR20200137985A (ko) 원근(투영) 보간 함수들의 최적화된 연산
JP4854797B2 (ja) プログラムおよび電子機器
JP2010055417A (ja) 携帯端末
US10019141B2 (en) Information processing apparatus, information display program, and information display method for controlling a cursor position in a text region and a display region
JP2019168847A (ja) 情報処理装置、表示システム及びウィンドウ配置プログラム
JP2015007844A (ja) ユーザインタフェース装置、ユーザインタフェース方法およびプログラム
JP6376163B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6554220B1 (ja) プログラム、処理装置及び処理方法
WO2024067202A1 (zh) 扩展图像的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150