JP2019168847A - 情報処理装置、表示システム及びウィンドウ配置プログラム - Google Patents

情報処理装置、表示システム及びウィンドウ配置プログラム Download PDF

Info

Publication number
JP2019168847A
JP2019168847A JP2018055150A JP2018055150A JP2019168847A JP 2019168847 A JP2019168847 A JP 2019168847A JP 2018055150 A JP2018055150 A JP 2018055150A JP 2018055150 A JP2018055150 A JP 2018055150A JP 2019168847 A JP2019168847 A JP 2019168847A
Authority
JP
Japan
Prior art keywords
window
display area
display
center
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018055150A
Other languages
English (en)
Other versions
JP6981326B2 (ja
Inventor
宏太 板倉
Kota Itakura
宏太 板倉
淳一 由良
Junichi Yura
淳一 由良
松本 達郎
Tatsuro Matsumoto
達郎 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018055150A priority Critical patent/JP6981326B2/ja
Priority to US16/292,164 priority patent/US10629158B2/en
Publication of JP2019168847A publication Critical patent/JP2019168847A/ja
Application granted granted Critical
Publication of JP6981326B2 publication Critical patent/JP6981326B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】ウィンドウを再配置する際の違和感を低減する。【解決手段】再配置部は、ウィンドウが連結画面領域182からはみ出していることを検出すると、ウィンドウの中心を連結画面領域の外枠に沿って移動させたときに、ウィンドウWが通過する範囲と通過しない範囲との境界線により囲まれた領域(連結表示部分領域R1〜R3)を特定する。また、再配置部は、連結表示部分領域のうちウィンドウから最も近い位置(Q1)を第1移動先候補とする。そして、再配置部は、第1移動先候補にウィンドウを配置したときにウィンドウがはみ出なければ、第1移動先候補をウィンドウの移動先とし、ウィンドウがはみ出る場合には、ウィンドウの角度やサイズを変更したうえでウィンドウを配置するか、ウィンドウが連結画面領域からはみ出ない連結表示部分領域R3のうち最も近い位置にウィンドウを配置する。【選択図】図16

Description

本発明は、情報処理装置、表示システム及びウィンドウ配置プログラムに関する。
複数の表示装置の画面領域を連結して一つの表示領域として扱い、表示領域内にコンテンツのウィンドウを表示するコンテンツ表示システムがある(例えば非特許文献1等参照)。
"部屋全体をまるごとデジタル化するUI技術を開発し、ICTによる共創支援の実証実験を開始"、[online]、富士通株式会社、[平成30年2月26日検索]、インターネット、<URL:http://pr.fujitsu.com/jp/news/2015/07/27.html>
特開2017−16314号公報
上述のような連結された表示領域は、必ずしも長方形領域になるとは限らず、凸字状、T字状、凹字状などの形状になることがある。この場合、ユーザが指定(又は移動)した位置にウィンドウを表示すると、ウィンドウが表示領域に収まりきらず、はみ出ることがある。従来においては、モルフォロジー演算と呼ばれる処理により、ウィンドウが表示領域からはみ出ない範囲を計算し、ウィンドウを再配置していた。しかしながら、従来は、ウィンドウがはみ出ない位置に再配置する場合の移動距離が長くなることがあり、移動距離の長さがユーザに違和感を与えるおそれがあった。
1つの側面では、本発明は、ウィンドウを再配置する際の違和感を低減することが可能な情報処理装置、表示システム及びウィンドウ配置プログラムを提供することを目的とする。
一つの態様では、情報処理装置は、表示領域に矩形状のウィンドウを配置する処理を実行する情報処理装置であって、前記ウィンドウの表示位置が前記表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定する特定部と、1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定する決定部と、前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する配置部と、を備えている。
ウィンドウを再配置する際の違和感を低減することができる。
一実施形態に係る表示システムの構成を概略的に示すブロック図である。 表示システムの使用例を示す図である。 表示システムの機能ブロック図である。 情報処理装置のハードウェア構成を示す図である。 コンテンツDBの一例を示す図である。 図6(a)は、表示装置情報テーブルの一例を示す図であり、図6(b)は、連結画面領域を座標系上に表した図である。 図7(a)は、連結画面領域情報テーブルの一例を示す図であり、図7(b)は、ウィンドウ配置情報テーブルの一例を示す図である。 図8(a)、図8(b)は、連結画面領域情報テーブルの詳細を説明するための図である。 情報処理装置の全体処理を示すフローチャート(その1)である。 図9のステップS14及び図21のステップS36の詳細処理を示すフローチャートである。 図11(a)は、ウィンドウが画面領域からはみ出している状態を示す図であり、図11(b)は、ウィンドウや画面領域の座標、寸法を示す図である。 図10のステップS52の詳細処理を示すフローチャートである。 図12の処理を説明するための図(その1)である。 図14(a)、図14(b)は、図12の処理を説明するための図(その2)である。 図10のステップS54の詳細処理を示すフローチャートである。 図15の処理を説明するための図である。 図15のステップS114の詳細処理を示すフローチャートである。 図17の処理を説明するための図(その1)である。 図19(a)、図19(b)は、図17の処理を説明するための図(その2)である。 図15のステップS116の詳細処理を示すフローチャートである。 情報処理装置の全体処理を示すフローチャート(その2)である。 図22(a)〜図22(f)は、モルフォロジー演算により、ウィンドウを再配置する位置を求める方法を示す図である。
以下、表示システムの一実施形態について、図1〜図22(f)に基づいて詳細に説明する。
図1には、一実施形態に係る表示システム100の構成が概略的に示されている。また、図2には、表示システム100の使用例が示されている。表示システム100は、例えば、図2に示すように壁面102とテーブル104の上面に画面領域82A〜82Cを表示することで、連結した連結画面領域(表示領域)182を生成し、連結画面領域182内にコンテンツのウィンドウを表示するシステムである。例えば複数のユーザが集まり、表示システム100を用いて、付箋アプリのウィンドウを連結画面領域182に多数表示することで、アイディア出し(ブレーンストーミング)などを行うことができる。
表示システム100は、図1に示すように、複数の表示装置80A、80B、…と、情報処理装置10と、を備える。図2の例では、表示システム100はプロジェクタを有する3つの表示装置80A〜80Cを備えており、そのうちの2つの表示装置80A,80Bが画面領域82A、82Bを壁面102に投影し、残りの1つの表示装置80Cが画面領域82Cをテーブル104の上面に投影する。本実施形態では、画面領域82A〜82Cを連結した連結画面領域182は、図2においてハッチングを付して示すように、同一平面に展開した場合に略T字状の形状を有している。表示装置80A〜80Cが表示する画面は、情報処理装置10から提供される。なお、情報処理装置10と表示装置80A〜80Cの間はインターネットなどのネットワークにより接続されていてもよい。すなわち、情報処理装置10は、表示装置80A〜80Cとは別の空間に配置されてもよい。
表示装置80A〜80Cは、プロジェクタと、画面領域内でのタッチ操作を検出するための検出装置(例えば赤外線カメラ)を有する。表示装置80A〜80Cは、プロジェクタを含んで図3に示す画面表示部84としての機能が実現され、検出装置を含んで入力受付部86としての機能が実現されている。
入力受付部86は、ユーザによる連結画面領域182内でのタッチ操作を検出し、タッチ操作の内容を情報処理装置10に送信する。画面表示部84は、情報処理装置10から送信されてくる画面の情報を受信し、受信した画面の情報に基づいて連結画面領域182に画面を表示する。なお、情報処理装置10は、ユーザのタッチ操作に応じて画面情報を変更し、変更後の画面情報を画面表示部84に送信する。このため、画面表示部84は、ユーザのタッチ操作に応じた画面を表示することができる。ユーザは、例えば、タッチ操作により連結画面領域182内に所定の図形(例えば三角形)を描くことで、付箋アプリのウィンドウを新たに表示する指示を情報処理装置10に対して出すことができる。この場合、所定の図形を描く位置や角度に応じて、ウィンドウの表示位置や角度が決定される。また、ユーザは、付箋アプリのウィンドウをドラッグしたり、ピンチアウトすることで、ウィンドウの移動やサイズ変更、角度変更等を行う旨の指示を情報処理装置10に対して出すことができるようになっている。
情報処理装置10は、サーバやPC(Personal Computer)などであり、図4に示すようなハードウェア構成を有する。図4に示すように、情報処理装置10は、CPU(Central Processing Unit)90、ROM(Read Only Memory)92、RAM(Random Access Memory)94、記憶部(ここではHDD(Hard Disk Drive))96、ネットワークインタフェース97、及び可搬型記憶媒体用ドライブ99等を備えている。これら情報処理装置10の構成各部は、バス98に接続されている。情報処理装置10では、ROM92あるいはHDD96に格納されているプログラム(ウィンドウ配置プログラムを含む)、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラム(ウィンドウ配置プログラムを含む)をCPU90が実行することにより、図3に示す各部の機能が実現される。なお、図3の各部の機能は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
情報処理装置10においては、CPU90がプログラムを実行することにより、図3に示す、ウィンドウ生成・移動部20、描画部22、再配置部24としての機能が実現されている。
ウィンドウ生成・移動部20は、表示装置80A〜80Cの入力受付部86から受信したタッチ操作の情報に基づいて、新たなウィンドウを生成するか、既存のウィンドウを移動等するかを判断する。また、ウィンドウ生成・移動部20は、ウィンドウを生成する位置や移動する位置の情報をウィンドウ配置情報テーブル46に格納する。なお、ウィンドウ配置情報テーブル46の詳細については後述する。
描画部22は、ユーザのタッチ操作に応じた画面を生成(描画)し、表示装置80A〜80Cに送信する。ここで、描画部22は、コンテンツDB40、表示装置情報テーブル42、連結画面領域情報テーブル44、及びウィンドウ配置情報テーブル46を参照して、画面の生成(描画)処理を実行する。
ここで、コンテンツDB40は、ウィンドウ内に表示されるコンテンツに関する情報を格納するデータベースであり、図5に示すようなデータ構造を有する。具体的には、コンテンツDB40は、「コンテンツID」、「コンテンツデータ位置」、「係数」の各フィールドを有する。「コンテンツID」のフィールドには、コンテンツの識別情報が格納され、「コンテンツデータ位置」のフィールドには、コンテンツが格納されている場所の情報が格納されている。また、「係数」のフィールドには、再配置部24がウィンドウを再配置する際に利用する係数が格納されているが、詳細については後述する。
表示装置情報テーブル42は、図6(a)に示すようなテーブル構造を有する。具体的には、表示装置情報テーブル42は、「ディスプレイID」、「ネットワークアドレス」、「画面サイズ」、「連結領域上の配置」の各フィールドを有する。ここで、図6(a)の表示装置情報テーブル42には、図6(b)に示すような座標系上において各表示装置80A〜80Cの画面領域82A〜82Cの配置やサイズを表した場合の情報が格納されている。なお、実際には、画面領域のうち壁面102に表示された部分とテーブル104の上面に表示された部分とは同一平面上にはないため、図6(b)では、同一平面上に展開した状態を同一座標系上に示している。
表示装置情報テーブル42のうち、「ディスプレイID」のフィールドには、画面領域の識別情報が格納される。なお、図6(a)では、表示装置80AのディスプレイIDが「wall1」、表示装置80BのディスプレイIDが「wall2」、表示装置80CのディスプレイIDが「table」となっている。「ネットワークアドレス」のフィールドには、表示装置80A〜80Cそれぞれのネットワークアドレスが格納されている。「画面サイズ」のフィールドには、各表示装置の画面領域の幅(width)と高さ(height)の情報が格納されている。なお、幅(width)は、画面領域の角度が0°のときにx軸方向に延びる辺の長さを意味し、高さ(height)は、画面領域の角度が0°のときにy軸方向に延びる辺の長さを意味する。「連結領域上の配置」のフィールドには、各画面領域の所定の頂点の位置(x,y)と、回転角(rotation)の情報が格納されている。所定の頂点は、画面領域の回転が0°である場合の左上の頂点を意味する。例えば、画面領域82C(ディスプレイID=table)の場合、他の画面領域82A、82Bに対して90°回転しているため、所定の頂点は、図6(b)において符号「v3」で示されている頂点となる。
連結画面領域情報テーブル44は、表示装置情報テーブル42(すなわち、図6(b))から求められる、連結画面領域182の各頂点(v0〜v7)の情報を格納するテーブルである。なお、連結画面領域情報テーブル44は、情報処理装置10が、表示装置情報テーブル42に基づいて自動的に生成するテーブルである。
図7(a)には、連結画面領域情報テーブル44が示されている。図7(a)に示すように、連結画面領域情報テーブル44は、「頂点」、「x」、「y」、「形状」、「内側」の各フィールドを有する。「頂点」のフィールドには、頂点の識別情報として「v0」〜「v7」が格納されている。本実施形態では、図6(b)の連結画面領域182の左上の頂点を「v0」として、時計回りに各頂点に識別情報が付与されている。ここで、二次元面上の多角形同士の重なり計算(ブーリアン演算)として、例えば、vattiクリッピング法などが知られている。この方法を利用することで、連結された画面領域の頂点座標を順番通りに得ることができる。また、なす角を図8(a)のように定義すると、各辺のなす角の合計が360°になれば時計回り、−360°になれば反時計回りとなる。「x」、「y」のフィールドには、各頂点のx座標及びy座標が格納されている。「形状」のフィールドには、「凸」、「凹」のいずれかが格納される。時計回り方向がどちらの方向であるかがわかれば、辺のどちら側が画面領域の内側であるかがわかるので、図8(b)の上段に示すように内側に曲がる場合を「凸」、下段に示すように外側に曲がる場合を「凹」としている。図6(b)の例では、頂点「v0」、「v1」等は「凸」であるが、頂点「v3」、「v6」は「凹」である。「内側」のフィールドには、画面領域の内側がy軸方向に延びる辺の左右どちらであるか、及びx軸方向に延びる辺の上下どちらであるかの情報を格納している。
ウィンドウ配置情報テーブル46は、ユーザのタッチ操作により生成されたウィンドウの配置情報を管理するテーブルである。ウィンドウ配置情報テーブル46は、図7(b)に示すようなテーブルである。図7(b)に示すように、ウィンドウ配置情報テーブル46は、「ウィンドウID」、「コンテンツID」、「配置情報」の各フィールドを有する。「ウィンドウID」のフィールドには、ウィンドウの識別情報が格納されている。ウィンドウには、例えば、ユーザによって生成された順に識別情報「window1」、「window2」、…が割り当てられる。「コンテンツID」のフィールドには、各ウィンドウに表示されているコンテンツの種類を示す識別情報が格納される。例えば、画像のコンテンツIDが「content1」であり、付箋アプリのコンテンツIDが「content2」であったりする。「配置情報」のフィールドには、各ウィンドウの配置情報(x,y,width,height,rotation)が格納される。x,yは、各ウィンドウの所定の頂点(角度0°のときに左上に位置する頂点)のx,y座標である。width,heightは、各ウィンドウの幅(ウィンドウの角度が0°のときにX軸方向に延びる辺の長さ)、高さ(ウィンドウの角度が0°のときにY軸方向に延びる辺の長さ)である。「rotationは、各ウィンドウの回転角である。
図3に戻り、再配置部24は、描画部22が描画した画面情報において、ウィンドウが連結画面領域182からはみ出している場合に、ウィンドウを再配置する処理を実行する。再配置部24による再配置の結果(ウィンドウを再配置する位置、再配置後のウィンドウのサイズ、回転量の情報)は、ウィンドウ配置情報テーブル46に格納される。描画部22では、ウィンドウ配置情報テーブル46を参照して、再配置の結果に基づいて画面情報を生成(描画)し、表示装置80A〜80C(画面表示部84)に対して送信する。なお、再配置部24は、上記処理を実行する際に、コンテンツDB40、表示装置情報テーブル42、連結画面領域情報テーブル44、ウィンドウ配置情報テーブル46を参照する。
(情報処理装置10の処理について)
次に、本実施形態に係る情報処理装置10の処理について、フローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。
図9及び図21は、情報処理装置10において並行して実行される処理である。図9は、ユーザがコンテンツのウィンドウを新たに生成する操作を行った場合に実行される処理を示し、図21は、ユーザが既に表示されているウィンドウを移動等する操作を行った場合に実行される処理を示している。
(図9の処理)
まず、図9の処理について説明する。図9の処理では、まずステップS10において、ウィンドウ生成・移動部20が、ウィンドウの出力指示の情報が表示装置80A〜80Cの入力受付部86から入力されるまで待機する。すなわち、ユーザがタッチ操作によりウィンドウを新たに表示する旨の操作を行った場合、例えば所定の図形(三角形等)を描くタッチ操作を行った場合に、ステップS10の判断が肯定され、ステップS12に移行する。
ステップS12に移行すると、ウィンドウ生成・移動部20は、ウィンドウIDを生成し、コンテンツIDと配置情報とともに、ウィンドウ配置情報テーブル46(図7(b)参照)に登録する。なお、ウィンドウ生成・移動部20は、配置情報を、例えばユーザが描いた所定の図形の位置や角度に基づいて決定する。
次いで、ステップS14では、再配置部24が、ウィンドウの再配置処理を実行する。このウィンドウの再配置処理は、ステップS12で登録した配置情報に基づいてウィンドウを配置するとウィンドウが連結画面領域182からはみ出すような場合に、はみ出さない位置まで移動する(再配置する)処理である。このウィンドウの再配置処理の詳細については、後述する。
次いで、ステップS16では、描画部22が、ウィンドウ配置情報テーブル46と、コンテンツDB40、表示装置情報テーブル42、連結画面領域情報テーブル44とに基づいて、各表示装置80A〜80Cで出力する画像を生成(描画)する。
次いで、ステップS18では、描画部22が、表示装置80A〜80Cに画像を送信し、各画面領域82A〜82C(連結画面領域182)に表示させる。
(ウィンドウの再配置処理)
次に、ステップS14において再配置部24が実行するウィンドウの再配置処理について、図10のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。ここでは、一例として、ユーザのタッチ操作により、ウィンドウ(W)が図11(a)に示すような連結画面領域182からはみ出す位置(第1位置)に表示指示された場合について説明する。
図10の処理では、まずステップS50において、ウィンドウWが連結画面領域182外にあるか否かを判断する。図11(a)に示すように、ウィンドウWが連結画面領域182からはみ出している場合には、ステップS50の判断が肯定され、ステップS52に移行する。一方、ウィンドウWが連結画面領域182内に収まっている場合には、再配置の必要がないため、ステップS50の判断が否定された後、図10の全処理を終了して、図9のステップS16に移行する。
図11(a)のようにウィンドウWが連結画面領域182からはみ出しており、ステップS52に移行した場合、再配置部24は、移動可能領域作成処理を実行する。具体的には、再配置部24は、図12のフローチャートに沿った処理を実行する。
(移動可能範囲作成処理)
図12の処理では、まず、ステップS70において、再配置部24が、ウィンドウWの各頂点の位置、外接矩形のサイズを計算する。ここで、外接矩形とは、ウィンドウWに外接するx軸方向に伸びる二辺及びy軸方向に延びる二辺を有する矩形を意味する。再配置部24は、図11(b)に示すウィンドウWの各頂点P1、P2、P3、P4の座標と、破線で示す外接矩形の縦、横の寸法を計算する。例えば、ウィンドウWの幅をw、高さをhとし、回転量(x軸を基準とした回転角度)をrとすると、外接矩形の縦寸法La、横寸法Lbは、次式(1)、(2)から求めることができる。
La=|h・cosr|+|w・sinr| …(1)
Lb=|w・cosr|+|h・sinr| …(2)
次いで、ステップS72では、再配置部24が、連結画面領域182の1つの頂点を選択する。例えば、再配置部24は、図11(b)に示す頂点v0を選択する。
次いで、ステップS74では、再配置部24が、選択した頂点が凸形状であるか否かを判断する。この場合、再配置部24は、図7(a)の連結画面領域情報テーブル44を参照して、選択した頂点v0が凸形状であるか否かを判断する。このステップS74の判断が肯定されると、ステップS76に移行し、再配置部24は、選択した頂点にウィンドウWを配置し、内側になる外接矩形の頂点を連結領域頂点に追加する。選択した頂点が頂点v0である場合には、図13に示すように、内側になる外接矩形頂点C0を連結領域頂点として追加する。なお、連結領域頂点とは、後述する連結表示領域を規定する頂点を意味する。
次いで、ステップS80では、再配置部24が、全ての頂点を選択済みであるか否かを判断する。この判断が否定されると、再配置部24はステップS72に戻る。なお、ステップS74の判断が否定された場合、すなわち、例えば図11(b)に示す凹形状の頂点v3が選択されている場合には、ステップS78に移行する。ステップS78に移行すると、再配置部24は、選択した頂点v3にウィンドウWを配置し、内側になる外ウィンドウ頂点2つを反時計回り順に連結領域頂点に追加する。具体的には、図13に示す頂点C3a、C3bを連結領域頂点に追加する。
なお、図13の例では、ステップS72〜S80を繰り返す間に、頂点C0、C1、C2、C3a、C3b、C4、C5、C6a、C6b、C7が順に連結領域頂点に追加されることになる。以上のようにステップS72〜S80の処理が繰り返し実行され、ステップS80の判断が肯定されると、再配置部24は、ステップS82に移行する。
ステップS82に移行すると、再配置部24は、連結領域頂点を順に繋ぎ、連結表示領域とする。図13の例では、太実線で囲まれた領域が連結表示領域Rとなる。
次いで、ステップS84では、再配置部24が、連結表示領域Rの各辺同士が交差しているかを判定する。次いで、ステップS86では、再配置部24が、交差している辺があるか否かを判断し、判断が肯定された場合には、ステップS88に移行し、否定された場合には、ステップS88を経ずに図12の全処理を終了して、図10のステップS54に移行する。なお、図13の例では、辺が交差している箇所が2箇所あるため、ステップS86の判断は肯定され、再配置部24は、ステップS88に移行する。
ステップS88に移行すると、再配置部24は、交点それぞれについて、その交点で連結表示領域を分割し、連結表示部分領域とする。なお、図13の例では、図14(a)においてハッチングを付して示す領域R1、ハッチングを付して示す領域R2、黒塗りの領域R3が連結表示部分領域となる。本実施形態において、連結表示部分領域R1〜R3は、ウィンドウWの中心を連結画面領域182の外枠に沿って移動させたときに、ウィンドウWが通過する範囲と通過しない範囲との境界線により囲まれた領域であるといえる。なお、連結表示部分領域R1、R2は、頂点の番号を小さい順に結んだときの方向が反時計回り方向となる領域である。このような領域を特に「自己交差領域」と呼ぶものとする。
上述したステップS88の処理が実行された後は、再配置部24は、図12の全処理を終了して、図10のステップS54に移行する。
なお、図14(b)に示すような連結画面領域182’に対して、ウィンドウW’を再配置する場合には、連結表示領域R’の辺は交差しない。したがって、図14(b)の例の場合には、ステップS86の判断は否定されるため、連結表示部分領域は生成されることはない。
図10に戻り、ステップS54に移行すると、再配置部24は、移動先算出処理を実行する。具体的には、再配置部24は、図15のフローチャートに沿った処理を実行する。
(移動先算出処理)
図15のステップS102では、再配置部24が、連結表示領域Rの各辺について、ウィンドウWの中心からの最短距離となる点を計算し、その点を第1移動先候補とする。ウィンドウWの位置が図11(a)の位置である場合には、連結表示領域Rの辺のうちウィンドウWの中心から最も近い図16に示す点Q1が第1移動先候補となる。
次いで、ステップS104では、再配置部24が、算出した点にウィンドウWが移動したときに、連結画面領域182からはみ出すかを計算する。この場合、再配置部24は、第1移動先候補の位置、ウィンドウWの寸法、連結画面領域182の寸法等に基づいて、はみ出すか否かを計算により求めるようにすればよい。なお、各連結表示部分領域が自己交差領域であるかないかがわかっている場合には、第1移動先候補が自己交差領域内にあればウィンドウWが連結画面領域182からはみ出すと判定してもよい。
次いで、ステップS106では、再配置部24が、ウィンドウWが連結画面領域182外にはみ出すか否かを判断する。このステップS106の判断が否定された場合には、ステップS108に移行し、再配置部24は、第1移動先候補をウィンドウWの移動先として決定する。その後は、図15の全処理を終了し、図10のステップS56に移行する。なお、図14(b)のように連結表示領域R’から連結表示部分領域が生成されないような場合には、ステップS106の判断は否定される。
一方、ステップS106の判断が肯定された場合には、ステップS110に移行し、再配置部24は、各連結表示部分領域について、最短距離となる点を計算する。例えば、図16の例では、連結表示部分領域R2、R3の点Q2、Q3が求められる。
次いで、ステップS112では、再配置部24が、各連結表示部分領域の算出した点(Q2、Q3)について、ウィンドウWの中心を移動したときに連結画面領域182からはみ出さない点のうち、移動距離が最短の点を第2移動先候補とする。図16の例では、点Q2にウィンドウWの中心を移動した場合には、ウィンドウWが連結画面領域182からはみ出し、点Q3にウィンドウWが移動した場合には、ウィンドウWが連結画面領域182からはみ出さない。したがって、点Q3が第2移動先候補となる。なお、ステップS110、S112においては、各連結表示部分領域が自己交差領域であるかないかがわかっている場合には、自己交差領域でない連結表示部分領域のうちウィンドウWの中心に最も近い点を第2移動先候補としてもよい。
次いで、ステップS114に移行すると、再配置部24は、第1移動先候補における回転・サイズ変更処理を実行する。このステップS114では、再配置部24は、図17に示すフローチャートに沿った処理を実行する。
(第1移動先候補における回転・サイズ変更処理)
図17の処理では、まず、ステップS120において、再配置部24が、第1移動先候補を含む連結表示部分領域の各辺について、水平の辺(図6のx軸方向に延びる辺)及び垂直の辺(図6のy軸方向に延びる辺)のみを抽出する。図18には、連結表示部分領域R1近傍を拡大した図が示されている。図18の例の場合、連結表示部分領域R1のうち、水平方向に延びる上下の辺及び垂直方向に延びる左側の辺が抽出される。
次いで、ステップS122では、再配置部24が、水平の辺が2本以上あれば、その間の距離を領域の垂直幅とする。図18の例では、水平方向に延びる辺の間の距離Tが垂直幅となる。なお、垂直幅Tは、ウィンドウW(外接矩形)の垂直方向の寸法(La)と、連結画面領域182の連結表示部分領域R1が存在する範囲における垂直方向の幅との差(はみ出し量)を意味している。
次いで、ステップS124では、再配置部24が、垂直の辺が2本以上あれば、その間の距離を領域の水平幅とする。なお、図18の例では、垂直方向に延びる辺が1本しかないため、水平幅は存在しないものとする。
次いで、ステップS126では、再配置部24が、垂直幅、水平幅の1つを選択する。図18の例では、垂直幅Tが選択される。次いで、ステップS128では、再配置部24が、選択した幅(ここでは垂直幅T)だけ外接矩形の幅や高さを変更するときのサイズ変更量(縮小倍率)を計算する。なお、ここでは、ウィンドウWのアスペクト比を維持するものとする。この場合、サイズ変更後の外接矩形の垂直幅を(La−T)とし、縮小倍率をaとすると、次式(3)を満たすaを求めればよい。
La−T=|ah・cosr|+|aw・sinr| …(3)
なお、サイズ変更後のウィンドウの幅はawとなり、高さはahとなる。
次いで、ステップS130では、再配置部24が、選択した幅(ここでは垂直幅T)だけ外接矩形の幅や高さを変更するときの回転量を計算する。この場合、次式(4)を満たす角度r’を求める。
La−T=|h・cosr’|+|w・sinr’| …(4)
そして、角度rとr’の差の絶対値|r−r’|を、外接矩形の幅や高さを変更するときの回転量Nとする。なお、r’は、求まらない(解がない)場合もある。
次いで、ステップS132では、再配置部24が、全ての垂直幅、水平幅の選択が終了しているか否かを判断する。ここでの判断が否定された場合には、ステップS126に戻るが、肯定された場合には、ステップS134に移行する。
ステップS132の判断が肯定されて、ステップS134に移行すると、再配置部24は、各ウィンドウ候補(サイズ変更後のウィンドウや角度変更後のウィンドウ)について、移動可能範囲と移動先を計算する処理を実行する。この場合、各ウィンドウ候補を用いて、前述したステップS52(図12)と同様の処理を実行し、求まった移動可能範囲の各辺のうち、ウィンドウ候補から最も近い点を移動先候補として決定する。なお、決定した点が連結表示領域R(図13)の外であった場合には、移動先候補からは除外するものとする。その後は、図15のステップS116に移行する。なお、図19(a)には、サイズ変更後のウィンドウ(Wa)を移動先候補に移動した状態が示されており、図19(b)には、回転後のウィンドウ(Wb)を移動先候補に移動した状態が示されている。
図15のステップS116に移行すると、再配置部24は、候補選択処理を実行する。このステップS116では、再配置部24が、図20のフローチャートに沿った処理を実行する。
(候補選択処理)
図20の処理では、まずステップS140において、再配置部24が、各候補について、違和感量の評価関数で評価値を計算する。この場合の候補とは、第1移動先候補においてウィンドウのサイズを変更した場合の移動先候補、第1移動先候補においてウィンドウを回転した場合の移動先候補、及び第2移動先候補、である。ステップS140では、上記各候補について、評価関数fの値(評価値)を求める。評価関数fは、一例として、次式(5)にて表すことができるものとする。
f=U+αS+βN …(5)
ここで、Uは、ウィンドウの移動距離を意味し、Sは、サイズ変更量、Nは回転量を意味する。サイズ変更量Sは、次式(6)にて表され、回転量Nは、次式(7)で表される。
S=(h−ah)+(w−aw) …(6)
N=|r−r’| …(7)
また、上式(5)の係数α、βは、図5のコンテンツDB40において予め定義されているものとする。なお、図5においては、コンテンツの種類ごとにサイズ変更の係数(α)の値と、回転量の係数(β)が定義されている。αの値が大きい場合には、ウィンドウのサイズ調整をなるべく行いたくないことを意味し、βの値が大きい場合には、ウィンドウの回転調整をなるべく行いたくないことを意味する。なお、α、βの値は、ユーザや管理者が設定できるものとする。例えば、移動距離が短ければよい(回転やサイズ変更を気にしない)ような場合には、α、βを0に設定すればよい。また、サイズ変更や回転を一切許容しない場合には、αやβを∞に設定すればよい。
次いで、ステップS142では、再配置部24が、評価関数fの値(評価値)が最も低い候補を選択し、移動先として決定する。以上のようにして、図20の処理が終了すると、図15の処理(ステップS54)も終了し、図10のステップS56に移行する。
図10に戻り、ステップS56に移行すると、再配置部24は、図15のステップS108又は図20のステップS142で決定した移動先をウィンドウの配置先とする。この場合、再配置部24は、新たに決定されたウィンドウの配置先の情報で、ウィンドウ配置情報テーブル46を更新する。その後は、図9のステップS16に移行する。
なお、ステップS56においてウィンドウ配置情報テーブル46が更新された場合、描画部22は、更新後のウィンドウ配置情報テーブル46に基づいて、各表示装置80A〜80Cにおいて出力する画像を生成(描画)する。これにより、ユーザがウィンドウの表示を指示した位置が適切でない(連結画面領域182からはみ出す位置である)場合でも、ウィンドウを適切な位置(はみ出さない位置)に表示することができるようになっている。この場合、評価関数fの値が最も小さくなる位置・状態でウィンドウが表示されるため、ユーザがウィンドウの表示に関して抱く違和感を低減することができる。
なお、ステップS128において、ウィンドウのサイズ変更を行う場合に、ウィンドウのアスペクト比(縦横比)の変更を許容できるようにしてもよい。アスペクト比の変更が許容されている場合には、サイズ変更の際に、例えばウィンドウの長い方の辺を縮めるようにサイズ変更をすることができる。なお、アスペクト比の変更を許容するか否かの情報は、図5のコンテンツDB40に格納しておけばよい。以下、アスペクト比の変更を許容する場合のサイズ変更の一例を説明する。
例えば、図18に示すように幅wが高さhよりも大きければ、再配置部24は、次式(8)を解くことにより、縮小倍率aを求める。
La−T=|h・cosr|+|aw・sinr| …(8)
そして、再配置部24は、幅wを縮小倍率aだけ縮小して、ウィンドウを表示すればよい。この場合、上式(5)の評価関数fの値を求める際に用いるサイズ変更量Sは、次式(9)で表される。
S=w−aw …(9)
また、これとは逆に、幅wが高さhよりも小さければ、再配置部24は、次式(10)を解くことにより、縮小倍率aを求める。
La−T=|ah・cosr|+|w・sinr| …(10)
そして、再配置部24は、高さhを縮小倍率aだけ縮小して、ウィンドウを表示すればよい。この場合、上式(5)の評価関数fの値を求める際に用いるサイズ変更量Sは、次式(11)で表される。
S=h−ah …(11)
なお、幅wと高さhが等しいときは、アスペクト比を維持する方法(上式(6))を用いればよい。
(図21の処理)
次に、図9の処理と並行して実行される図21の処理について説明する。
図21の処理では、まず、ステップS30において、ウィンドウ生成・移動部20が、ウィンドウの移動、サイズ変更、回転の指示の情報が入力されるまで待機する。すなわち、ユーザがタッチ操作により既に連結画面領域182内に表示されているウィンドウWを移動等すると、ステップS30の判断が肯定され、ステップS32に移行する。
ステップS32に移行すると、描画部22は、入力に応じてウィンドウの配置変更を計算し、ウィンドウ配置情報テーブル46(図7(b))を更新する。
次いで、ステップS34では、描画部22が、入力完了か否かを判断する。すなわち、描画部22は、ユーザが移動やサイズ変更、回転のタッチ操作を終了したという情報を入力受付部86から受け付けたか否かを判断する。
ステップS34の判断が否定された場合には、ステップS38、S40において、ウィンドウを移動等している間の表示を、上述したステップS16、S18と同様に実行する。具体的には、ステップS38では、描画部22が、ウィンドウ配置情報テーブル46等に基づいて、各表示装置80A〜80Cで出力する画像(ウィンドウを移動等している間の画像)を生成する。そして、ステップS40では、描画部22が、表示装置80A〜80Cに画像を送信し、表示させる。その後は、ステップS30に戻る。なお、ステップS34の判断が肯定されるまでの間、すなわちユーザによる入力が完了するまでの間は、ユーザのタッチ操作に合わせてウィンドウが移動等している状態が表示されるようになっている。
一方、ステップS34の判断が肯定された場合には、ステップS36に移行し、再配置部24は、ウィンドウの再配置処理を実行する。なお、ステップS36のウィンドウの再配置処理は、前述したステップS14の処理(図10)と同様となっている。したがって、移動等された後のウィンドウが表示されている位置が適切でない(連結画面領域182からはみ出す位置である)場合には、ウィンドウが適切な位置(はみ出さない位置)に再配置されるようになっている。この場合、評価関数fの値が最も小さくなる位置・状態でウィンドウが表示されるため、ユーザがウィンドウの表示に関して抱く違和感を低減することができる。
なお、これまでの説明からわかるように、本実施形態の再配置部24により、連結表示部分領域R1〜R3を特定する特定部、第1移動先候補を決定する決定部、第1移動先候補に基づいてウィンドウを配置する配置部、としての機能が実現されている。
以上、詳細に説明したように、本実施形態によると、再配置部24は、ウィンドウWが連結画面領域182からはみ出している又ははみ出ることを検出すると(S50:肯定)、ウィンドウWの中心を連結画面領域182の外枠に沿って移動させたときに、ウィンドウWが通過する範囲と通過しない範囲との境界線により囲まれた領域(連結表示部分領域R1〜R3)を特定する(図12のS82〜S88)。また、再配置部24は、連結表示部分領域R1〜R3のうちウィンドウWの位置から最も近い位置を第1移動先候補とする(図15のS102)。そして、再配置部24は、第1移動先候補にウィンドウWを配置したときに、ウィンドウWが連結画面領域182からはみ出なければ、第1移動先候補をウィンドウWの移動先として決定する(図15のS108)。一方、再配置部24は、ウィンドウWが連結画面領域182からはみ出る場合には、はみ出し量に基づいてウィンドウWの角度及び/又はサイズを変更したうえで、第1移動先候補の近傍にウィンドウWを配置するか、ウィンドウWが連結画面領域182からはみ出ない連結表示部分領域R3のうちウィンドウWの位置から最も近い位置にウィンドウWを配置する(図15のS110〜S116)。このように、連結表示部分領域R1〜R3のうちウィンドウWから最も近い位置を第1移動先候補とした場合において、ウィンドウWをそのまま配置できればそのまま配置し、はみ出す場合にはウィンドウWを回転したりサイズを変更したりして配置するか、回転やサイズ変更を行わずに配置できる位置に配置する。これにより、ユーザに与える違和感が少なくなるように、ウィンドウWを再配置することができるようになる。
ここで、比較例について説明する。図22(a)〜図22(f)は、比較例を説明するための図であり、モルフォロジー演算と呼ばれる処理により、ウィンドウWを再配置する位置を求める方法を示す図である。この処理では、ウィンドウWが連結画面領域182からはみ出している場合に、図22(a)〜図22(e)に示すように、ウィンドウWの中心を連結画面領域182の辺(外周)に沿って移動させる。そして、ウィンドウWが移動する際に通過した部分(画素)を塗りつぶす(図22(a)〜図22(e)の灰色部分参照)。
ウィンドウWが連結画面領域182の外周を1周回って、塗りつぶしが完了すると、塗りつぶされていない領域が残る(図22(e)参照)。この領域は、該領域内にウィンドウWの中心を配置したとしても、ウィンドウWが連結画面領域182からはみ出さない領域を意味する。本比較例では、図22(f)に示すように、当該領域のうちウィンドウWから最も近い位置にウィンドウの中心を配置するようにすればよい。
このモルフォロジー演算を用いた方法では、画素の塗りつぶし処理を行う必要があるため、画素数に応じた計算が必要となる。これにより、計算時間がかかり、処理量が増大するおそれがある。一方、本実施形態では、画素の塗りつぶしが不要なため、処理量を低減することができる。また、図22(f)の例では、本実施形態で説明した連結表示部分領域R1への移動が許容されていないため、移動距離が長くなるおそれがある。このため、ウィンドウの操作を行ったユーザが、ウィンドウの再配置に対して違和感を覚えるおそれがある。一方、本実施形態では、上述のように、ウィンドウの回転やサイズ変更を許容することで、再配置の際の移動距離を小さくすることができるため、ユーザに与える違和感を低減することができるようになっている。
また、本実施形態では、再配置部24は、ウィンドウが連結画面領域182からはみ出す場合に、ウィンドウWの移動距離、角度の変更量、及びサイズ変更量に基づく評価値が最も小さくなるようにウィンドウWを再配置することとしている。これにより、ユーザの違和感を最小限に抑えることができる位置にウィンドウWを再配置することができる。
また、本実施形態では、ユーザ等が、評価関数fにおけるウィンドウの移動距離、角度の変更量、及びサイズ変更量の重み(係数)を変更することができるようになっている。これにより、ウィンドウを再配置する際に、ユーザ等の好みを反映させることができる。
また、本実施形態では、評価関数fの係数を、コンテンツDB40においてウィンドウに表示されるコンテンツの種類ごとに管理している。これにより、コンテンツに合わせて、違和感のないウィンドウの再配置を実現することができる。
また、本実施形態では、ウィンドウの角度やサイズを変更する際に、連結表示部分領域R1の寸法に基づいて、角度やサイズの変更量を決定するので、簡易な計算により、適切な変更量を求めることができる。
なお、上記実施形態では、評価関数fとして上式(5)を用いる場合について説明したが、これに限られるものではない。すなわち、上式(5)の評価関数fに代えて、その他の評価関数を用いることとしてもよい。
なお、上記実施形態では、連結画面領域182が、図2に示すような形状を有する場合について説明したが、これに限られるものではない。すなわち、連結画面領域182は、矩形を組み合わせた形状を有していればよい。また、上記実施形態では、表示装置80A、80B…が画面表示部84としてプロジェクタを含む場合について説明したが、これに限らず、表示装置80A、80B…は画面表示部84として液晶ディスプレイ等のディスプレイを含んでいてもよい。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
(付記1) 表示領域に矩形状のウィンドウを配置する処理を実行する情報処理装置であって、
前記ウィンドウの表示位置が前記表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定する特定部と、
1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定する決定部と、
前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する配置部と、
を備える情報処理装置。
(付記2) 前記配置部は、前記ウィンドウが前記表示領域からはみ出す場合に、前記ウィンドウの移動距離、角度の変更量、及びサイズ変更量に基づく評価値が最も小さくなるように前記ウィンドウを配置する、ことを特徴とする付記1に記載の情報処理装置。
(付記3) 前記評価値を算出するときの、前記ウィンドウの移動距離、角度の変更量、及びサイズ変更量の重みが可変であることを特徴とする、付記2に記載の情報処理装置。
(付記4) 前記重みは、前記ウィンドウに表示されるコンテンツの種類に応じて決定されることを特徴とする付記3に記載の情報処理装置。
(付記5) 前記配置部は、前記ウィンドウの角度及び/又はサイズを変更する際には、前記配置候補位置が含まれる前記配置候補領域の寸法に基づいて、前記角度の変更量及び/又はサイズの変更量を決定する、ことを特徴とする付記1〜4のいずれかに記載の情報処理装置。
(付記6) 前記表示領域は長方形を組み合わせた形状を有する、ことを特徴とする付記1〜5のいずれかに記載の情報処理装置。
(付記7) 表示領域に矩形状のウィンドウを含む画面を表示する表示装置と、
前記画面を生成して、前記表示装置に表示させる情報処理装置と、を備え、
前記情報処理装置は、
前記ウィンドウの表示位置が前記表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定する特定部と、
1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定する決定部と、
前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する配置部と、を有する、
ことを特徴とする表示システム。
(付記8) 矩形状のウィンドウの表示位置が表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定し、
1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定し、
前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、
処理をコンピュータに実行させるためのウィンドウ配置プログラム。
(付記9) 前記配置する処理では、前記ウィンドウが前記表示領域からはみ出す場合に、前記ウィンドウの移動距離、角度の変更量、及びサイズ変更量に基づく評価値が最も小さくなるように前記ウィンドウを配置する、ことを特徴とする付記8に記載のウィンドウ配置プログラム。
(付記10) 前記評価値を算出するときの、前記ウィンドウの移動距離、角度の変更量、及びサイズ変更量の重みが可変であることを特徴とする、付記9に記載のウィンドウ配置プログラム。
(付記11) 前記重みは、前記ウィンドウに表示されるコンテンツの種類に応じて決定されることを特徴とする付記10に記載のウィンドウ配置プログラム。
(付記12) 前記配置する処理では、前記ウィンドウの角度及び/又はサイズを変更する際には、前記配置候補位置が含まれる前記配置候補領域の寸法に基づいて、前記角度の変更量及び/又はサイズの変更量を決定する、ことを特徴とする付記8〜11のいずれかに記載のウィンドウ配置プログラム。
(付記13) 前記表示領域は長方形を組み合わせた形状を有する、ことを特徴とする付記8〜12のいずれかに記載のウィンドウ配置プログラム。
10 情報処理装置
24 再配置部(特定部、決定部、配置部)
80A〜80C 表示装置
100 表示システム
182 連結画面領域(表示領域)
W ウィンドウ
R1、R2、R3 連結表示部分領域(配置候補領域)

Claims (8)

  1. 表示領域に矩形状のウィンドウを配置する処理を実行する情報処理装置であって、
    前記ウィンドウの表示位置が前記表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定する特定部と、
    1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定する決定部と、
    前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する配置部と、
    を備える情報処理装置。
  2. 前記配置部は、前記ウィンドウが前記表示領域からはみ出す場合に、前記ウィンドウの移動距離、角度の変更量、及びサイズ変更量に基づく評価値が最も小さくなるように前記ウィンドウを配置する、ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記評価値を算出するときの、前記ウィンドウの移動距離、角度の変更量、及びサイズ変更量の重みが可変であることを特徴とする、請求項2に記載の情報処理装置。
  4. 前記重みは、前記ウィンドウに表示されるコンテンツの種類に応じて決定されることを特徴とする請求項3に記載の情報処理装置。
  5. 前記配置部は、前記ウィンドウの角度及び/又はサイズを変更する際には、前記配置候補位置が含まれる前記配置候補領域の寸法に基づいて、前記角度の変更量及び/又はサイズの変更量を決定する、ことを特徴とする請求項1〜4のいずれか一項に記載の情報処理装置。
  6. 前記表示領域は長方形を組み合わせた形状を有する、ことを特徴とする請求項1〜5のいずれか一項に記載の情報処理装置。
  7. 表示領域に矩形状のウィンドウを含む画面を表示する表示装置と、
    前記画面を生成して、前記表示装置に表示させる情報処理装置と、を備え、
    前記情報処理装置は、
    前記ウィンドウの表示位置が前記表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定する特定部と、
    1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定する決定部と、
    前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する配置部と、を有する、
    ことを特徴とする表示システム。
  8. 矩形状のウィンドウの表示位置が表示領域からはみ出る第1位置であることを検出すると、前記ウィンドウの中心を前記表示領域の外枠に沿って移動させたときに、前記ウィンドウが通過する範囲と通過しない範囲との境界線により囲まれた1又は複数の領域を前記ウィンドウの配置候補領域として特定し、
    1又は複数の前記配置候補領域のうち、前記第1位置から最も近い位置を前記ウィンドウの配置候補位置として決定し、
    前記配置候補位置と前記ウィンドウの中心とを一致させたときに、前記ウィンドウが前記表示領域からはみ出ない場合には、該配置候補位置に前記ウィンドウの中心を配置し、前記ウィンドウが前記表示領域からはみ出す場合には、はみ出し量に基づいて前記ウィンドウの角度及び/又はサイズを変更したうえで、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、又は前記ウィンドウの角度及びサイズを変更せずに、前記表示領域から前記ウィンドウがはみ出ない前記第1位置に最も近い位置に前記ウィンドウの中心を配置する、
    処理をコンピュータに実行させるためのウィンドウ配置プログラム。
JP2018055150A 2018-03-22 2018-03-22 情報処理装置、表示システム及びウィンドウ配置プログラム Active JP6981326B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018055150A JP6981326B2 (ja) 2018-03-22 2018-03-22 情報処理装置、表示システム及びウィンドウ配置プログラム
US16/292,164 US10629158B2 (en) 2018-03-22 2019-03-04 Information processing apparatus and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018055150A JP6981326B2 (ja) 2018-03-22 2018-03-22 情報処理装置、表示システム及びウィンドウ配置プログラム

Publications (2)

Publication Number Publication Date
JP2019168847A true JP2019168847A (ja) 2019-10-03
JP6981326B2 JP6981326B2 (ja) 2021-12-15

Family

ID=67983734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018055150A Active JP6981326B2 (ja) 2018-03-22 2018-03-22 情報処理装置、表示システム及びウィンドウ配置プログラム

Country Status (2)

Country Link
US (1) US10629158B2 (ja)
JP (1) JP6981326B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110506419B (zh) * 2017-02-03 2021-12-28 华纳兄弟娱乐公司 在虚拟现实中渲染扩展视频
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04204997A (ja) * 1990-11-30 1992-07-27 Hitachi Ltd ウィンドウ制御方式
JPH0973384A (ja) * 1995-09-06 1997-03-18 Fujitsu Ltd マルチウインドウ配置最適化装置
JP2009086082A (ja) * 2007-09-28 2009-04-23 Brother Ind Ltd 画像表示装置及び画像表示システム
JP2010128140A (ja) * 2008-11-27 2010-06-10 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2010176320A (ja) * 2009-01-28 2010-08-12 Seiko Epson Corp 画像処理方法、そのプログラム及び画像処理装置
JP2012174150A (ja) * 2011-02-24 2012-09-10 Mitsubishi Electric Corp マルチディスプレイシステム
JP2013092735A (ja) * 2011-10-27 2013-05-16 Kyocera Corp 携帯型電子機器、表示制御方法、及び表示制御プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US6654036B1 (en) * 2000-06-05 2003-11-25 International Business Machines Corporation Method, article of manufacture and apparatus for controlling relative positioning of objects in a windows environment
US8127248B2 (en) * 2003-06-20 2012-02-28 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
WO2004114113A1 (en) * 2003-06-20 2004-12-29 Apple Computer, Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
US9965067B2 (en) * 2007-09-19 2018-05-08 T1V, Inc. Multimedia, multiuser system and associated methods
US8600816B2 (en) * 2007-09-19 2013-12-03 T1visions, Inc. Multimedia, multiuser system and associated methods
JP2009245423A (ja) * 2008-03-13 2009-10-22 Panasonic Corp 情報機器およびウインドウ表示方法
JP2009284468A (ja) * 2008-04-23 2009-12-03 Sharp Corp 携帯情報端末、コンピュータ読取可能なプログラムおよび記録媒体
JP5253937B2 (ja) * 2008-09-08 2013-07-31 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及びプログラム
JP2012108772A (ja) 2010-11-18 2012-06-07 Mitsubishi Electric Corp マルチモニタ制御装置
CN102929535B (zh) * 2012-10-09 2018-05-01 中兴通讯股份有限公司 一种悬浮窗位置控制的方法及终端
KR102190904B1 (ko) * 2013-09-25 2020-12-14 삼성전자 주식회사 윈도우 제어 방법 및 이를 지원하는 전자장치
JP6418990B2 (ja) 2015-03-12 2018-11-07 Sky株式会社 端末結合表示システム及び端末結合表示プログラム
JP6457320B2 (ja) 2015-04-13 2019-01-23 Sky株式会社 端末結合表示システム及び端末結合表示プログラム
JP2017016314A (ja) 2015-06-30 2017-01-19 株式会社リコー 表示システム、情報処理装置、情報端末、及びプログラム
US10114499B2 (en) * 2015-08-24 2018-10-30 Apple Inc. Enhanced handling of remote controller touchpad input data
US10241658B2 (en) * 2016-04-28 2019-03-26 Kyocera Document Solutions Inc. Information processing apparatus, non-transitory computer-readable recording medium with information processing program recorded thereon, and information processing method
US20180164952A1 (en) * 2016-12-12 2018-06-14 Lenovo (Beijing) Co., Ltd. Virtual interface display method, electronic device, and apparatus
US11442612B2 (en) * 2016-12-23 2022-09-13 [24]7.ai, Inc. Method and apparatus for facilitating user chat interactions
JP6897234B2 (ja) * 2017-03-30 2021-06-30 富士通株式会社 情報処理システム、情報処理装置および情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04204997A (ja) * 1990-11-30 1992-07-27 Hitachi Ltd ウィンドウ制御方式
JPH0973384A (ja) * 1995-09-06 1997-03-18 Fujitsu Ltd マルチウインドウ配置最適化装置
JP2009086082A (ja) * 2007-09-28 2009-04-23 Brother Ind Ltd 画像表示装置及び画像表示システム
JP2010128140A (ja) * 2008-11-27 2010-06-10 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2010176320A (ja) * 2009-01-28 2010-08-12 Seiko Epson Corp 画像処理方法、そのプログラム及び画像処理装置
JP2012174150A (ja) * 2011-02-24 2012-09-10 Mitsubishi Electric Corp マルチディスプレイシステム
JP2013092735A (ja) * 2011-10-27 2013-05-16 Kyocera Corp 携帯型電子機器、表示制御方法、及び表示制御プログラム

Also Published As

Publication number Publication date
US10629158B2 (en) 2020-04-21
US20190295497A1 (en) 2019-09-26
JP6981326B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
US11290651B2 (en) Image display system, information processing apparatus, image display method, image display program, image processing apparatus, image processing method, and image processing program
US8836728B2 (en) Techniques to magnify images
US8350872B2 (en) Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
EP1780633A2 (en) Three-dimensional motion graphic user interface and apparatus and method for providing three-dimensional motion graphic user interface
US8294710B2 (en) Extensible map with pluggable modes
JP2010181637A5 (ja)
CN101261742B (zh) 医用图像显示装置
US11250643B2 (en) Method of providing virtual exhibition space using 2.5-dimensionalization
US11651556B2 (en) Virtual exhibition space providing method for efficient data management
US10915236B2 (en) User interface design system
WO2013179560A1 (ja) 画像処理装置および画像処理方法
US11562545B2 (en) Method and device for providing augmented reality, and computer program
CN110832456B (zh) 为图形界面创建默认布局约束
van Dijk et al. Interactive focus maps using least-squares optimization
JP2019168847A (ja) 情報処理装置、表示システム及びウィンドウ配置プログラム
JP2019185687A (ja) プログラム、情報処理方法及び情報端末
CN109766530B (zh) 图表边框的生成方法、装置、存储介质和电子设备
JP7192953B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10832442B2 (en) Displaying smart guides for object placement based on sub-objects of reference objects
JP2017059067A (ja) クライアント装置、および、データ表示プログラム
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
JP6768380B2 (ja) 情報処理装置、情報処理方法
KR102434428B1 (ko) 합성 영상 생성 방법, 합성 영상 생성 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN114327208B (zh) 一种图例展示方法、装置、存储介质及终端
JP5126726B1 (ja) 図形処理装置、図形処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201210

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150