JP2012141728A

JP2012141728A - 情報処理表示装置

Info

Publication number: JP2012141728A
Application number: JP2010293328A
Authority: JP
Inventors: Masahiro Mochizuki; 正裕望月
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-12-28
Filing date: 2010-12-28
Publication date: 2012-07-26

Abstract

【課題】表示画面を操作しながら快適な操作感でウインドウの切り替えを行うことができる情報処理表示装置を提供する。
【解決手段】ハードウエアレイヤ１とハードウエアレイヤ２とを合成した画像を表示画面１１に表示する。ハードウエアレイヤ１の上にハードウエアレイヤ２が重なり、上位のハードウエアレイヤ２のアプリケーション表示ウインドウｗ１、ｗ２、ｗ３以外の部分は透明であり、下位のハードウエアレイヤ１のアプリケーション表示ウインドウｗ４、ｗ５、ｗ６が見えている。その結果、上位のハードウエアレイヤ２を通して下位のハードウエアレイヤ１のウインドウｗ４、ｗ５、ｗ６を操作することができる。
【選択図】図４

Description

この発明は情報処理表示装置に関する。

従来、複数のＯＳと複数の描画システムから共有されるディスプレイを有するシステムにおいてもウインドウ単位で重ね合わせが可能な画像表示装置が知られている（下記公報参照）。

特開２００９−１５７６３５号公報

上述の画像表示装置では、ウインドウの切替機能を各ハードウエアレイヤにおけるウインドウ情報を統合的管理する手法を用いて実現している。また、既存の携帯端末機器に搭載された表示システムにおいては、複数のプログラムの切り替えによってウインドウの切替え機能を実現しているものもある。しかしながら、これらの従来の技術においてはウインドウの切替えにおいて、快適な操作性の実現が難しかった。

本願の目的は、表示画面を操作しながら快適な操作感でウインドウの切り替えを行うことができる情報処理表示装置を提供することである。

上記課題を解決するため請求項１記載の発明は、複数のアプリケーションを備え、１つのオペレーションシステム上で起動する情報処理表示装置において、表示画面と、前記表示画面に画像を生成する複数のハードウエアレイヤを有し、前記表示画面に前記アプリケーションに対応するウインドウ画像を表示する表示手段と、前記ハードウエアレイヤ毎に設けられ、前記アプリケーションに対応するウインドウを管理して、前記ハードウエアレイヤ上の前記アプリケーション毎のウインドウ画像の表示を管理するウインドウマネージャと、前記複数のウインドウマネージャを統括管理する管理手段とを有することを特徴とする。

請求項２記載の発明は、請求項１記載の情報処理表示装置において、前記複数のハードウエアレイヤの表示順位を指示するレイヤ順位指示手段を有し、前記管理手段は、前記レイヤ順位指示手段からの入力に応じて、前記ハードウエアレイヤの表示順位を制御することを特徴とする。

請求項３記載の発明は、請求項２記載の情報処理表示装置において、前記表示画面の所定位置にポインティング操作を行うポインティング操作手段を有し、前記管理手段は、前記複数のハードウエアレイヤにおいて、前記ポインティング操作手段が上位のハードウエアレイヤにオブジェクトが表示されておらず、かつ下位のハードウエアレイヤにオブジェクトが表示されている所定部位にポインティング操作を行った場合には、下位のハードウエアレイヤの前記所定部位にポインティング操作が行われるよう前記ウインドウマネージャを制御することを特徴とする。

請求項４記載の発明は、請求項１〜３のいずれか１項記載の情報処理表示装置において、前記表示手段に表示されたオブジェクトの表示順位を指示するオブジェクト順位指示手段を有し、前記管理手段は、前記レイヤ順位指示手段からの入力に応じて、前記複数のハードウエアレイヤにオブジェクトの順位を制御することを特徴とする。

請求項５記載の発明は、請求項４記載の情報処理表示装置において、前記表示画面の所定位置にポインティング操作を行うポインティング操作手段を有し、前記管理手段は、前記表示手段において、前記ポインティング操作手段が下位のオブジェクトの部位であって、かつ上位のオブジェクトが表示されていない所定部位にポインティング操作を行った場合には、下位のオブジェクトの前記所定部位にポインティング操作が行われるよう前記ウインドウマネージャを制御することを特徴とする。

請求項６記載の発明は、請求項１〜５のいずれか１項記載の情報処理表示装置において、前記ウインドウマネージャを、各々独立に起動及び終了が可能であることを特徴とする。

請求項７記載の発明は、請求項１〜６のいずれか１項記載の情報処理表示装置において、前記ウインドウマネージャは、前記ハードウエアレイヤを各々独立に一時非表示にすることができることを特徴とする。
請求項１〜６のいずれか１項記載の情報処理表示装置において、前記ウインドウマネージャは、各々独立に一時非表示が可能であることを特徴とする。

この発明によれば、１つの表示画面を操作しながら、快適な操作感でウインドウの切り替えを得ることができる。

図１はこの発明の一実施形態に係る情報処理表示装置のシステム構成を示すブロック図である。図２はアプリケーション実行時のウインドウマネージャの処理を説明するフローチャートである。図３はレイヤ合成を説明する図である。図４は表示画面に表示された合成画像を示す図である。図５は管理機能用ウインドウの一例を示す図である。図６は全てのウインドウを表示画面に表示させた状態を示す図である。図７はウインドウマネージャ及び管理手段の機能を説明するフローチャートである。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の一実施形態に係る情報処理表示装置１のシステム構成を示すブロック図である。

図１に示すように、情報処理表示装置１は、ＣＰＵ３１を備えており、ＣＰＵ３１は、バス６に接続されている。バス６には、ＣＰＵ３１が実行するアプリケーションプログラム等を記憶するＲＯＭ（フラッシュメモリ（ＦＬＡＳＨ））３２、後述する記録媒体５１から読み込んだアプリケーションプログラム等を記憶するメモリ（ＲＡＭ）３３が接続されている。また、バス６には、画像等の情報を表示するＬＣＤの表示装置（表示器）１０と操作者による表示画面１１に対する接触操作を検出する検出部（図示せず）を有する表示面の表示制御を行う表示制御部２４、表示画面１１に表示する画像を記憶する２つのハードウエアレイヤ（Ｂｕｆｆｅｒ）２１，２２、２つのハードウエアレイヤ２１，２２に記憶された画像を合成する合成部２３が接続されている。また、バス６には、カーソルキー等の操作者の指示を入力する操作部材４１からの入力制御を行うとともに、表示画面１１に対する入力制御を行う入力部（Ｉ／Ｏ）４２、記録媒体５１へのデータの記録、読み出しの制御を行うインターフェース（記録Ｉ／Ｆ）５２が接続されている。

なお、ウインドウマネージャは、ハードウエアレイヤ２１，２２ごとに設けられ、ハードウエアレイヤ２１，２２のそれぞれで実行されるアプリケーションに対応するウインドウを管理し、表示画面１１におけるＸ−Ｙ方向の位置、ウインドウの重なり順位等を制御する。

さらに、本発明の情報処理表示装置１のＲＯＭ３２は、複数のウインドウマネージャを統括管理する管理手段として機能する統括アプリケーション（以下管理機能と称す）を備えている。管理機能は、ＣＰＵ３１によるハードウエアレイヤ２１，２２の起動／停止や表示／非表示、レイヤの表示順序の切替えを統括して管理する。また、管理機能は、ウインドウマネージャにより配信された操作者による表示画面１１への接触入力を検知して、各ハードウエアレイヤに表示されたウインドウの表示順位を統括して管理する。

次に、図２に示すフローチャートに基づき、本発明の実施の形態に係るアプリケーション実行時における情報処理表示装置１の処理について説明する。

図２はアプリケーション実行時のウインドウマネージャの処理を説明するフローチャートである。図２において、Ｓ１〜Ｓ１４は各処理ステップを示す。

まず、ユーザ（ＵＳＥＲ）がアプリケーション（ＡＰＰ１）を起動させる（Ｓ１）。

次に、アプリケーションがウインドウマネージャ（ＷＭ）に描画用のメモリ３３（Ｍ１）を要求する（Ｓ２）。

その後、ウインドウマネージャはアプリケーションと共有できるメモリＭ１を確保する（Ｓ３）。

次に、ウインドウマネージャはアプリケーションに共有メモリＭ１の番号（ＩＤ）を知らせる（Ｓ４）。

その後、アプリケーションは共有メモリＭ１の番号（ＩＤ）を使って共有メモリＭ１をアクセス可能にする（Ｓ５）。記録媒体５１に記録された情報がアプリケーションによって読み込まれ、アプリケーションに記述された処理内容にしたがって処理される。

次に、アプリケーションの処理結果を共有メモリＭ１に描画する（Ｓ６）。

その後、アプリケーションはウインドウマネージャに描画を要求する（Ｓ７）。

次に、ウインドウマネージャは共有メモリＭ１から描画データを描画用のバッファメモリ（図示せず）に送る（Ｓ８）。

バッファメモリにはウインドウの表示の大きさ、位置にしたがってウインドウの描画用のメモリが割り当てられており、ウインドウマネージャがアプリケーションのウインドウの情報を書き換えることによって表示画面１１に表示される情報が更新される。

ウインドウマネージャはポインティングデバイスや操作部４１からの情報を読み取る（Ｓ９）。

ポインティング位置がアプリケーションのウインドウの位置であるか否かを判断する（Ｓ１０）。

ポインティング位置がアプリケーションのウインドウの位置でないとき、ステップ９に戻る。

ポインティング位置がアプリケーションのウインドウの位置であるとき、ステップＳ１１に進み、ウインドウの操作を実行するか否かを判断する（Ｓ１１）。

ウインドウの操作を実行しないとき、ウインドウマネージャはアプリケーションにポインティングデバイスの情報を通知（Ｓ１２）してステップＳ６へ戻る。または、ウインドウを操作（Ｓ１３）してステップＳ７へ戻る。

ウインドウの操作を終了するとき、リソース（プログラムが使用するデータ）を開放し、アプリケーションを終了する（Ｓ１４）。

次に、図３に基づいて、ウインドウマネージャが２つの場合のレイヤ合成を説明する。

図３はレイヤ合成を説明する図である。

２つのウインドウマネージャはメモリ（ＲＡＭ）３３上にある。また、図３の左側に示されたメモリ（ＲＡＭ）３３のブロック内にはウインドウマネージャ１とウインドウマネージャ２とによってそれぞれ管理される２つの管理範囲が鎖線で示されている。

ウインドウマネージャ１の管理範囲において、２つのアプリケーション（Ａｐｐ１−１及びＡｐｐ１−２）が実行されている。

共有メモリのＡｐｐ１−１とＡｐｐ１−２とのアプリケーション表示エリア３３ａ，３３ｃには、文字、図形、文章等が記載されている。また、表示エリア３３ａ，３３ｃの下方にはそれぞれのアプリケーションに対応するタイトルバー３３ｂ，３３ｄが記載され、右側には操作部材３３ｅが記載されている。

ウインドウマネージャ２の管理範囲において、３つのアプリケーション（Ａｐｐ２−１、Ａｐｐ２−２及びＡｐｐ２−３）が実行されている。

Ａｐｐ２−１のアプリケーション表示エリア３３ｆには時計が記載されている。

Ａｐｐ２−２の共有メモリのアプリケーション表示エリア３３ｇには、「予定表」が記載されている。また、表示エリア３３ｇの下方にはタイトルバー３３ｈが記載されている。

Ａｐｐ２−３の共有メモリのアプリケーション表示エリア３３ｉには、スケジュール帳が記載されている。

そして、上記各表示エリアの対応するウインドウがウインドウマネージャの所定の管理機能にしたがって配置される。

ハードウエアレイヤ２１（バッファレイヤ１）にＡｐｐ１−１とＡｐｐ１−２との合成画像が形成される。表示エリア３３ａ〜３３ｅはそれぞれが合成されて図３の右上側の図に示すように、ウインドウｗ４〜ｗ６となる。

また、ハードウエアレイヤ２２（バッファレイヤ２）にＡｐｐ２−１とＡｐｐ２−２とＡｐｐ２−３との合成画像が形成される。このとき、ハードウエアレイヤ２２に表示された時計や予定表等の表示エリア３３ｆ〜３３ｉに対応するオブジェクト（ウインドウｗ１〜ｗ３）の表示順位はウインドウマネージャによって管理される。図３の右下側の図に示すように、表示エリア３３ｆ〜３３ｉはそれぞれが合成されてウインドウｗ１〜ｗ３となる。

ハードウエアレイヤ合成を行うことによって、ハードウエアレイヤ２１では例えばＵＮＩＸ(登録商標)のＸ１１ウインドウシステムのような複雑なアプリケーションに対応でき、ハードウエアレイヤ２２ではＧＵＩを持った簡単なアプリケーションに対応できる。

図４は表示画面１１に表示された合成画像を示す図である。

ハードウエアレイヤ２１とハードウエアレイヤ２２とは合成部２３で合成され、表示制御部２４によって表示装置１０の表示画面１１に合成画像（ウインドウｗ１〜ｗ６）が表示される。図４に示すように、ハードウエアレイヤ２１の上にハードウエアレイヤ２２が重なっているが、上位のハードウエアレイヤ２２のアプリケーション表示ウインドウｗ１、ｗ２、ｗ３以外は透明（半透明）であり、下位のハードウエアレイヤ２１のアプリケーション表示ウインドウｗ４、ｗ５、ｗ６が見えている。

このとき、下位のオブジェクト（例えばウインドウｗ４）であって、かつ上位のオブジェクト（例えばウインドウｗ２）が表示されていない所定部位に対してもマウス１５によるポインティング入力、手書き入力等を行なうことができる。

なお、ハードウエアレイヤ２１，２２を重ねる順番（上下位置）はＣＰＵ３１からの指示により変更可能である。

ハードウエアレイヤ２１，２２毎にウインドウマネージャが搭載されており、ハードウエアレイヤ２１とハードウエアレイヤ２２との間に依存関係がないため、ハードウエアレイヤ２１とハードウエアレイヤ２２とはそれぞれ独立して動作させることができる。したがって、例えばウインドウマネージャ１のライブラリの階層が深くかつ処理量が多くて処理速度が遅くなる場合等には、電源立ち上げ時からでなく、ユーザが任意のタイミングで独立して各ウインドウマネージャ１を起動及び終了させることができる。

なお、表示装置１０は表示画面１１の他にメニュボタン（ＭＥＮＵ）１２、設定ボタン（Ｓｅｔｔｉｎｇ）１３、選択ボタン１４、マウス１５を有する。また、情報処理表示装置１は、複数のウインドウマネージャを管理する機能を備えた管理機能用ウインドウ８０を備えている。

図５は管理機能用ウインドウ８０の一例を示す図である。

管理機能用ウインドウ８０内には、ハードウエアレイヤ（Ｌ１，Ｌ２）２１，２２のオン・オフ（表示・非表示）を行うボタン６１，６２、ハードウエアレイヤ（Ｌ１，Ｌ２）２１，２２の重ね合わせる順序を変えるボタン６３及び鎖線で囲まれたボタン６１，６２，６３を表示させるための矢印が付されたボタン６４が表示されている。

図４に示した表示装置１０の選択ボタン１４を操作することによって管理機能用ウインドウ８０の表示と非表示とを切り換えることができる。

図６は全てのウインドウを表示画面１１に表示させた状態を示す図である。

この図の場合のように、ハードウエアレイヤ２１，２２毎にウインドウが多すぎた場合や、ハードウエアレイヤが多くなりすぎた場合、ＣＰＵ３１のメモリのソースが不足するためアプリケーションを閉じる必要が生じたとき、ウインドウマネージャはハードウエアレイヤ２１，２２を独立してオン・オフすることができる。

次に、ウインドウマネージャ及び管理機能を有する操作部材の操作を説明する。

図７はウインドウマネージャ及び管理手段の機能を説明するフローチャートである。図においてＳ２１〜Ｓ３１は各処理ステップを示す。

操作部材や、ポインタの値の伝達は、管理機能及びウインドウマネージャのライブラリの関数の呼び出しで実行される。

実際にハードウエアの値を読み取っているのは、最上位に位置する管理機能で、下位に位置するウインドウマネージャは、仮想的なハードウエア読取り関数の値によって、まず、管理機能あるいはウインドウマネージャを起動する（Ｓ２１）。

次に、初期化を行い、使い始めの状態にする（Ｓ２２）。

その後、操作部材４１（設定ボタン１３や方向ボタン１４など）の値を読み取る（Ｓ２３）。

次に、操作部材４１が操作されたか否かを判断する（Ｓ２４）。

操作部材４１が操作されていないとき（ＮＯ）、ステップＳ２８へ進む。

操作部材４１が操作されたとき（Ｙｅｓ）、自分のハードウエアレイヤ（例えば上位のハードウエアレイヤ２２）の操作であるか否かを判断する（Ｓ２５）。

自分のハードウエアレイヤ２２の操作でないとき（ＮＯ）、下位のハードウエアレイヤ（例えばハードウエアレイヤ２１）に操作部材４１の値を渡す（Ｓ２６）。操作部材の値の受け渡しはウインドウマネージャのライブラリの関数の呼び出しで実行される。

自分のハードウエアレイヤの操作であるとき（Ｙｅｓ）、上位のハードウエアレイヤのウインドウマネージャは操作部材４１のタスクを実行する（Ｓ２７）。

次に、ポインティング機能を有する操作部材４１のデータ（マウス１５の場合にはアドレス）を読み取る（Ｓ２８）。

その後、操作部材４１のポインティング位置が、自分が管理するハードウエアレイヤのオブジェクトであるか否かを判断する（Ｓ２９）。

自分が管理するハードウエアレイヤのオブジェクトでないとき（ＮＯ）、上位のハードウエアレイヤのウインドウマネージャは下位のハードウエアレイヤ２１のウインドウマネージャに操作部材の情報を渡す（Ｓ３０）。

下位のハードウエアレイヤのウインドウマネージャは、自分が管理するハードウエアレイヤのオブジェクトであるとき（Ｙｅｓ）、アプリケーションへ操作部材４１の情報を渡し（Ｓ３１）、ステップＳ２３へ戻る。

本実施形態の情報処理表示装置によれば、上位のハードウエアレイヤに表示されたウインドウ以外の部分が透明であり、下位のハードウエアレイヤのウインドウを操作することができるので、１つの表示画面を操作してウインドウの切り替えを行うことができ、快適な操作感を得ることができる。

また、本実施形態の情報処理表示装置によれば、複数のアプリケーションを起動しながら、必要なアプリケーションが存在するハードウエアレイヤのみを表示できるので、効率のよい操作が可能になり快適な操作感を得ることができる。

また、本実施形態の情報処理表示装置によれば、起動するアプリケーションの種類や、使用状態（メモリソースの使用状態）に応じて、各ハードウエアレイヤに存在するので、アプリケーションの組み合わせ単位での起動・停止の処理を行うことができ、効率のよい操作が可能になり、快適な操作感を得ることができる。

１：情報処理表示装置、１１：表示画面、１３：ＣＰＵ、１５：マウス（ポインティングデバイス）、２１，２２：ハードウエアレイヤ、２４：表示制御部、３２：ＲＯＭ、３３：メモリ（ＲＡＭ）。

Claims

複数のアプリケーションを備え、１つのオペレーションシステム上で起動する情報処理表示装置において、
表示画面と、
前記表示画面に画像を生成する複数のハードウエアレイヤを有し、前記表示画面に前記アプリケーションに対応するウインドウ画像を表示する表示手段と、
前記ハードウエアレイヤ毎に設けられ、前記アプリケーションに対応するウインドウを管理して、前記ハードウエアレイヤ上の前記アプリケーション毎のウインドウ画像の表示を管理するウインドウマネージャと、
前記複数のウインドウマネージャを統括管理する管理手段と
を有することを特徴とする情報処理表示装置。
請求項１記載の情報処理表示装置において、
前記複数のハードウエアレイヤの表示順位を指示するレイヤ順位指示手段を有し、
前記管理手段は、前記レイヤ順位指示手段からの入力に応じて、前記ハードウエアレイヤの表示順位を制御することを特徴とする情報処理表示装置。
請求項２記載の情報処理表示装置において、
前記表示画面の所定位置にポインティング操作を行うポインティング操作手段を有し、
前記管理手段は、前記複数のハードウエアレイヤにおいて、前記ポインティング操作手段が上位のハードウエアレイヤにオブジェクトが表示されておらず、かつ下位のハードウエアレイヤにオブジェクトが表示されている所定部位にポインティング操作を行った場合には、下位のハードウエアレイヤの前記所定部位にポインティング操作が行われるよう前記ウインドウマネージャを制御することを特徴とする情報処理表示装置。
請求項１〜３のいずれか１項記載の情報処理表示装置において、
前記表示手段に表示されたオブジェクトの表示順位を指示するオブジェクト順位指示手段を有し、
前記管理手段は、前記レイヤ順位指示手段からの入力に応じて、前記複数のハードウエアレイヤにオブジェクトの順位を制御することを特徴とする情報処理表示装置。
請求項４記載の情報処理表示装置において、前記表示画面の所定位置にポインティング操作を行うポインティング操作手段を有し、前記管理手段は、前記表示手段において、前記ポインティング操作手段が下位のオブジェクトの部位であって、かつ上位のオブジェクトが表示されていない所定部位にポインティング操作を行った場合には、下位のオブジェクトの前記所定部位にポインティング操作が行われるよう前記ウインドウマネージャを制御することを特徴とする情報処理表示装置。
請求項１〜５のいずれか１項記載の情報処理表示装置において、
前記ウインドウマネージャを、各々独立に起動及び終了が可能であることを特徴とする情報処理表示装置。
請求項１〜６のいずれか１項記載の情報処理表示装置において、
前記ウインドウマネージャは、前記ハードウエアレイヤを各々独立に一時非表示にすることができることを特徴とする情報処理表示装置。