JP2014016869A - ユーザインタフェース設計装置 - Google Patents

Abstract

【課題】容易にＵＩ部品を画像化することが可能な技術を提供することを目的とする。
【解決手段】インタフェース設計装置は、基本表示部品を格納する基本表示部品格納部１０１と、内部状態に対して配置されたＵＩ部品を含んで構成される複合表示部品を格納する複合表示部品格納部１０２とを備える。そして、ユーザインタフェース設計装置は、複合表示部品を作成及び編集する複合表示部品編集部１０４と、複合表示部品編集部１０４により指定された複合表示部品に基づいて、それに含まれるＵＩ部品が内部状態ごとに画像化された新たな複合表示部品を画像複合表示部品として生成する画像複合表示部品生成部１０５とを備える。
【選択図】図１

Description

本発明は、設計対象装置のユーザインタフェースを、画像表示用のＵＩ部品を用いて設計するユーザインタフェース設計装置に関するものである。

ユーザインタフェース設計装置においては、複数のＵＩ部品を組み合わせて新たにＵＩ部品を作成しながら（部品化しながら）、表示内容の一部を担う複合表示部品を構築することがある。例えば、特許文献１には、基本表示部品を組み合せて複合表示部品を作成することで、階層的な部品化を実現することが開示されている。このように、部品化したＵＩ部品を組み合わせてさらに部品化する、すなわち階層的に複合表示部品を設計していく設計方法では、設計時に直感的で編集しやすいメリットがある。

その一方で、組み込み機器においては、メモリやＣＰＵなどのリソース使用をできるだけ低く抑える必要があり、ＵＩ部品作成時にもできるだけ作成するＵＩ部品のリソース使用量に気を配ることが重要である。しかしながら、上述の設計方法では、知らず知らずのうちにメモリを多く消費する複合表示部品を作成してしまうケースもある。例えばメモリ使用量の大きなＵＩ部品を多数利用して新たなＵＩ部品を作成していくと、階層を重ねるごとに、意図せずに膨大なメモリを消費する複合表示部品を構築してしまう可能性がある。

特許第３８８１１７９号公報

以上のような問題の対策として、画面内のＵＩ部品の画像（表示内容）を描画した画像データを予め用意しておき、画面内のＵＩ部品を、この画像データを表示する画像部品に置き換えること（以下この作業を「画像化」と呼ぶ）が提案されている。このような技術によれば、画面内のＵＩ部品や部品の階層を減らしたりすることができ、結果的にメモリ消費を減らすことができる。しかしながら、ＵＩ部品を画像化するとＵＩ部品の構造が失われるため、無秩序に画像化した場合には、ＵＩ部品の構造が大きく失われてしまうことがあり、後々直感的な編集ができなくなるというデメリットがある。

また、画像化の作業は煩雑であり、多くの工数を必要とするため、その作業を容易化することが求められている。さらに、一度画像化したものの、思ったようにメモリ削減効果が得られなかった場合には、上記のデメリットのために画像化を元に戻す（画像部品を元のＵＩ部品に置き換える）ことになるが、無秩序に画像化した場合にはさらに工数がかかるという問題がある。

また、現状においては、どのＵＩ部品を画像化すればメモリ削減効果が大きいのかが容易に推定することができない。このため、最適なメモリ削減効果を達成しようとする場合には、様々なＵＩ部品、あるいは、各ＵＩ部品における様々な階層において画像化した後にメモリ使用量計測したり、画像化する範囲を変更してメモリ使用量を計測したり、さらには画像化を元に戻すとともに別の部品を画像化して計測したりする必要がある。この結果、長いターンアラウンドタイムを費やしながら試行錯誤を行う必要があり、さらなる設計工数の増大の原因となっていた。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、容易にＵＩ部品を画像化することが可能な技術を提供することを目的とする。

本発明に係るユーザインタフェース設計装置は、設計対象装置のユーザインタフェースを、画像表示用のＵＩ部品を用いて設計するユーザインタフェース設計装置であって、前記ＵＩ部品として予め設計された基本表示部品を格納する基本表示部品格納部と、前記設計対象装置の複数の内部状態が割り当てられ、各前記内部状態に対して配置された前記ＵＩ部品を含んで構成される複合表示部品を格納する複合表示部品格納部とを備える。そして、前記ユーザインタフェース設計装置は、前記複合表示部品を作成及び編集する複合表示部品編集部と、前記複合表示部品編集部により指定された前記複合表示部品に基づいて、それに含まれる前記ＵＩ部品が前記内部状態ごとに画像化された新たな前記複合表示部品を画像複合表示部品として生成する画像複合表示部品生成部とを備える。

本発明によれば、任意の複合表示部品の中から複合表示部品編集部により指定された複合表示部品を、画像化することができる。これにより、任意の複合表示部品を画像複合表示部品に置き換える作業を容易化することができる。

実施の形態１に係るユーザインタフェース設計装置の構成を示すブロック図である。 複合表示部品の構成を示す図である。 ユーザインタフェース装置を実現するハードウェア構成の一例を示す図である。 複合表示部品を作成する手順の一例を示す図である。 実施の形態１に係る複合表示部品の階層構造の一例を示す図である。 実施の形態１に係る画像複合表示部品生成部の処理を示すフローチャートである。 実施の形態１に係る画像複合表示部品の階層構造の一例を示す図である。 実施の形態１に係る複合表示部品及び画像複合表示部品の一例を示す図である。 実施の形態２に係る画像複合表示部品生成部の処理を示すフローチャートである。 実施の形態２に係る複合表示部品及び画像複合表示部品の一例を示す図である。 実施の形態３に係るユーザインタフェース設計装置の構成を示すブロック図である。 実施の形態３に係る複合表示部品及び画像複合表示部品の一例を示す図である。 実施の形態３に係る複合表示部品及び画像複合表示部品の別の一例を示す図である。 実施の形態３に係る画像複合表示部品生成部の処理を示すフローチャートである。 実施の形態３に係る画像複合表示部品生成部の処理を示すフローチャートである。 実施の形態３に係る動的部品判定部の処理を示すフローチャートである。 実施の形態３に係る動的部品判定部の処理を示すフローチャートである。 実施の形態３に係る動的部品判定部の処理を示すフローチャートである。 実施の形態３に係る画像複合表示部品の階層構造の一例を示す図である。 実施の形態４に係るユーザインタフェース設計装置の構成を示すブロック図である。

＜実施の形態１＞
図１は本発明の実施の形態１に係るユーザインタフェース設計装置の構成を示すブロック図である。このユーザインタフェース設計装置は、設計対象装置のユーザインタフェースを、画像表示用のＵＩ部品を用いて設計する設計装置である。図１に示すユーザインタフェース設計装置は、基本表示部品格納部１０１及び複合表示部品格納部１０２を含むＵＩ部品格納部１０３と、表示属性設定部１０４ａを含む複合表示部品編集部１０４と、画像複合表示部品生成部１０５とを備えて構成されている。

基本表示部品格納部１０１は、設計対象装置のユーザインタフェースを構成するＵＩ部品として予め設計された基本表示部品を格納している。

複合表示部品格納部１０２は、図２に示されるような複合表示部品を格納している。この図２においては、２段階の部品化により複合表示部品が構成されている。具体的には、１段階目の部品化により、第２階層の複合表示部品が、それより下位の第３階層の基本表示部品を含んで構成されている。そして、２段階目の部品化により、第１階層の複合表示部品が、それより下位の第２階層の複合表示部品及び第３階層の基本表示部品を含んで構成されている。このように、複合表示部品は、単一または複数の基本表示部品を組み合せたＵＩ部品、あるいは、複合表示部品と基本表示部品とを組み合せたＵＩ部品である。

以上のような基本表示部品及び複合表示部品は、いずれも上述のＵＩ部品に相当している。そこで、以下の説明において基本表示部品及び複合表示部品を区別しない場合には、その総称としてＵＩ部品と呼ぶ。

ＵＩ部品格納部１０３は、ＵＩ部品（すなわち基本表示部品及び複合表示部品）を格納している。

複合表示部品編集部１０４は、複合表示部品を作成及び編集する。例えば、複合表示部品編集部１０４は、複合表示部品の属性値を編集する。本実施の形態では、複合表示部品編集部１０４が任意の複合表示部品を指定して所定の動作の開始を指示すると、画像複合表示部品生成部１０５には、複合表示部品編集部１０４が指定した複合表示部品が入力される。

画像複合表示部品生成部１０５は、複合表示部品編集部１０４により指定された複合表示部品に基づいて、それに含まれるＵＩ部品が所定のグループ単位で画像化された新たな複合表示部品を画像複合表示部品として生成する。なお、この画像複合表示部品生成部１０５の生成処理については後で詳細に説明する。画像複合表示部品生成部１０５は、この生成処理（画像複合表示部品生成処理）を、複合表示部品が入力されたときに開始する。

図３は、このユーザインタフェース装置を実現するハードウェア構成の一例を示す図であり、パーソナルコンピュータ（ＰＣ）４０１を用いた構成例である。ＵＩ部品格納部１０３（基本表示部品格納部１０１及び複合表示部品格納部１０２）は、ＲＡＭやハードディスクなどの記憶装置４０３の機能ブロックとして実現されている。複合表示部品編集部１０４、及び、画像複合表示部品生成部１０５は、ＣＰＵなどの処理装置４０２にてプログラムを実行することで実現される。

マウス４０５及びキーボード４０６といった入力装置によって、本ユーザインタフェース設計装置（複合表示部品編集部１０４）での作成及び編集作業が行われる。モニタ４０４といった表示装置によって、編集作業を行う画面（例えば後述の編集ウィンドウなど）が出力される。なお、入力装置及び表示装置としては、入力／表示のどちらも行えるタッチパネルなどであってもよい。

次に、図１に示したユーザインタフェース設計装置が複合表示部品を作成する流れについて詳細に説明する。まず、本設計装置の利用者である開発者は、基本表示部品を複合表示部品編集部１０４上に配置する。複合表示部品編集部１０４は、配置されたＵＩ部品の外枠を編集ウィンドウ上に表示する。ユーザは、ユーザが表示属性設定部１０４ａを操作することによって、表示されているＵＩ部品に対してその色やサイズといった表示属性を設定する。設定した属性値はモニタ４０４などの表示装置上での表示に反映されるため、開発者は、設定した属性値に対応したＵＩ部品の表示を見ながら編集することなどが可能である。このようにして単一または複数のＵＩ部品の配置及び属性値の設定が行われ、複合表示部品が作成される。

作成された複合表示部品は複合表示部品格納部１０２に格納される。すなわち、この一連の作成処理により、上述の部品化が行われる。以降、開発者は、部品化した複合表示部品を、上位の複合表示部品の作成に利用することが可能となり、複合表示部品編集部１０４上にて、基本表示部品及び複合表示部品の両方（すなわちＵＩ部品）を配置することにより、上位の階層の複合表示部品を作成する。このような階層的な部品化によって複合表示部品を作成していくことで、最終的に１画面のユーザインタフェースを作成する。なお、階層的な部品化のイメージは図２に示した通りである。

また、本実施の形態では、特許文献１に開示されている複合表示部品と同様に、複合表示部品には、設計対象装置の複数の内部状態が割り当てられており、複合表示部品は、各内部状態に対して配置されたＵＩ部品を含んで構成されている。そして、複合表示部品は、状態遷移（すなわちＵＩ部品から同階層の別のＵＩ部品への遷移）を伴うＵＩ部品として作成されている。

図４は、内部状態が割り当てられた複合表示部品を作成する手順の一例を示す図である。図４に示すように、複合表示部品編集部１０４は、設計対象装置の内部状態を配置し（図４（ａ））、各内部状態に対してＵＩ部品を配置し（図４（ｂ））、状態遷移を記述する（図４（ｃ））。なお、図４（ｃ）には、「停止中」を示す複合表示部品と、「再生中」を示す複合表示部品とが双方向に遷移可能となっている。そして、複合表示部品編集部１０４は、以上の工程を経て作成した複合表示部品を、複合表示部品格納部１０２に格納する（図４（ｄ））。

以上のように作成された複合表示部品において状態遷移が行われると、「停止中」という表示と「再生中」という表示との切り替えが行われる。なお、複合表示部品によって内部状態に配置されるＵＩ部品が異なるため、内部状態ごとにリソースの消費量も異なる。

図５は、複合表示部品Ｘの階層構造の一例を示す図である。複合表示部品に割り当てられた各内部状態に、基本表示部品、または、基本表示部品及び複合表示部品が配置されている。具体的には、複合表示部品Ｘは、複数の内部状態（ここではＬ個の状態１−１〜状態１−Ｌ）が割り当てられている。状態１−１には、基本表示部品Ａと複合表示部品Ｙとが子部品（下位の階層のＵＩ部品）として配置されている。状態１−２には、基本表示部品Ｂと基本表示部品Ｃとが子部品として配置されている。状態１−Ｌには、基本表示部品Ｄと複合表示部品Ｚとを子部品として配置されている。

また、複合表示部品Ｙは、複数の内部状態（ここではＭ個の状態２−１〜状態２−Ｍ）が割り当てられている。状態２−１には基本表示部品Ｅが、状態２−２には基本表示部品Ｆが、状態２−Ｍには複合表示部品Ｚと基本表示部品Ｇとが子部品として配置されている。また、複合表示部品Ｚは、複数の内部状態（ここではＮ個の状態３−１〜状態３−Ｎ）が割り当てられている。状態３−１には基本表示部品Ｈが、状態３−２には基本表示部品Ｉが、状態３−Ｎには基本表示部品Ｊと基本表示部品Ｋとが子部品として配置されている。このように、複合表示部品の中に複合表示部品を含めることで、階層的に定義された複合表示部品が実現されている。

図６は、本実施の形態に係る画像複合表示部品生成部１０５の画像複合表示部品生成処理を示すフローチャートである。この画像複合表示部品生成処理は、画像複合表示部品生成部１０５が、複合表示部品編集部１０４により指定された処理対象となる複合表示部品（以下「指定複合表示部品」と呼ぶ）を、複合表示部品編集部１０４から受け取った場合に開始される。以下、図６を用いて、画像複合表示部品生成部１０５の画像複合表示部品生成処理を詳細に説明する。

まず、ステップＳ１にて、画像複合表示部品生成部１０５は、指定複合表示部品に基づいて新たな複合表示部品を作成する。新たな画像複合表示部品は、属性値などは初期値のままであり、内部状態や子部品等を有していない。以下、このような新たな画像複合表示部品を、「新複合表示部品」と呼ぶ。

画像複合表示部品生成部１０５は、ステップＳ２〜Ｓ１１の処理を、指定複合表示部品に割り当てられている内部状態の数だけ行う。画像複合表示部品生成部１０５は、ステップＳ２を行うごとに、指定複合表示部品の内部状態の中から、ステップＳ２以降の処理を行っていない一つの内部状態を選択する。

ステップＳ３にて、画像複合表示部品生成部１０５は、ステップＳ２で選択した一つの内部状態を複製し（ただし、ここでは子部品は複製しない）、当該複製した一つの内部状態を新複合表示部品に追加する。以下、ステップＳ２で選択した一つの内部状態を「原状態」と呼ぶこともあり、ステップＳ３で新複合表示部品に追加される一つの内部状態を「新状態」と呼ぶこともある。

ステップＳ４にて、画像複合表示部品生成部１０５は、描画バッファを記憶装置４０３上に確保する。描画バッファとは、ステップＳ８にて描画を行うことにより得られる画像（表示内容）をデータとして保存する記憶領域である。ここでは、原状態の属性値が示す当該原状態の表示上の大きさ（幅及び高さ）に基づき、この大きさと同じ大きさの描画可能な領域が確保される。

ステップＳ５にて、画像複合表示部品生成部１０５は、確保した描画バッファの領域を初期化する。例えば、確保した描画バッファの領域を０のデータで埋め尽くす。

画像複合表示部品生成部１０５は、ステップＳ６〜Ｓ９の処理を、原状態に配置されている子部品の数だけ行う。画像複合表示部品生成部１０５は、ステップＳ６を行うごとに、原状態に配置されている子部品の中から、ステップＳ６以降の処理を行っていない一つの子部品を選択する。

ステップＳ７にて、画像複合表示部品生成部１０５は、ステップＳ６で選択した一つの子部品が複合表示部品か否かを判定する。複合表示部品でないと判定した場合（ここでは基本表示部品であると判定した場合）にはステップＳ８に進み、複合表示部品であると判定した場合にはステップＳ９に進む。

ステップＳ８にて、画像複合表示部品生成部１０５は、ステップＳ７で判定した基本表示部品を、上述の確保した描画バッファに描画（記憶）する。例えば、判定した基本表示部品が四角形の部品であった場合には、その部品が有する属性である、座標値、大きさ（幅及び高さ）、色、線の太さなどに基づいて、四角形を描画バッファに描画する。また、例えば、判定した基本表示部品が文字列部品であった場合には、その部品が有する属性である、座標値、大きさ、文字列などに基づいて、文字を描画バッファに描画する。その後ステップＳ９に進む。

ステップＳ９にて、画像複合表示部品生成部１０５は、原状態に配置されている子部品のうち、ステップＳ６以降の処理を実施していない子部品があるか否かを判定する。実施していない子部品があると判定した場合にはステップＳ６に戻り、実施していない子部品がないと判定した場合にはステップＳ１０に進む。以上の処理の結果、指定複合表示部品に含まれる、内部状態ごとの基本表示部品（ＵＩ部品）の画像を複合した画像が、描画バッファに生成される。

ステップＳ１０にて、画像複合表示部品生成部１０５は、新複合表示部品の新状態に、その子部品として基本部品の一つである画像部品を追加する。この画像部品は、任意の描画バッファを指すことが可能なポインタを属性値として有しており、当該ポインタが指す描画バッファの内容を画像として表示する機能を有する。ここでは、新状態に追加した画像部品の設定値（ポインタが指す先）を、上述の画像が生成された描画バッファに設定する。

ステップＳ１１にて、画像複合表示部品生成部１０５は、指定複合表示部品に割り当てられている内部状態のうち、ステップＳ２以降の処理を実施していない内部状態があるか否かを判定する。実施していない内部状態があると判定した場合にはステップＳ２に戻り、実施していない内部状態がないと判定した場合にはステップＳ１２に進む。

こうして、画像複合表示部品生成部１０５は、指定複合表示部品に基づいて、それに含まれる基本表示部品が内部状態ごとに画像化された新たな複合表示部品を画像複合表示部品として生成する。そして、本実施の形態では、画像複合表示部品生成部１０５により生成される画像複合表示部品は、指定複合表示部品の各内部状態に対して配置されたＵＩ部品が、当該ＵＩ部品の複合的な画像を表示する画像部品に置き換えられた複合表示部品となっている。

ステップＳ１２にて、画像複合表示部品生成部１０５は、生成した画像複合表示部品を複合表示部品格納部１０２に格納する。そして、図６に示した画像複合表示部品生成処理が終了する。

図７は、図５に示した複合表示部品Ｘが画像複合表示部品生成部１０５に入力された場合に、画像複合表示部品生成部１０５により生成され、複合表示部品格納部１０２に格納される画像複合表示部品の階層構造の一例を示す図である。図７に示すように、指定複合表示部品に含まれる基本表示部品を内部状態ごとに画像化した新たな複合表示部品が、画像複合表示部品として生成されている。図７に示す例では、画像複合表示部品は、その階層が複合表示部品よりも少なく、かつ、画像部品だけを子部品として含むものとなっている。

図８は、複合表示部品の１つの内部状態の表示（図８（ａ））と、それに基づいて生成された画像複合表示部品の１つの内部状態の表示（図８（ｂ））とについて、好適な例を示している。図８に示される太枠実線は、内部状態の境界を示している。また、図８においては、基本表示部品のままか、画像化されているかを見分け易くするために、基本表示部品は破線で示している。図８（ａ）に示される複合表示部品の１つの内部状態には、丸部品及び四角部品の二つの基本表示部品が配置されているが、図８（ｂ）に示される画像複合表示部品の１つの内部状態には、丸部品と四角形部品が複合的に描画されて得られた一つの画像（画像部品）だけが配置されている。

以上のような本実施の形態に係るユーザインタフェース設計装置によれば、任意の複合表示部品の中から複合表示部品編集部により指定された複合表示部品を、画像化することができる。これにより、任意の複合表示部品を画像複合表示部品に置き換える作業を容易化することができることから、メモリ消費量の比較、すなわちメモリ消費量削減の試行錯誤を、容易に実施できるようになる。なお、メモリ消費量の測定は、既存の手法（例えば、特開２００９−１５２８４７号公報に開示の手法）を用いて実現することが可能である。

また、本実施の形態によれば、指定複合表示部品に含まれるＵＩ部品が内部状態ごとに画像化された新たな複合表示部品を画像複合表示部品として生成することができる。このようにして生成される画像複合表示部品では、内部状態（階層）が完全に失われておらず、画像化が必要最小限に行われていることから、画像化を元に戻す作業を容易化することができるとともに、画像化を行った後でも直感的な編集を行うことができる。

＜実施の形態２＞
図９は、本発明の実施の形態２に係る画像複合表示部品生成部１０５の画像複合表示部品生成処理を示すフローチャートである。なお、本実施の形態に係るユーザインタフェース設計装置において、実施の形態１で説明した構成要素と同一または類似するものについては同じ符号を付し、異なる点を中心に説明する。

本実施の形態では、以下で詳細に説明するように、図９に示す画像複合表示部品生成処理を再帰的に行うことが可能となっている。すなわち画像複合表示部品生成部１０５は、指定複合表示部品に含まれる下位の階層の複合表示部品について、上述の画像化を再帰的に行うことが可能となっている。

なお、図９に示されるフローチャートでは、実施の形態１の図６に示したフローチャートにおいてステップＳ７及びＳ１０がステップＳ７ａ及びＳ１０ａに変更されているとともに、ステップＳ２１〜Ｓ２３が追加されている。そこで、以下においては、ステップＳＳ７ａ、Ｓ１０ａ及びＳ２１〜Ｓ２３についてのみ説明する。

ステップＳ７ａにて、画像複合表示部品生成部１０５は、ステップＳ６で選択した一つの子部品が複合表示部品か否かを判定する。複合表示部品でないと判定した場合（ここでは基本表示部品であると判定した場合）にはステップＳ８に進み、複合表示部品であると判定した場合にはステップＳ２１に進む。

ステップＳ２１にて、画像複合表示部品生成部１０５は、本ステップＳ２１を行う時点で画像部品に設定されていない描画バッファがある場合に、実施の形態１で説明したステップＳ１０と同様の処理を行う。すなわち、画像複合表示部品生成部１０５は、新複合表示部品の新状態に画像部品を追加し、当該画像部品の設定値（ポインタが指す先）を、上述の描画バッファに設定する。

その後、ステップＳ２２にて、画像複合表示部品生成部１０５は、現在処理中の複合表示部品（ステップＳ７ａで判定された複合表示部品）を入力として、本図９に示す画像複合表示部品作成処理（ステップＳ１〜Ｓ１２）を再帰的に行い、画像複合表示部品を生成する。

その後、ステップＳ２３にて、画像複合表示部品生成部１０５は、ステップＳ１で作成した新複合表示部品の新状態に、ステップＳ２１で生成された画像複合表示部品を追加する。この追加の際に、その座標値と大きさの値とに、現在処理中の複合表示部品（ステップＳ７ａで判定された複合表示部品）の座標値と大きさの値とを設定する。その後、ステップＳ９に進む。

その後ステップＳ９を経たステップＳ１０ａにて、画像複合表示部品生成部１０５は、本ステップＳ１０ａを行う時点で画像部品に設定されていない描画バッファがある場合に、実施の形態１で説明したステップＳ１０と同様の処理を行う。すなわち、画像複合表示部品生成部１０５は、新複合表示部品の新状態に画像部品を追加し、当該画像部品の設定値（ポインタが指す先）を、上述の描画バッファに設定する。

図１０は、図５に示した複合表示部品Ｘが画像複合表示部品生成部１０５に入力された場合に、本実施の形態に係る画像複合表示部品生成部１０５により生成され、複合表示部品格納部１０２に格納される画像複合表示部品の構造の一例を示す図である。

以上のように、本実施の形態に係るユーザインタフェース設計装置によれば、画像複合表示部品生成部１０５が生成する画像複合表示部品の構成を、入力された複合表示部品の構成に近づけることができる。すなわち、複合表示部品の階層構造がそのまま反映される画像複合表示部品を生成することができる。したがって、画像化が最小限に行われていることから、実施の形態１よりも、画像化を元に戻す作業を容易化することができるとともに、画像化を行った後でも直感的な編集を行うことができる。

＜実施の形態３＞
図１１は、本発明の実施の形態３に係るユーザインタフェース設計装置の構成を示すブロック図である。なお、本実施の形態に係るユーザインタフェース設計装置において、実施の形態１で説明した構成要素と同一または類似するものについては同じ符号を付し、異なる点を中心に説明する。

図１１に示されるように、本実施の形態に係るユーザインタフェース設計装置は、実施の形態１に係るユーザインタフェース設計装置に、動的なＵＩ部品であるか否かを判定する動的部品判定部１０６が追加されたものとなっている。そして、画像複合表示部品生成部１０５は、指定複合表示部品に含まれるＵＩ部品のうち、動的部品判定部１０６により動的なＵＩ部品であると判定されたＵＩ部品を除いて画像複合表示部品を生成する。

つまり、画像複合表示部品生成部１０５は、画像複合表示部品を生成する過程で、動的部品判定部１０６により動的な部品であると判定されれば、その部品は画像化しないように構成されている。これにより、実行時に画像化前と同じ動作をする画像複合表示部品を得ることができる。

図１２は、実行時に内容が変更されうる動的な基本表示部品（文字列部品）と、静的な基本表示部品（三角部品及び丸部品）とを含む複合表示部品の１つの内部状態の表示（図１２（ａ））と、それに基づいて生成された画像複合表示部品の１つの内部状態の表示（図１２（ｂ））とについて、好適な例を示している。なお、この図１２においては、丸部品の上に文字列部品が重ねられている。

図１２（ｂ）に示す画像複合表示部品の１つの内部状態の表示においては、静的な基本表示部品（ここでは三角部品及び丸部品）は画像化されているが、動的な基本表示部品（ここでは文字列部品）は画像化の対象とならず、そのまま残されている。これは、実行時に内容が変更されうる動的なＵＩ部品は、実行するまでは正しい描画結果を得られないからである。

図１３は、実行時に内容が変更されうる動的な基本表示部品（文字列部品）と、静的な基本表示部品（三角部品及び丸部品）とを含む複合表示部品の１つの内部状態の表示（図１３（ａ））と、それに基づいて生成された画像複合表示部品の１つの内部状態の表示（図１３（ｂ））とについて、別の好適な例を示している。なお、この図１３においては、三角部品の上に文字列部品が重ねられ、かつ、文字列部品の上に丸部品が重ねられている。

図１３（ｂ）に示す画像複合表示部品の１つの内部状態の表示においては、動的な基本表示部品（ここでは文字列部品）だけでなく、動的な基本表示部品の上に重なっている静的な基本表示部品も画像化の対象とならず、そのまま残されている。これは、画面の奥の方から手前方向に向けてＵＩ部品を描画していく方式（いわゆるペインター方式）で描画を行う場合には、動的なＵＩ部品の上に重なる静的なＵＩ部品は、下側の動的なＵＩ部品の内容が更新されるごとに上側の静的なＵＩ部品も描画しなおさなければならないため、これらＵＩ部品は、実行するまでは正しい描画結果を得られないからである。そこで、本実施の形態では、動的なＵＩ部品の上に重なる静的なＵＩ部品も、動的な部品と同様に取り扱う。

図１４は、本実施の形態に係る画像複合表示部品生成部１０５の画像複合表示部品生成処理を示すフローチャートである。図１４に示されるフローチャートでは、実施の形態１の図６に示したフローチャートにおいてステップＳ７及びＳ１０がステップＳ７ｂ及びＳ１０ｂに変更されているとともに、ステップＳ３１〜Ｓ３８が追加されている。そこで、以下においては、ステップＳＳ７ｂ、Ｓ１０ｂ及びＳ３１〜Ｓ３８についてのみ説明する。

ステップＳ２の後、ステップＳ３１にて、画像複合表示部品生成部１０５は、原状態に配置された子部品について、Ｚインデックスの値が小さい順になるように並べたリストを、子部品リストとして作成する。Ｚインデックスとは、子部品の奥行きの度合いを示す属性であり、この値が大きい子部品は、小さい子部品よりも上に描画されることを示す。

ステップＳ３２にて、画像複合表示部品生成部１０５は、子部品リストを入力として、動的部品判定部１０６に動的部品判定処理を実行させる。この動的部品判定処理については、後で別のフローチャートを用いて詳細に説明する。画像複合表示部品生成部１０５は、動的部品判定処理の結果として動的部品判定部１０６から返却される、静的な子部品（静的部品）が格納された静的部品リストと、動的な子部品（動的部品）が格納された動的部品リストとを取得し、これらを記憶する。その後、ステップＳ３〜Ｓ５の処理が行われる。

それから、画像複合表示部品生成部１０５は、ステップＳ３３〜Ｓ３５の処理を、静的部品リストに格納された静的部品の数だけ行う。画像複合表示部品生成部１０５は、ステップＳ３３を行うごとに、静的部品リストに格納されている静的部品の中から、ステップＳ３３以降の処理を行っていない一つの静的部品を選択する。

ステップＳ３３の後、ステップＳ７ｂにて、画像複合表示部品生成部１０５は、ステップＳ３３で選択した一つの静的部品が複合表示部品か否かを判定する。複合表示部品でないと判定した場合（ここでは基本表示部品であると判定した場合）にはステップＳ８に進み、複合表示部品であると判定した場合にはステップＳ３４に進む。

ステップＳ３４にて、画像複合表示部品生成部１０５は、ステップＳ３３で選択した一つの静的部品を入力として、静的複合表示部品描画処理を実行する。この静的複合表示部品描画処理については、後で別のフローチャートを用いて詳細に説明する。

ステップＳ８またはＳ３４の後、ステップＳ３５にて、画像複合表示部品生成部１０５は、静的部品リストに格納されている静的部品のうち、ステップＳ３３以降の処理を実施していない静的部品があるか否かを判定する。実施していない静的部品があると判定した場合にはステップＳ３３に戻り、実施していない静的部品がないと判定した場合にはステップＳ１０ｂに進む。

ステップＳ１０ｂにて、画像複合表示部品生成部１０５は、画像部品に設定されていない描画バッファがある場合に、実施の形態１で説明したステップＳ１０と同様の処理を行う。すなわち、画像複合表示部品生成部１０５は、ステップＳ１で作成した新複合表示部品の新状態に画像部品を追加し、当該画像部品の設定値（ポインタが指す先）を、上述の描画バッファに設定する。

その後、画像複合表示部品生成部１０５は、ステップＳ３６〜Ｓ３８の処理を、動的部品リストに格納された動的部品の数だけ行う。画像複合表示部品生成部１０５は、ステップＳ３６を行うごとに、動的部品リストに格納されている動的部品の中から、ステップＳ３６以降の処理を行っていない一つの動的部品を選択する。

ステップＳ３６の後、ステップＳ３７にて、画像複合表示部品生成部１０５は、ステップＳ１で作成した新複合表示部品の新状態に、ステップＳ３６で選択した一つの動的部品を追加する。

ステップＳ３８にて、画像複合表示部品生成部１０５は、動的部品リストに格納されている動的部品のうち、ステップＳ３７の処理を実施していない動的部品があるか否かを判定する。実施していない動的部品があると判定した場合にはステップＳ３６に戻り、実施していない動的部品がないと判定した場合にはステップＳ１１に進む。ステップＳ１１の後、ステップＳ１２の処理が行われ、図１４に示した画像複合表示部品生成処理が終了する。

図１５は、ステップＳ３４にて画像複合表示部品生成部１０５により行われる静的複合表示部品描画処理を示すフローチャートである。以下、図１５を用いて、静的複合表示部品描画処理について詳細に説明する。

まず、ステップＳ４１にて、画像複合表示部品生成部１０５は、ステップＳ７ｂで複合表示部品であると判定された静的部品から、初期状態（デフォルトの内部状態）を取り出す。

画像複合表示部品生成部１０５は、ステップＳ４２〜Ｓ４３の処理を、初期状態に配置されている子部品の数だけ行う。画像複合表示部品生成部１０５は、ステップＳ４２を行うごとに、初期状態に配置されている子部品の中から、ステップＳ４２以降の処理を行っていない一つの子部品を選択する。

ステップＳ４２の後、ステップＳ７ｃにて、画像複合表示部品生成部１０５は、ステップＳ４２で選択した一つの子部品が複合表示部品か否かを判定する。複合表示部品でないと判定した場合（ここでは基本表示部品であると判定した場合）にはステップＳ８ａに進み、複合表示部品であると判定した場合にはステップＳ３４ａに進む。

ステップＳ８ａにて、画像複合表示部品生成部１０５は、ステップＳ７ｃで判定した基本表示部品を、上述の確保した描画バッファに描画（記憶）する。その後、ステップＳ４３に進む。

ステップＳ３４ａにて、画像複合表示部品生成部１０５は、現在処理中の子部品（ステップＳ７ｃで判定された複合表示部品）を入力として、本図１５に示す静的複合表示部品描画処理（ステップＳ４１〜Ｓ４３）を再帰的に行い、静的な画像複合表示部品を生成する。その後、ステップＳ４３に進む。

ステップＳ４３にて、画像複合表示部品生成部１０５は、初期状態に配置されている子部品のうち、ステップＳ４２以降の処理を実施していない子部品があるか否かを判定する。実施していない子部品があると判定した場合にはステップＳ４２に戻り、実施していない子部品がないと判定した場合には、図１５に示した示す静的複合表示部品描画処理が終了する。

図１６は、ステップＳ３２にて動的部品判定部１０６により行われる動的部品判定処理を示すフローチャートである。以下、図１６を用いて、動的部品判定処理について詳細に説明する。まず、ステップＳ５１を行う前に、動的部品判定部１０６は、入力として与えられた子部品リストを記憶する。

そして、ステップＳ５１にて、動的部品判定部１０６は、本処理の最終結果として画像複合表示部品生成部１０５に返却する動的部品リストを作成する。この段階では、リストの内容は空である。

ステップＳ５２にて、動的部品判定部１０６は、本処理の最終結果として画像複合表示部品生成部１０５に返却する静的部品リストを作成する。この段階では、リストの内容は空である。

動的部品判定部１０６は、ステップＳ５３〜Ｓ６０の処理を、子部品リストに格納された子部品の数だけ行う。動的部品判定部１０６は、ステップＳ５３を行うごとに、子部品リストに格納されている子部品の中から、ステップＳ５３以降の処理を行っていない一つの子部品を選択する。

ステップＳ５３の後、ステップＳ５４にて、動的部品判定部１０６は、ステップＳ５３で選択した一つの子部品を入力として部品判定処理を起動する。この部品判定処理では、当該子部品が動的部品である場合にＴＲＵＥが、静的部品である場合にＦＡＬＳＥが返却され、動的部品判定部１０６はその部品判定処理の返却値を記憶する。なお、この部品判定処理については、後で別のフローチャートを用いて詳細に説明する。

ステップＳ５５にて、動的部品判定部１０６は、ステップＳ５４での部品判定処理の返却値がＴＲＵＥであるか否かを判定する。ＴＲＵＥと判定した場合にはステップＳ５６に進み、ＴＲＵＥと判定しなかった（ＦＡＬＳＥと判定した）場合にはステップＳ５７に進む。

ステップＳ５６にて、動的部品判定部１０６は、現在処理中の子部品（ステップＳ５４の部品判定処理にて動的部品と判定された子部品）を、動的部品リストに追加する。その後、ステップＳ６０に進む。

ステップＳ５７にて、動的部品判定部１０６は、現在処理中の子部品（ステップＳ５４の部品判定処理にて静的部品と判定された子部品）が、動的部品リストに格納されている動的部品の上に重なっているか否かを、互いの座標時・大きさに基づいて判定する。重なっていると判定した場合にはステップＳ５８に進み、重なっていないと判定した場合にはステップＳ５９に進む。

ステップＳ５８にて、動的部品判定部１０６は、現在処理中の子部品（ステップＳ５４の部品判定処理にて静的部品と判定された子部品）を、動的部品リストに追加する。その後、ステップＳ６０に進む。

ステップＳ５９にて、動的部品判定部１０６は、現在処理中の子部品（ステップＳ５４の部品判定処理にて静的部品と判定された子部品）を、静的部品リストに追加する。その後、ステップＳ６０に進む。

ステップＳ６０にて、動的部品判定部１０６は、子部品リストに格納されている子部品のうち、ステップＳ５３以降の処理を実施していない子部品があるか否かを判定する。実施していない子部品があると判定した場合にはステップＳ５３に戻り、実施していない子部品がないと判定した場合には、動的部品リスト及び静的部品リストを返却して、図１６に示した動的部品判定処理が終了する。

図１７は、ステップＳ５４等にて動的部品判定部１０６により行われる部品判定処理を示すフローチャートである。以下、図１７を用いて、部品判定処理について詳細に説明する。まず、ステップＳ６１を行う前に、動的部品判定部１０６は、入力として与えられた子部品を記憶する。

そして、ステップＳ６１にて、動的部品判定部１０６は、入力として与えられた子部品が複合表示部品であるか否かを判定する。複合表示部品であると判定した場合にはステップＳ６２に進み、複合表示部品でないと判定した場合にはステップＳ６５に進む。

ステップＳ６２にて、動的部品判定部１０６は、処理中の子部品（ステップＳ６１で複合表示部品であると判定された子部品）を入力として複合表示部品動的判定処理を起動する。この複合表示部品動的判定処理では、当該子部品が動的部品である場合にＴＲＵＥが、静的部品である場合にＦＡＬＳＥが返却される。なお、この複合表示部品動的判定処理については、後で別のフローチャートを用いて詳細に説明する。

ステップＳ６３にて、動的部品判定部１０６は、ステップＳ６２での複合表示部品動的判定処理の返却値がＴＲＵＥであるか否かを判定する。ＴＲＵＥと判定した場合にはステップＳ６４に進み、ＴＲＵＥと判定しなかった（ＦＡＬＳＥと判定した）場合にはステップＳ６５に進む。

ステップＳ６４にて、動的部品判定部１０６は、本処理の返却値としてＴＲＵＥを返却して、図１７に示した部品判定処理が終了する。

ステップＳ６５にて、動的部品判定部１０６は、現在処理中の子部品（ステップＳ６１の判定が行われた子部品）のプロパティの値が実行時に変更される可能性があるか否かを判定する。具体的には、イベントハンドラの中で、この子部品のプロパティに対して設定処理が行われているか否かを検査する。変更される可能性があると判定した場合にはステップＳ６６に進み、変更される可能性がないと判定した場合にはステップＳ６７に進む。

ステップＳ６６にて、動的部品判定部１０６は、本処理の返却値としてＴＲＵＥを返却して、図１７に示した部品判定処理が終了する。

ステップＳ６７にて、動的部品判定部１０６は、本処理の返却値としてＦＡＬＳＥを返却して、図１７に示した部品判定処理が終了する。

図１８は、ステップＳ６２にて動的部品判定部１０６により行われる複合表示部品動的判定処理を示すフローチャートである。以下、図１８を用いて、複合表示部品動的判定処理について詳細に説明する。まず、ステップＳ７１を行う前に、動的部品判定部１０６は、入力として与えられた子部品を記憶する。

そして、ステップＳ７１にて、動的部品判定部１０６は、入力として与えられた子部品（複合表示部品）に、複数の内部状態が割り当てられ、且つ、その内部状態間に遷移が定義されているか否かを判定する。定義されていると判定した場合には、状態遷移する可能性があるため、判定した子部品は動的に表現が変化する部品、すなわち動的部品であると解釈し、ステップＳ７２に進む。定義されていると判定しなかった場合にはステップＳ７３に進む。

ステップＳ７２にて、動的部品判定部１０６は、本処理の返却値としてＴＲＵＥを返却して、図１８に示した複合表示部品動的判定処理が終了する。

ステップＳ７３にて、動的部品判定部１０６は、入力として与えられた子部品から初期状態を取り出し、その初期状態に配置された子部品のリストを、下位子部品リストとして作成する。

動的部品判定部１０６は、ステップＳ７４〜Ｓ７８の処理を、ステップＳ７６からステップＳ７７に進まない限り、下位子部品リストに格納された子部品の数だけ行う。動的部品判定部１０６は、ステップＳ７４を行うごとに、下位子部品リストに格納されている子部品の中から、ステップＳ７４以降の処理を行っていない一つの子部品を選択する。

ステップＳ７４の後、ステップＳ７５にて、動的部品判定部１０６は、現在処理中の子部品（ステップＳ７４で選択した一つの子部品）を入力として、図１７を用いて説明した部品判定処理を再帰的に行う。

ステップＳ７６にて、動的部品判定部１０６は、動的部品判定部１０６は、ステップＳ７５での部品判定処理の返却値がＴＲＵＥであるか否かを判定する。ＴＲＵＥと判定した場合にはステップＳ７７に進み、ＴＲＵＥと判定しなかった（ＦＡＬＳＥと判定した）場合にはステップＳ７８に進む。

ステップＳ７７にて、動的部品判定部１０６は、本処理の返却値としてＴＲＵＥを返却して、図１８に示した複合表示部品動的判定処理が終了する。

ステップＳ７８にて、動的部品判定部１０６は、下位子部品リストに格納されている子部品のうち、ステップＳ７４以降の処理を実施していない子部品があるか否かを判定する。実施していない子部品があると判定した場合にはステップＳ７４に戻り、実施していない子部品がないと判定した場合にはステップＳ７９に進む。

ステップＳ７９にて、動的部品判定部１０６は、本処理の返却値としてＦＡＬＳＥを返却して、図１８に示した複合表示部品動的判定処理が終了する。

図１９は、図５に示した複合表示部品Ｘが画像複合表示部品生成部１０５に入力された場合に、本実施の形態に係る画像複合表示部品生成部１０５により生成され、複合表示部品格納部１０２に格納される画像複合表示部品の構造の一例を示す図である。この図１９において、基本表示部品Ｊは動的なＵＩ部品であり、この基本表示部品Ｊ以外はＵＩ部品が画像化されている。

以上のような本実施の形態に係るユーザインタフェース設計装置によれば、実行時に、指定複合表示部品と同様の動的な変更が可能な画像複合表示部品を得ることができる。したがって、生成した画像複合表示部品を実行時にそのまま使用して動的させながら、メモリ使用量の測定が可能になる。よって、メモリ削減効果の確認をさらに容易に実施することができる。

＜実施の形態４＞
図２０は、本発明の実施の形態４に係るユーザインタフェース設計装置の構成を示すブロック図である。なお、本実施の形態に係るユーザインタフェース設計装置において、実施の形態１で説明した構成要素と同一または類似するものについては同じ符号を付し、異なる点を中心に説明する。

さて、ユーザインタフェース設計装置で設計したユーザインタフェースを実行する装置の事情や、ユーザインタフェースの仕様によっては、画像化の処理に制約を課すことが適切な場合がある。

例えば、アニメーションＧＩＦデータを表示するＵＩ部品は、時間とともにその表示内容が変わる可能性がある。このようなＵＩ部品は、動的部品として取り扱った方が適切である。また、例えば、属性値によらず表示内容が変わらない特定のＵＩ部品があれば、画像化を強制した方が、画像複合表示部品生成部１０５での処理が短縮されて短時間で画像複合表示部品を生成できるため、より適切であると考えられる。そこで、本実施の形態に係るユーザインタフェース設計装置では、画像化の処理に制約を課すことが可能となっている。

このような動作が可能な本実施の形態に係るユーザインタフェース設計装置は、図２０に示されるように、実施の形態３に係るユーザインタフェース設計装置に、所定の判定条件を記憶する判定条件定義格納部１０７が追加されたものとなっている。そして、画像複合表示部品生成部１０５は、所定の判定条件に基づいて、指定複合表示部品を構成する各ＵＩ部品について画像化するか否かを判定し、画像化すると判定したＵＩ部品（所定の判定条件に応じたＵＩ部品）を用いて画像複合表示部品を生成する。なお、本実施の形態においても、実施の形態３と同様に、動的部品の上に重なる静的部品も、動的部品として扱う。

判定条件定義格納部１０７は、例えば、記憶装置４０３（図３）の機能ブロックとして実現される。そして、判定条件定義格納部１０７に記憶されている所定の判定条件は、例えば、テキストファイルとして保存されており、キーボード４０６やマウス４０５（図３）などの入力装置により、編集することが可能となっている。判定条件定義格納部１０７に記憶される所定の判定条件は、ルールベースの定義でもよく、例えば、次のような定義が可能である。

各行左から、属性（FALSE,TRUE,DYNAMICなど）、部品の型、部品の名前の順に並んでいる。一段目の行の最初の項に記載されているFALSEは、画像化の対象としないことを示す。すなわち、一段目の行には、"Title"と名前がついたTextBox部品は、画像化の対象とすることが示されている。二段目の行の最初の項に記載されているTRUEは、画像化の対象とすることを示す。すなわち、二段目の行には、TextBox部品は、全て（どのような名前であっても）画像化の対象としないことが示されている。三段目の行の最初の項に記載されているDYNAMICは、動的部品として扱うことを示す。すなわち、三段目の行には、ImageBox部品は、全て動的部品として扱うことが示されている。

上述の例の複数のルールは、行の段数が小さいほど優先的に適用される。したがって、上述の例では、"Title"と名前がついたTextBox部品は画像化の対象とするが、それ以外のTextBox部品は画像化の対象としない、ということが示されている。

画像複合表示部品生成部１０５は、複合表示部品編集部１０４から実行が指示されると、まず判定条件定義格納部１０７から上述のような所定の判定条件を読み込む。そして、画像複合表示部品生成部１０５は、読み込んだ所定の判定条件に基づいて、指定複合表示部品を構成する各ＵＩ部品について画像化するか否かを判定し、所定の判定条件に基づきＵＩ部品を用いて画像複合表示部品を生成する。

以上のような本実施の形態に係るユーザインタフェース設計装置によれば、ユーザインタフェース設計装置で設計したユーザインタフェースを実行する装置の事情や、ユーザインタフェースの仕様に応じた画像化の制御ができるようになり、より実態に近いメモリ使用量測定が可能になる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

１０１ 基本表示部品格納部、１０２ 複合表示部品格納部、１０４ 複合表示部品編集部、１０５ 画像複合表示部品生成部、１０６ 動的部品判定部、１０７ 判定条件定義格納部。

Claims (5)

1. 設計対象装置のユーザインタフェースを、画像表示用のＵＩ部品を用いて設計するユーザインタフェース設計装置であって、
   前記ＵＩ部品として予め設計された基本表示部品を格納する基本表示部品格納部と、
   前記設計対象装置の複数の内部状態が割り当てられ、各前記内部状態に対して配置された前記ＵＩ部品を含んで構成される複合表示部品を格納する複合表示部品格納部と、
   前記複合表示部品を作成及び編集する複合表示部品編集部と、
   前記複合表示部品編集部により指定された前記複合表示部品に基づいて、それに含まれる前記ＵＩ部品が前記内部状態ごとに画像化された新たな前記複合表示部品を画像複合表示部品として生成する画像複合表示部品生成部と
   を備える、ユーザインタフェース設計装置。
2. 請求項１に記載のユーザインタフェース設計装置であって、
   前記画像複合表示部品生成部により生成される前記画像複合表示部品は、
   前記指定された前記複合表示部品の各前記内部状態に対して配置された前記ＵＩ部品が、当該ＵＩ部品の画像を表示する画像部品に置き換えられた前記複合表示部品である、ユーザインタフェース設計装置。
3. 請求項１または請求項２に記載のユーザインタフェース設計装置であって、
   前記複合表示部品は、
   下位の階層の前記複合表示部品を含んで構成され、
   前記画像複合表示部品生成部は、
   前記指定された前記複合表示部品に含まれる前記下位の階層の複合表示部品について、前記画像化を再帰的に行う、ユーザインタフェース設計装置。
4. 請求項１乃至請求項３のいずれかに記載のユーザインタフェース設計装置であって、
   動的なＵＩ部品を判定する動的部品判定部をさらに備え、
   前記画像複合表示部品生成部は、
   前記指定された前記複合表示部品に含まれる前記ＵＩ部品のうち、前記動的部品判定部により前記動的なＵＩ部品であると判定されたＵＩ部品を除いて前記画像複合表示部品を生成する、ユーザインタフェース設計装置。
5. 請求項１乃至請求項３のいずれかに記載のユーザインタフェース設計装置であって、
   所定の判定条件を記憶する判定条件定義格納部をさらに備え、
   前記画像複合表示部品生成部は、
   前記指定された前記複合表示部品を構成する前記ＵＩ部品のうち、前記所定の判定条件に応じたＵＩ部品を用いて前記画像複合表示部品を生成する、ユーザインタフェース設計装置。

Images