JP6569415B2 - 表示入力装置、画像形成装置及び電子機器と表示制御方法並びにプログラム - Google Patents

Description

この発明は、表示入力装置とそれを備えた画像形成装置及び電子機器と、表示制御方法並びにプログラムに関する。

コンピュータ（ＰＣ、携帯端末、タブレット端末等を含む）等の情報処理装置をはじめ、マイクロコンピュータを内蔵した各種の電子機器には、人間（ユーザ）との間で情報のやり取りをするためのユーザインタフェース（ＵＩと略称される）が必要である。
近年はそのＵＩとして、グラフィカルユーザインタフェース（ＧＵＩと略称される）が多用されている。それは、表示パネルの画面上に表示されるアイコンやボタン、画像等のＵＩ部品（パーツ）を、ユーザがポインティングデバイスやタッチパネルによって指示して情報を入力する。このようなユーザインタフェース装置を、この明細書では「表示入力装置」と称する。

このような表示入力装置において、ＵＩ部品を表示する表示パネルの画面サイズや解像度が変わった場合、それに応じてＵＩ部品のサイズを変倍したり、表示するＵＩ部品の数を増減する技術が既に知られている。
例えば、特許文献１には、解像度（画面の横×縦の画素数）に合わせて、ＵＩ部品のサイズを変倍する技術が開示されている。また、特許文献２には、ＵＩ部品（ランチャー領域のアイコン）の表示数を、ＵＩ部品表示領域の大きさに合わせて増減する技術が開示されている。

しかしながら、アプリケーション画面上のＵＩ部品の中には、画面サイズに応じて変倍した方がよいものと、数を増減した方がよいものがある。例えば、プレビュー画像などはサイズに応じて変倍させた方がよい。また、トレイ１選択、トレイ２選択、・・・のボタン等のように、同じカテゴリのＵＩ部品が複数存在する場合は、画面サイズに応じて数を増減させた方がよい。
そのため、このようなＵＩ部品が混在するＵＩ画面では、上述したような従来技術を組み合わせて使う必要がある。
しかし、同一のアプリケーション画面内でＵＩ部品の「変倍」と「数の増減」を混在して行うと、画面のレイアウト全体が崩れてしまうことがあるという問題があった。

この発明は上記の問題を解決するためになされたものであり、表示入力装置の画面サイズや画面解像度が変わった際に、画面全体のレイアウトは崩さずに、各ＵＩ部品をその種類に適した状態で変倍または数を増減して表示できるようにすることを目的とする。

この発明は、表示パネルの画面にアプリケーション機能に応じた複数のＵＩ部品を表示する表示入力装置であって、上記の目的を達成するため、上記表示パネルの画面サイズ又は画面解像度の情報を含むスペック情報を管理するスペック情報管理部と、上記アプリケーション機能に応じた複数のＵＩ部品の情報を管理するＵＩ部品管理部と、上記複数のＵＩ部品をどのように配置するかのレイアウト情報を管理するレイアウト情報管理部と、上記スペック情報による表示パネルの画面サイズ又は画面解像度の情報と、上記レイアウト情報と、上記複数のＵＩ部品の属性情報とに基づいて、上記複数のＵＩ部品に対し、その属性がサイズを変更した方がよい変倍型と数を増減した方がよい数増減型の各グループに分け、その各グループごとの表示領域をそれぞれ変倍型表示領域と数増減型表示領域と規定し、上記表示パネルの画面サイズ又は画面解像度が変わった場合に、その変更後の画面サイズ又は画面解像度に応じて上記各グループごとの表示領域を変倍し、その変倍後の上記変倍型表示領域内では、そこに表示するグループのＵＩ部品のサイズを該表示領域内一杯に変倍し、変倍後の上記数増減型表示領域内では、そこに表示するグループのＵＩ部品の数を該表示領域内に入るだけ増減するＵＩ表示制御部とを備えたことを特徴とする。

この発明によれば、表示入力装置の画面サイズや画面解像度が変わった際に、画面全体のレイアウトは崩さずに、各ＵＩ部品をその種類に適した状態で変倍または数を増減して表示することができる。

この発明による表示入力装置の第１の実施形態における画面サイズが拡大した場合のＵＩ部品の表示例を説明するための図である。 この発明による表示入力装置の一実施形態である操作部を備えた画像形成装置のハードウェア構成例を示すブロック図である。 その画像形成装置のソフトウェア構成例を示す模式図である。 図２及び図３に示した操作部のこの発明の第１の実施形態に係る機能構成を示すブロック図である。 その操作部の操作パネルにおける表示画面のレイアウトの一例を示す図である。 図５に示したレイアウトの場合のレイアウト情報の例を示す図である。 操作部の操作パネルにおける表示画面のレイアウトの他の例を示す図である。 図７に示したレイアウトの場合のレイアウト情報の例を示す図である。 図７に示した表示画面におけるＵＩ部品情報の例を示す図である。 この第１の実施形態による表示入力装置による表示パネルの画面サイズに応じたＵＩ部品表示処理の流れを示すフローチャートである。 各表示領域をベース領域のサイズに合わせて変倍する処理を説明するための図である。 拡大した表示領域１３内一杯に画像部品であるＵＩ部品１３Ｐを変倍する処理を説明するための図である。 図１２に示す表示領域１２に関するレイアウト情報の例を示す図である。 図１２に示す表示領域１２に表示するＵＩ部品情報の例を示す図である。 変倍後の表示領域１２，１３内にＵＩ部品１２Ｐ，１３Ｐを表示した状態を示す表示画面の図である。 ＵＩ部品の左右を表示領域の端に合わせて各ＵＩ部品を等間隔に整列させる処理を説明するための図である。 ＵＩ部品の上下を表示領域の端に合わせて各ＵＩ部品を等間隔に整列させる処理を説明するための図である。 画面サイズが小さくなった場合の例外処理その１を説明するための図である。 画面サイズが小さくなった場合の例外処理その２を説明するための図である。 例外処理をユーザに選択させる例を説明するための図である。 この発明による表示入力装置の第２の実施形態で解決しようとする課題を説明するための説明図である。 この発明の第２の実施形態に係る機能構成を示す図４と同様なブロック図である。 図２２のハード部品情報管理部２２５が管理するハード部品情報の一例を示す図である。 ハード部品情報を確定させるための画面表示の変化の一例を示す図である。 ハード部品情報を確定させるための画面表示の変化の他の例を示す図である。 この発明の第２の実施形態による表示入力装置によって追加する処理の流れを示すフローチャートである。 表示画面のレイアウトの一例を示す図である。 その表示画面のレイアウト情報の例を示す図である。 そのレイアウト情報を可視化して示す図である。 表示されるＵＩ部品に関する情報であるＵＩ部品情報の例を示す図である。 ハード部品情報の例を示す図である。

以下、この発明を実施するための形態を図面に基づいて具体的に説明する。
図１は、この発明による表示入力装置の第１の実施形態における画面サイズ（パネルサイズ）が拡大した場合のＵＩ部品の表示例を説明するための図である。
この発明では、ＧＵＩである表示入力装置の表示パネルの画面に表示する各種のＵＩ部品を、スペック情報による表示パネルの画面サイズ又は画面解像度の情報と、レイアウト情報と、複数のＵＩ部品の情報とに基づいて、複数のＵＩ部品に対し各グループ分けした表示領域を規定しておく。そして、表示パネルの画面サイズ又は画面解像度が変わった場合に、その変更後の画面サイズ又は画面解像度に応じて各グループごとの表示領域を変倍する。その変倍後の各表示領域内で、各グループごとに表示するＵＩ部品のサイズの変倍又は数の増減を行う。

なお、この明細書中で「画面解像度」とは、ドットマトリクス型のディスプレイ上で、平面的に展開する画素（ピクセルあるいはドット）の総数であり、横と縦の画素数の積で、例えば、６４０×４８０、１０２４×６００、１２８０×８００のように表わされる。
横と縦の画素数の比をアスペクト比と云う。同じ画面サイズであれば、画面解像度が高い（大きい）ほど、精細度の高い表示が可能になる。また、表示の精細度が同じであれば、画面解像度が高い（大きい）ほど画面サイズが大きくなり、画面解像度と画面サイズとが対応する。この明細書中では、このように画面解像度と画面サイズとが対応することを想定している。

図１に示す実施形態では、（Ａ）が基本サイズで、表示パネルの画面全体であるベース領域１０に表示するＵＩ部品を１個の画像部品Ｉｍのグループと、大きさが異なる４個ずつのボタン部品Ｂｔ１，Ｂｔ２の２つのグループにグルーピングしている。
そして、グルーピングした１個の画像部品Ｉｍを含む表示領域を表示領域種別ａとし、４個のボタン部品Ｂｔ１含む各表示領域と、それと大きさが異なるボタン部品Ｂｔ２を含む表示領域をいずれも表示領域種別ｂとしている。図１では、各表示領域種別ａ，ｂの表示領域を破線で囲んで示している。

表示領域種別ａに表示する画像部品Ｉｍは、画面サイズが変わったときに変倍した方がよいＵＩ部品であり、表示領域種別ｂに表示する各ボタン部品Ｂｔ１，Ｂｔ２は、画面サイズが変わったときに数を増減させた方がよいＵＩ部品である。したがって、同じ表示領域種別の領域内に表示されるＵＩ部品は同じ属性を持つものである。また、同じ表示領域種別の領域内に複数のＵＩ部品が表示される場合は、それらの各ＵＩ部品が隣接して配置される。

その基本サイズ（例えば、画面解像度６４０×４８０）のベース領域１０が、図１の（Ｂ）に示す拡大サイズ（例えば、画面解像度１０２４×６００）のベース領域１０′のように大きくなると、まず各表示領域種別ａ，ｂごとの表示領域を拡大（変倍）する。
その後、（Ｃ）に示すように、表示領域種別ａの表示領域に表示されている画像部品Ｉｍをその拡大後の表示領域の大きさに応じて拡大（変倍）する。
次に、（Ｄ）に示すように表示領域種別ｂの各表示領域に表示されているボタン部品Ｂｔ１，Ｂｔ２の数を、その拡大後の各表示領域の大きさに応じて増加する。この例では、ボタン部品Ｂｔ１は４個から１４個に、ボタン部品Ｂｔ２は４個から９個に、それぞれ増加している。

このように、各ＵＩ部品のサイズ変倍や数の増減は、変倍後の各表示領域種別ごとの表示領域内で行う。
したがって、表示入力装置における表示パネルの画面サイズ（画面解像度）が変わった際に、画面全体のレイアウトは崩さずに、サイズを変倍した方がよいＵＩ部品は変倍し、数を増減させた方がよいＵＩ部品は増減させることができる。

〔画像形成装置の実施形態〕
図２は、この発明による表示入力装置の一実施形態である操作部を備えた画像形成装置のハードウェア構成例を示すブロック図である。
この画像形成装置５は、コピー機能、スキャナ機能、プリンタ機能、ファクス機能などの各種機能を実現可能なデジタル複合機（ＭＦＰ）であり、ＭＦＰ本体１００と、ユーザの操作を受け付ける操作部２００とを備えている。その操作部２００が、この発明を実施した表示入力装置に相当する。

ＭＦＰ本体１００と操作部２００とは、専用の通信路５０を介して相互に通信可能に接続されている。その通信路５０としては、例えばＵＳＢ規格のものを用いることもできるが、有線か無線かを問わず任意の規格のものでよい。
なお、ＭＦＰ本体１００は、操作部２００で受け付けた操作に応じた動作を行うことができる。また、ＭＦＰ本体１００は、ネットワークを介してクライアントＰＣ（パーソナルコンピュータ）等の外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。

そこでまず、ＭＦＰ本体１００のハードウェア構成について説明する。ＭＦＰ本体１００は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、およびＨＤＤ（ハードディスクドライブ）１１４を備えており、これらによって、マイクロコンピュータを構成している。ＭＦＰ本体１００はさらに、通信Ｉ／Ｆ１１５、接続Ｉ／Ｆ１１６、エンジン部１１７も備えている。そして、これらの全てがシステムバス１１８を介して、相互に信号及びデータの遣り取りが可能に接続されている。

ＣＰＵ１１１は、ＭＦＰ本体１００の動作を統括的に制御する。ＣＰＵ１１１は、ＲＡＭ１１３をワークエリア（作業領域）としてＲＯＭ１１２又はＨＤＤ１１４に格納されたプログラムを実行する。それによって、ＭＦＰ本体１００全体の動作を制御し、上述したコピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。
ＲＡＭ１１３は、エンジン部１１７内のスキャナエンジンで読み取った原稿の画像データや、プリンタエンジンで印刷する画像データ等を一時的に保存するためにも使用される。
通信Ｉ／Ｆ１１５は、インタネット等のネットワークと接続するためのインタフェースである。接続Ｉ／Ｆ１１６は、通信路５０を介して操作部２００と通信するためのインタフェースである。

エンジン部１１７は、コピー機能、スキャナ機能、ファクス機能、およびプリンタ機能を実現させるための、汎用的な情報処理及び通信以外の処理を行うハードウェアである。
例えば、スキャナエンジンは、原稿の画像をスキャンして、光学的に読み取って画像データに変換する画像読取手段である。その原稿は、コンタクトガラス上に載置されて圧板で押さえられるか、自動原稿給送装置（ＡＤＦ）によって読み取り位置へ順次給送される。

エンジン部１１７のプリンタエンジンは、スキャナエンジンで読み取った画像データや、外部から受信した印刷用の画像データを用紙等のシート材へ印刷するためのプロッタ（画像形成部）、ファクス通信を行うファクス部などを備えている。さらに、印刷済みシート材を仕分けるフィニッシャや、１部ずつ綴じるステープラ機能のような特定のオプション機能を備えることもできる。

次に、操作部２００のハードウェア構成について説明する。この操作部２００も図２に示すように、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、およびフラッシュメモリ２１４を備えており、これらによって、マイクロコンピュータを構成している。操作部２００はさらに、無線ＬＡＮユニット２１５、接続Ｉ／Ｆ２１６、操作パネル２１７を備え、これらの全てがシステムバス２１８を介して、相互に信号及びデータの遣り取りが可能に接続されている。

ＣＰＵ２１１は、操作部２００の動作を統括的に制御する。ＣＰＵ２１１は、ＲＡＭ２１３をワークエリア（作業領域）としてＲＯＭ２１２又はフラッシュメモリ２１４等に格納されたプログラムを実行することによって、操作部２００全体の動作を制御する。そして、このＣＰＵ２１１が、操作パネル２１７によってユーザから受け付けた入力に応じた情報（画像）の表示など、この発明によるＵＩ部品の表示機能を実現する。
フラッシュメモリ２１４は不揮発性メモリであり、電源がＯＦＦになっても保持する必要があるデータを記憶させることができる。

無線ＬＡＮユニット２１５は、インタネット等のネットワークと無線で接続するためのインタフェースである。接続Ｉ／Ｆ２１６は、通信路５０を介してＭＦＰ本体１００と通信するためのインタフェースである。
そのため、この操作部２００は、通信路５０及びＭＦＰ本体１００を介してネットワークと接続することができるだけでなく、無線ＬＡＮユニット２１５によって、直接ネットワークと接続することもできる。

操作パネル２１７は、各アプリケーションにおいて、ユーザの操作に応じた各種の入力を受け付けると共に、例えば、受け付けた操作に応じた情報、画像形成装置５の動作状況を示す情報、設定状態を示す情報など、各種の情報を表示する。
この操作パネル２１７は、表示パネルとそれを利用する入力手段とを備えており、例えばタッチパネルを搭載した液晶表示装置（ＬＣＤ）で構成されるが、それに限られるものではない。例えば、タッチパネルを搭載した有機ＥＬ表示装置で構成してもよい。さらに、タッチパネルに加えて、あるいはタッチパネルに代えて、ポインティングデバイスやハードウェアキー等の操作手段を設けたり、ランプ等の表示手段を設けることもできる。

この画像形成装置５のソフトウエア構成例を、図３に示す模式図によって説明する。
図３に示すように、ＭＦＰ本体１００は、アプリ層１０１と、サービス層１０２と、ＯＳ層１０３とを有する。アプリ層１０１、サービス層１０２、およびＯＳ層１０３の実体は、図２に示したＲＯＭ１１２又はＨＤＤ１１４に格納されている各種ソフトウェアである。ＣＰＵ１１１がそのソフトウェアを実行することによって、これらの各層の機能が実現される。

アプリ層１０１のソフトウェアは、ハードウェア資源を動作させて所定の機能を提供するためのアプリケーションソフトウェア（以下の説明では「アプリ」と略称する）である。このアプリとしては、例えば、コピー機能を実現するためのコピーアプリ、スキャナ機能を実現するためのスキャナアプリ、ファクス機能を実現するためのファクスアプリ、プリンタ機能を実現するためのプリンタアプリなどがある。

サービス層１０２のソフトウェアは、アプリ層１０１とＯＳ層１０３との間に介在し、各アプリに対して、ＭＦＰ本体１００が備えるハードウェア資源を利用するためのインタフェースを提供するためのソフトウェアである。より具体的には、ハードウェア資源に対する動作要求の受付、動作要求の調停を行う機能を提供するためのソフトウェアである。
サービス層１０２が受け付ける動作要求としては、図２に示したエンジン部１１７のスキャナエンジンによる画像の読み取りや、プリンタエンジンによる印刷等の要求が考えられる。

なお、サービス層１０２によるインタフェースの機能は、ＭＦＰ本体１００のアプリ層１０１だけではなく、操作部２００のアプリ層２０１に対しても提供される。すなわち、操作部２００のアプリ層２０１も、ＭＦＰ本体１００のサービス層１０２のインタフェース機能を介して、ＭＦＰ本体１００のハードウェア資源（例えばエンジン部１１７）を利用する機能を実現することができる。

ＯＳ層１０３のソフトウェアは、ＭＦＰ本体１００が備えるハードウェアを制御する基本機能を提供するための基本ソフトウェア（オペレーティングシステム）である。サービス層１０２のソフトウェアは、各種アプリからのハードウェア資源の利用要求を、ＯＳ層１０３が解釈可能なコマンドに変換してＯＳ層１０３に渡す。そして、ＯＳ層１０３のソフトウェアによりコマンドが実行されることで、ハードウェア資源はアプリの要求に従った動作を行う。

一方、操作部２００は、アプリ層２０１と、サービス層２０２と、ＯＳ層２０３とを有する。操作部２００が備えるアプリ層２０１、サービス層２０２及びＯＳ層２０３も、階層構造についてはＭＦＰ本体１００側と同様である。ただし、アプリ層２０１のアプリにより提供される機能や、サービス層２０２が受け付け可能な動作要求の種類は、ＭＦＰ本体１００側とは異なる。
アプリ層２０１のアプリは、操作部２００が備えるハードウェア資源を動作させて所定の機能を実現するためのソフトウェアであってもよい。しかし、このアプリは、主としてＭＦＰ本体１００が備える機能（コピー機能、スキャナ機能、ファクス機能、プリンタ機能）に関する操作や表示を行うためのＵＩ（ユーザインタフェース）の機能を実現するためのソフトウェアである。

なお、この実施形態では、機能の独立性を保つために、ＭＦＰ本体１００側のＯＳ層１０３のソフトウェアと操作部２００側のＯＳ層２０３のソフトウェアが互いに異なる。つまり、ＭＦＰ本体１００と操作部２００は、別々のオペレーティングシステムで互いに独立して動作する。例えば、ＭＦＰ本体１００側のＯＳ層１０３のソフトウェアとしてＬｉｎｕｘ（登録商標）を用い、操作部２００側のＯＳ層２０３のソフトウェアとしてＡｎｄｒｏｉｄ（登録商標）を用いることも可能である。
無線ＬＡＮ・ＡＰ３０１は、操作部２００の無線ＬＡＮユニット２１５を無線ＬＡＮでインタネット３００と接続するためのアプリケーションである。

このように、この実施形態の画像形成装置５であるデジタル複合機（ＭＦＰ）においては、ＭＦＰ本体１００と操作部２００は別々のオペレーティングシステムで動作する。そのため、ＭＦＰ本体１００と操作部２００との間の通信は、共通の装置内のプロセス間通信ではなく、異なる装置間の通信として行われる。操作部２００が受け付けた情報（ユーザからの指示内容）をＭＦＰ本体１００へ伝達する動作（コマンド通信）や、ＭＦＰ本体１００が操作部２００へイベントを通知する動作などがこれに該当する。

ここでは、操作部２００がＭＦＰ本体１００へアプリ操作データのコマンド通信を行うことにより、ＭＦＰ本体１００の機能を使用することができる。また、ＭＦＰ本体１００から操作部２００に通知するイベントには、ＭＦＰ本体１００における動作の実行状況、ＭＦＰ本体１００側で設定された内容などが挙げられる。
また、操作部２００に対する電力供給は、ＭＦＰ本体１００から通信路５０を経由して行われているので、操作部２００の電源制御を、ＭＦＰ本体１００の電源制御とは別に（独立して）行うことができる。
操作部２００を、ＭＦＰ本体１００に対して着脱可能なタブレット型の表示入力装置として構成することもできる。

〔表示入力装置の第１の実施形態〕
次に、この発明による表示入力装置の第１の実施形態として、前述した操作部２００の機能構成及びその動作について説明する。
図４は、図２及び図３に示した操作部２００のこの発明の第１の実施形態に係る機能構成を示すブロック図である。
操作部２００のアプリ層２０１は、アプリ１、アプリ２、アプリ３等の複数のアプリを有している。この各アプリは、前述したように、それぞれＭＦＰ本体１００が備えるコピー機能、スキャナ機能、ファクス機能、プリンタ機能等に関する操作や表示を行うためのＵＩ（ユーザインタフェース）の機能を実現するためのソフトウェアである。

その各アプリ１〜３等は、それぞれレイアウト情報管理部２２１、ＵＩ部品管理部２２２、およびＵＩ表示制御部２２３の各機能部を有している。
また、サービス層２０２には、表示パネルの画面サイズ又は画面解像度の情報を含むスペック情報管理部２２４の機能部を設けている。
図４におけるレイアウト情報管理部２２１は、表示画面にＵＩ部品をどのように配置するかの情報であるレイアウトを管理する。例えば、表示画面が図５に示すレイアウトの場合は、そのレイアウト情報は図６に示すような情報になる。

図５に示す表示画面全体であるベース領域１０は、図６に示すようにＩＤが「Ｂａｓｅ_００１」で、開始座標が「０，０」、サイズが「１０２４×６００」である。図５に破線で示す表示領域１１は、ＩＤが「Ｄｉｓｐ_００１」で、開始座標が「１０，１５」、サイズが「１００４×５７０」であり、種別が「数増減型」である。その表示領域１１内に表示する各ＵＩ部品１１Ｐは、ＩＤが「ＵＩ_００１〜ＵＩ_０１４」であり、同じ数増減型の特性を有するボタン部品で、隣接して配列されている。その属性情報として、属する表示領域はすべて「Ｄｉｓｐ_００１」である。

表示画面が図７に示すレイアウトの場合は、そのレイアウト情報は図８に示すような情報になる。図７において、各表示領域は破線で囲んで示し、その中に表示される各ＵＩ部品は実線で示す。
表示画面全体であるベース領域１０は、ＩＤが「Ｂａｓｅ_００１」で、開始座標が「０，０」、サイズが「１０２４×６００」である。表示領域１２は、ＩＤが「Ｄｉｓｐ_００１」で、開始座標が「１０，１５」、サイズが「１００４×８０」であり、種別が「数増減型」である。その表示領域１２内に表示する各ＵＩ部品１２Ｐは、ＩＤが「ＵＩ_００１〜ＵＩ_００４］であり、同じ数増減型の特性を有するボタン部品で、隣接して配列されている。その属性情報として、属する表示領域はすべて「Ｄｉｓｐ_００１」である。

表示領域１３は、ＩＤが「Ｄｉｓｐ_００２」で、開始座標が「１０，１２０」、サイズが「５００×４５０」であり、種別が「変倍型」である。その表示領域１３内に表示するＵＩ部品１３Ｐは１個だけで、ＩＤが「ＵＩ_００５」であり、変倍型の特性を有する画像部品である。その属性情報として、属する表示領域は「Ｄｉｓｐ_００２」である。

表示領域１４は、ＩＤが「Ｄｉｓｐ_００３」で、開始座標が「５０５，１２０」、サイズが「５００×４５０」であり、種別が「数増減型」である。その表示領域１４内に表示する各ＵＩ部品１４Ｐは、ＩＤが「ＵＩ_００６〜ＵＩ_００９」であり、同じ数増減型の特性を有するボタン部品で隣接して配列されている。その属性情報として、属する表示領域はすべて「Ｄｉｓｐ_００３」である。

図４におけるＵＩ部品管理部２２２は、アプリケーション機能に応じた複数のＵＩ部品の情報を管理する。例えば、図７に示した表示画面におけるＵＩ部品情報は、図９に示すような情報である。
ＩＤが「ＵＩ_００１〜ＵＩ_００４」のＵＩ部品１２Ｐの属性情報は、サイズが「１００×８０」で、種別が「ボタン」である。ＩＤが「ＵＩ_００５」のＵＩ部品１３Ｐの属性情報は、サイズが「５００×４５０」で、種別が「画像」、ファイル名が「image．png」である。
図９では省略しているが、ＩＤが「ＵＩ_００６〜ＵＩ_００９」のＵＩ部品１４Ｐの属性情報は、サイズが「１００×９０」で、種別が「ボタン」である。

上述したレイアウト情報及びＵＩ部品情報の例では、サイズ＝画面解像度で示しており、各領域及びＵＩ部品の開始座標及びサイズに関する数値は、図５又は図７に示したベース領域１０の左上の角点を原点とする横の画素数と縦の画素数で示している。しかし、それらの数値は単なる例示であり、各ベース領域１０内での位置や大きさと正確に対応するものではない。
図４におけるＵＩ表示制御部２２３は、スペック情報管理部２２４から得られるスペック情報と、レイアウト情報管理部２２１から得られるレイアウト情報と、ＵＩ部品管理部２２２から得られるＵＩ部品情報とを参照する。そして、表示画面全体のレイアウトが崩れないように、画面の大きさ又は解像度に合わせたＵＩ部品の表示を行う。
サービス層２０２のスペック情報管理部２２４は、表示パネルの画面サイズ又は画面解像度の情報を含み、ＲＡＭ容量、ＮＡＮＤ容量なども含むスペック情報を管理する。

そして、ＵＩ表示制御部２２３は、スペック情報による表示パネルの画面サイズ又は画面解像度の情報と、レイアウト情報と、複数のＵＩ部品の情報とに基づいて、複数のＵＩ部品をグルーピングする。そして、そのグルーピングした各グループごとにＵＩ部品の表示領域を規定し、表示パネルの画面サイズ又は画面解像度が変わった場合に、その変更後の画面サイズ又は画面解像度に応じて各グループごとの表示領域を変倍する。その変倍後の各表示領域内で、各グループごとに表示するＵＩ部品のサイズの変倍又は数の増減を行う。
この実施形態では、ＵＩ表示制御部２２３は、ＵＩ部品の情報にまれる属性情報とレイアウト情報に含まれる属性情報とに基づいて、グループ分けした表示領域を規定している。
さらに、ＵＩ部品の情報まれる属性情報のうち、特にサイズを変倍した方がよい変倍型と、数を増減した方がよい数増減型の属性情報を、複数のＵＩ部品のグループ分けに使用するのが望ましい。

次に、この第１の実施形態による表示入力装置（図２〜図４に示した操作部２００に相当する）による、表示パネルの画面サイズに応じたＵＩ部品表示処理について、図１０のフローチャートによって説明する。
この処理は、図２に示した操作部２００のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムに従って、操作パネル２１７の表示パネルを制御して実行する。

ＣＰＵ２１１が図１０に示す処理を開始すると、まずステップＳ１で、表示パネルの画面サイズ情報を取得する。これは、図４に示したアプリ層２０１のＵＩ表示制御部２２３がサービス層２０２のスペック情報管理部２２４から、使用する表示パネルの画面サイズに相当する画面解像度の情報を取得することである。
次いで、ＣＰＵ２１１はステップＳ２で表示対象のレイアウト情報を取得し、各表示領域を変倍する。これは、図４に示したアプリ層２０１のＵＩ表示制御部２２３が、レイアウト情報管理部２２１から、表示対象のレイアウト情報を取得して、その各表示領域のサイズを使用する表示パネルの画面サイズに応じて変倍（拡大又は縮小）することに相当する。

そして、そのレイアウト情報のうち、まずは図１１に破線で示すように、各表示領域１２〜１４のみを表示パネルのベース領域１０のサイズ（画面解像度）に合わせて変倍する。ベース領域１０は、図１１の左側が予めレイアウト情報及びＵＩ部品情報を記憶している基準の画面サイズであり、右側が実際にＵＩ部品を表示する画面サイズである。
その後、ＣＰＵ２１１はステップＳ３〜Ｓ１１内の処理を、レイアウト内に含まれる各表示領域の数分だけ繰り返す。これは、図４に示したアプリ層２０１のＵＩ表示制御部２２３による処理に相当する。

ステップＳ４では、対象の表示領域が変倍型表示領域か、数増減型表示領域かを判断する。その結果、変倍型であると判断した場合は、ステップＳ５へ進んで、図１２に示すように表示領域１３内一杯に画像部品であるＵＩ部品１３Ｐを変倍する。
その際、例えば表示領域１３が５００×４５０で、その表示領域１３に属するＵＩ部品１３Ｐの基準のサイズが２５０×２００であった場合、それを５００×４５０に変倍するように、縦横比すなわちアスペクト比を変えずに変倍するのが望ましい。

ステップＳ４の判断で対象の表示領域が数増減型であると判断した場合は、ステップＳ６へ進んで、変倍後の表示領域内に入る分だけ表示するＵＩ部品の数を増減する。
例えば、図１３に示すレイアウト情報の表示領域に、図１４に示すＵＩ部品情報のＵＩ部品を表示する場合、サイズが１４５０×１８０の表示領域（図１５に破線で示す表示領域１２）に対して、サイズが１５０×８０のＵＩ部品（図１５に実線で示すボタンのＵＩ部品１２Ｐ）をＵＩ_００１からＵＩ_０１４まで１４個配置することができる。

このように、変倍型表示領域である表示領域１３内に画像のＵＩ部品１３Ｐを拡大表示し、数増減型表示領域である表示領域１２内にボタンのＵＩ部品１２Ｐを数を増加して表示した状態を図１５に示している。
図１５に破線で示す表示領域１４も数増減型表示領域であるから、次回のステップＳ４，Ｓ６の判断及び処理で、その表示領域１４内にボタンのＵＩ部品（図７に示したＵＩ部品１４Ｐに相当）を数を増加して表示する。

ＣＰＵ２１１は次のステップＳ７で、対象の表示領域の上か下に別の表示領域が存在するか否かを判断する。その結果、存在する（Ｙ）と判断した場合はステップＳ８へ進んで、ＵＩ部品の左右を表示領域の端に合わせて、各ＵＩ部品を等間隔に整列させる。
例えば、図１６に示すように下に別の表示領域１３，１４がある表示領域１２の場合は、その中のＵＩ部品１２Ｐの左右を表示領域１２の左右両端に合わせて、各ＵＩ部品１２Ｐを等間隔に整列させる。

そのステップＳ８の処理後、あるいはステップＳ７の判断で存在しない（Ｎ）と判断した場合は、ステップＳ９へ進んで、対象の表示領域の右か左に別の表示領域が存在するか否かを判断する。その結果、存在する（Ｙ）と判断した場合は、ステップＳ１０へ進んで、ＵＩ部品の上下を表示領域の端に合わせて、各ＵＩ部品を等間隔に整列させる。
例えば、図１７に示すように左に別の表示領域１３がある表示領域１４の場合は、その中のＵＩ部品１４Ｐの上下を表示領域１４の上下両端に合わせて、各ＵＩ部品１４Ｐを等間隔に整列させる。

表示領域１４は上にも別の表示領域１２があるので、ステップＳ８でＵＩ部品１４Ｐの左右を表示領域１４の左右両端に合わせて、各ＵＩ部品１４Ｐを等間隔に整列させることもしている。
ＣＰＵ２１１は、これらのステップＳ３〜Ｓ１１内の処理を、レイアウト内に含まれる各表示領域分だけ、図１１に示した例では３個の表示領域を有するので３回繰り返して、図１０に示した処理を終了する。

この実施形態では、画像部品を表示する表示領域を変倍型表示領域と定義し、ボタン部品を表示する表示領域を数増減型表示領域と定義している。しかし、これに限るものではなく、複数の画像部品をグループ化して、それを表示する表示領域を数増減型表示領域としてもよいし、１個又は複数のボタン部品やキー部品等を表示する表示領域を変倍型表示領域としてもよい。
要するに、表示領域内に表示するＵＩ部品の特性が、サイズを変倍した方がよい変倍型と、数を増減した方がよい増減型のいずれであるかによって、その表示領域が変倍型表示領域であるか数増減型表示領域であるかが決まる。

上述の説明では、表示パネルの画面サイズが基準サイズより大きくなった（画面解像度が高くなった）場合の例で説明したが、画面サイズが基準サイズより小さくなる（画面解像度が低くなる）場合もある。
その場合は、変倍型表示領域内に表示するＵＩ部品は、表示領域の縮小に応じて縮小し、数増減型表示領域内に表示するＵＩ部品は、表示領域の縮小に応じて表示する数を減少させることになる。

しかし、画面サイズの縮小に応じて数増減型表示領域が縮小した場合、その横又は縦のサイズが表示するＵＩ部品１個の横又は縦のサイズより小さくなると、ＵＩ部品を１個も表示できなくなってしまう。あるいは、ＵＩ部品の最低限必要な表示個数がある場合、数増減型表示領域が縮小すると、その最低限必要な個数のＵＩ部品を表示できなくなることがある。

このような場合のための例外的な処理について以下に説明する。
（例外処理その１）
図１８によって、その例外処理その１を説明する。
図１８の（Ａ）が表示パネルの基準画面サイズのレイアウトであった場合、（Ｂ）に示すように画面サイズ（ベース領域１０）が縮小した場合について説明する。この場合、縮小した数増減型の表示領域１２内のＵＩ部品１２Ｐは数を３個に減少させて表示し、縮小した変倍型の表示領域１３内のＵＩ部品１３Ｐは縮小して表示することができる。しかし、縮小した数増減型の表示領域１４内には、ＵＩ部品１４Ｐを１個も表示できなくなる。

その場合、この例では（Ｃ）に示すように、縮小したベース領域１０の表示領域１４内には、１階層下の画面に遷移するためのボタン１５を表示する。その際のボタンの名称はユーザに入力又は選択させる。図１８の（Ｃ）に示す例では「モードＡ群」の名称が付けられている。
そこで、ユーザにこのボタン１５がタッチ又はクリックされると、（Ｄ）に示すように１階層下の画面１６（縮小したベース領域１０の大きさ）内に、元の画面と同じ数だけ多少縮小して、あるいは最小限必要な数のＵＩ部品１４Ｐ′を縮小せずに表示する。ユーザはこのＵＩ部品１４Ｐ′を用いて、元のＵＩ部品１４Ｐと同様に入力をすることができる。
このように、１階層下の画面に遷移させてＵＩ部品を表示する手段を設ければ、画面サイズ又は画面解像度が小さい表示パネルであっても、表示されるＵＩ部品の大きさは基準の大きさを保ったままとなるため、ＵＩ部品の操作性は変わらないという効果がある。

（例外処理その２）
図１９によって、その例外処理その２を説明する。
図１９の（Ａ）及び（Ｂ）は図１８の（Ａ）及び（Ｂ）と同じであり、縮小した数増減型の表示領域１４内には、ＵＩ部品１４Ｐを１個も表示できなくなった場合を示している。
この例外処理では、その場合は（Ｃ）に示すように、縮小した表示領域１４内にＵＩ部品１４Ｐを縮小して配置し、（Ａ）に示した基準画面サイズの場合と同数のＵＩ部品１４Ｐを表示することができる。
このように、ＵＩ部品を縮小して変倍後の縮小した表示領域内に表示する手段を設けると、表示されるＵＩ部品が小さくなって操作しにくくはなるが、操作ステップ数が変わらずに済むという効果がある。

（例外処理をユーザに選択させる例）
上述した例外処理その１とその２を、ユーザに選択させるようにした例を図２０によって説明する。
例えば、図１９の（Ｂ）に示したように、縮小した数増減型の表示領域１４内には、ＵＩ部品１４Ｐを１個も表示できなくなる場合には、図２０の（Ａ）に示すように、表示画面のべース領域１０にメッセージ付き選択画面を表示する。この例では、縮小して配置することを選択する第１選択ボタン１７と、１階層下の画面に配置することを選択する第２選択ボタン１８とを表示する。

この例では、ＵＩ部品を縮小して変倍後の縮小した表示領域内に表示する手段を第１の手段とし、１階層下の画面に遷移させてＵＩ部品を表示する手段を第２の手段とする。そして、第１の手段による表示と第２の手段による表示のいずれかをユーザに選択させる画面を表示する手段を有している。
そこで、ユーザが第１選択ボタン１７をタッチ又はクリックすると、図２０の（Ｂ）に示すように、例外処理その２と同様に、縮小した表示領域１４内にＵＩ部品１４Ｐを縮小して配置する。

ユーザが第２選択ボタン１８をタッチ又はクリックすると、図２０の（Ｃ）に示すように、表示画面のべース領域１０にメッセージ付きモード群名入力画面を表示する。
これは図２０の（Ｄ）に示す１階層下の画面に遷移するためのボタン１５の名称を、ユーザに入力させるための画面であり、この例では入力ボックス１９内に表示されている「モード群」の右の下線上に文字又は記号を入力すればよいようにしている。

ここに例えば「Ａ」が入力されると、（Ｄ）に示すように縮小した表示領域１４内に、１階層下の画面に遷移するためのボタン１５を、「モードＡ群」の名称で表示する。
そこで、ユーザにこのボタン１５がタッチ又はクリックされると、図２０の（Ｅ）に示すように１階層下の画面１６に、元の画面と同じ数、あるいは最小限必要な数のＵＩ部品１４Ｐ′を表示する。ユーザはこのＵＩ部品１４Ｐ′を用いて、元のＵＩ部品１４Ｐと同じ入力をすることができる。
表示されるＵＩ部品の小ささと、操作ステップの多さのどちらが操作性を損なうかは、ユーザによって相違する。そこで、このような手段を設ければ、ユーザが望むようにいずれかの表示を選択させることができる。

〔表示入力装置の第２の実施形態〕
次に、表示入力装置における表示は使用される地域に応じた言語でなされる必要があり、使用言語を選択できるものもある。しかし、そのＵＩ部品は、一般に英語等の欧米語や現代の日本語や中国語等のように横書き文を左から右に書き進める言語を使用するユーザに使い易い配置で表示されることが多い。
しかし、使用言語にはアラビア語のように、横書き文を右から左に書き進める言語もある。以下の説明では代表してアラビア語の例で説明するが、ペルシャ語、ヘブライ語、ウルドゥ語なども同様である。

そのため、ＵＩ部品毎に使用言語がアラビア語になった際にレイアウトを左右反転するかどうかの判別情報を持たせ、使用言語がアラビア語に切り替わった際に、その判別情報に応じてレイアウトを左右反転し、アラビア語圏の人が使いやすいＵＩを実現する技術が既に知られている。
しかし、ハード部品と密接な関係を持つソフトボタンのようなＵＩ部品を含む場合には、使用言語がアラビア語に切り替わった際に単純にレイアウトを左右反転すると、ハード部品に合わせたＵＩ部品の適切なレイアウト配置を実現できないことがあった。

例えば、図２１に示す表示入力装置２０はタブレット型の操作部であり、タッチパネル付き液晶ディスプレイを備えている。その表示画面２１に、例えば画面Ｃと画面Ｄを表示すると共に、ソフトＵＩ部品である状態確認キー２２と、Ａのボタン２３及びＢのボタン２４を表示する。また、表示画面２１の周辺を囲むフレーム２５に、主電源ＬＥＤ２６、状態確認ＬＥＤ２７、ＦＡＸＬＥＤ２８、データインＬＥＤ２９等のハード部品を備えている。さらに、ハードキーのような押下部品も設けてもよい。
そして、（Ａ）に示すように、ソフトＵＩ部品である状態確認キー２２は、密接に関連するハード部品である状態確認ＬＥＤ２７と対応して近接する位置に配置する必要がある。

ところが、この表示入力装置２０で使用する言語がアラビア語に切り替わった際に、ソフトＵＩ部品である状態確認キー２２とボタン２４のレイアウトを左右反転させると、（Ｂ）に示すようになる。その結果、状態確認キー２２が関連する状態確認ＬＥＤ２７から離れた位置に配置されてしまい、ハード部品に合わせたソフトＵＩ部品の適切なレイアウト配置を実現できなくなる。
そこで、この表示入力装置の第２の実施形態では、前述した第１の実施形態の機能に加えて、使用言語によってソフトＵＩ部品のレイアウトを左右反転させることができる。しかし、ハード部品との関係性から反転すべきでないものについては部分的に反転させないレイアウト配置を実現する機能を備えている。

そのため、この第２の実施形態では、ソフトＵＩ部品の中でハード部品との関連があるものについては、関連するハード部品のＩＤを所持しておく。そして、使用言語がアラビア語に切り替わった際には、そのソフトＵＩ部品を含むレイアウトを左右反転した場合と、しない場合で、ソフトＵＩ部品の座標と、それに関連するハード部品の座標とが近い方を適切なレイアウトとして採用する。
それによって、アラビア語モードでソフトＵＩ部品のレイアウトが左右反転される場合においても、ハード部品との関係性から反転すべきでないものについては部分的に反転させないレイアウト配置を実現することができる。

以下に、図面を用いてこの第２の実施形態について詳細に解説する。
この第２の実施形態の表示入力装置を画像形成装置の操作部として使用する場合のＭＦＰ本体及び操作部のハード構成とソフトウェア構成は、図２及び図３に示した実施形態と同様であり、その説明は省略する。
図２２は、この発明の第２の実施形態に係る機能構成を示す図４と同様なブロック図である。この図２２において図４と対応する部分には、多少異なる機能も有する部分にも同一の符号を付している。

この第２の実施形態の操作部（表示入力装置に相当する）のサービス層２０２には、スペック情報管理部２２４の他に、ハード部品情報管理部２２５とハード部品押下検知部２２６を設けている。また、図２１に示したように、表示パネルの表示画面２１の周辺に状態確認ＬＥＤ２７のようなハード部品を備えている。
そして、ハード部品情報管理部２２５は、各アプリのＵＩ表示制御部２２３と接続されており、図２３に例示するように、ＬＥＤやホームキーのようなハード部品が確定しているかどうかと、各ハード部品の位置座標を含む情報を管理する。

ハード部品の位置座標は、タッチパネルの左上角点の原点座標を起点に、画素数（フレーム内は画素数換算値）で計算する。
例えば、タッチパネルの上縁より上部のハード部品ならば（１０００，−１０）のように、ｙ座標がマイナスになる。タッチパネルの下縁より下部のハード部品ならば（５１２，６５０）のように、ｙ座標が縦の画面解像度を越える。この例は、画面解像度が１０２４×６００の場合である。

ハード部品情報管理部２２５は、ハード部品情報が未確定の場合は、図２４の（Ａ）〜（Ｄ）に示すように、ＵＩ表示制御部２２３に、ハード部品の存在有無及び該ハード部品の位置座標の確定をユーザに促す画面を表示させる。それによって、ハード部品情報を確定させる。
図２４に示す例は、電源がＯＮになったときに（Ａ）のハード部品一覧表の画面を表示して、ユーザに存在するハード部品にチェックを入れさせる。そして、チェックが入れられると、（Ｂ）に示すようにそのハード部品の欄を明るくする。その後、その欄の「位置座標」の入力部分がタッチされると、（Ｃ）に示すように座標を入力させるテンキーと入力されたｘ座標とｙ座標を表示するウインドウと確定ボタンのソフト部品を表示する。

そして、ｘ座標とｙ座標が入力されて確定ボタンがタッチされると、（Ｄ）に示すように、チェックが入れられたハード部品の座標位置を表示して確定する。そこで、また他のハード部品にチェックが入れられると、そのハード部品に対して（Ｂ）に示す表示になり、次いで（Ｃ）の表示でｘ座標とｙ座標を入力させて確定させ、（Ｄ）に示すように確定座標を表示することを繰り返す。
このようにして、ハード部品の有無と位置座標を確定させることによって、同一ソフトを別のハードに載せ替えた場合にも、そのハードに合わせたソフトＵＩ部品のレイアウトを実現することができる。

また、ハード部品が押下タイプのハード部品である場合は、図２５に示す（Ａ）〜（Ｄ）の画面表示によって、新規のハード部品を追加して、そのハード部品情報を確定させることも可能である。
その場合、ユーザによるハード部品の押下をトリガーに、ハード部品情報管理部２２５がＵＩ表示制御部２２３に、ハード部品の存在有無及び該ハード部品の位置座標の確定をユーザに促す画面を表示させる。

図２５に示す例では、ハードキーが押下されると、図２２に示したハード部品押下検知部２２６がそれを検知し、その検知信号をハード部品情報管理部２２５へ送る。ハード部品情報管理部２２５は、それをトリガーにしてＵＩ表示制御部２２３に（Ａ）の画面を表示させ、ユーザに押下されたハード部品の名称を入力させる。図示を省略しているが、その名称を入力させるためのソフトキーボードも表示する。この例では「ＮＥＷハードキー」の名称が入力された。
それによって、ＵＩ表示制御部２２３は「ＮＥＷハードキー」名のハード部品を追加し、それにチェックが入れられて明るくした状態の一覧表を（Ｂ）のように表示させる。

その後、「ＮＥＷハードキー」の欄の「位置座標」の入力部分がタッチされると、（Ｃ）に示すように座標を入力させる画面を表示させる。これは、図２４の（Ｃ）と同じである。そこで、ｘ座標とｙ座標が入力されて確定ボタンがタッチされると、（Ｄ）に示すように、「ＮＥＷハードキー」の座標位置を表示して確定する。
この図２５の例は、ハードキーが押下される前に、ホームキーの位置座標が入力されて確定している場合の表示例である。
このようにして、ハード部品の有無と位置座標を確定させることによって、ハードが替わった際に、ソフト側が全く想定していない新しいハード部品が追加になっていたとしても、そのハードに合わせたソフトＵＩ部品のレイアウト配置を実現できる。

図２２に示したハード部品押下検知部２２６は、押下タイプのハード部品が押下された場合にそれを検知して、その検知情報をハード部品情報管理部２２５へ送る。その検知情報をＵＩ表示制御部２２３がハード部品情報管理部２２５から取得して、図２５に示したような新規のハード部品の位置座標を確定するための画面表示を行う。
ＵＩ部品管理部２２２は、第１の実施形態の場合と同様にＵＩ部品情報を管理するが、そのＵＩ部品情報には、ソフトＵＩ部品に関連するハード部品の情報も管理する。その具体例は後述する。

レイアウト情報管理部２２１は、第１の実施形態の場合と同様に、ＵＩ部品をどのように配置するかのレイアウト情報を管理する。その具体例は後述する。
ＵＩ表示制御部２２３は、第１の実施形態の場合と同様に、レイアウト情報管理部２２１のレイアウト情報とＵＩ部品管理部２２２のＵＩ部品情報とに基づいて、ＵＩ部品の表示画面を形成する。

このＵＩ表示制御部２２３はさらに、前述した各グループのうち画面の左右方向に複数のＵＩ部品が配置されるグループの該複数のＵＩ部品の位置関係を左右反転させる左右反転手段を有する。また、該グループの各ＵＩ部品の中にハード部品と関連するＵＩ部品が存在した場合には、反転無効手段も有する。その反転無効手段は、ハード部品と関連するＵＩ部品の座標と該ＵＩ部品と関連するハード部品の座標との距離が、該ＵＩ部品を含むグループの各ＵＩ部品の位置関係を左右反転させた場合の方が、左右反転させない場合よりも近くない場合は、左右反転手段に各ＵＩ部品の位置関係を左右反転させない。

さらに、使用言語がアラビア語のように横書き文を右から左に書き進める言語になった場合は、ハード部品の情報も加味して、ソフトＵＩ部品のレイアウトを左右反転させる。
すなわち、上記左右反転手段は、この装置の使用言語がアラビア語等の横書き文を右から左に書き進める言語になった場合に、画面の左右方向に複数のＵＩ部品が配置されるグループの各ＵＩ部品の位置関係を左右反転させるとよい。

図２６は、この第２の実施形態による表示入力装置によって第１の実施形態による表示パネルの画面サイズに応じたＵＩ部品表示処理に追加する処理の流れを示すフローチャートである。
この処理も、図２に示した操作部２００のＣＰＵ２１１がＲＯＭ２１２に格納されたプログラムに従って、操作パネル２１７の表示パネルを制御して実行する。
ＣＰＵ２１１は、図２６の処理を開始すると、まずステップＳ２１で、ハード部品の構成が予め分かっているか否かを判断する（ハード部品情報管理部２２５の機能）。

その結果、分かっていない（Ｎ）と判断した場合は、ステップＳ２２へ進んで、図２４によって説明したように、存在するハード部品のチェックとその位置座標を入力させる画面を表示し、ユーザの操作によりハード部品の構成を確定させる。
さらに、図２５によって説明したように、ハードキーを押下させて、ユーザ操作によりそのハード部品を追加し、その位置座標を入力させて確定させる処理を加えてもよい。
このステップＳ２２の処理は、図２２に示したハード部品管理部２２５とＵＩ表示制御部２２３の機能である。

ＣＰＵ２１１は、ステップＳ２１の判断で分かっている（Ｙ）と判断した場合、およびステップＳ２２の処理後に、ステップＳ２３〜Ｓ２９の処理をレイアウト内のグループの数分だけ繰り返す。これは、図２２に示したＵＩ表示制御部２２３の機能である。
ここで、「グループ」とは、第１の実施形態における「表示領域」に相当するが、同じ特性を持つソフトＵＩ部品で、同様な形状及び大きさを有し、画面の左右方向に複数のＵＩ部品が配置されるグループである。

ＣＰＵ２１１は、この繰り返し処理において、まずステップＳ２４で対象のグループ内のＵＩ部品に、ハード部品と関連があるものが存在するか否かを判断する。
例えば、図２１に示した状態確認キー２２とボタン２３，２４が一つのグループを構成している場合、状態確認キー２２は、ハード部品である状態確認ＬＥＤ２７と関連があるので、そのグループに関しては、ステップＳ２４の判断は「存在する」（Ｙ）になる。
その場合は、次にステップＳ２５へ進んで、そのＵＩ部品と関連するハード部品の座標情報を取得する。そして、ステップＳ２６で、そのグループ内のＵＩ部品の位置関係を左右反転させた場合の、ハード部品と関連があるＵＩ部品の座標を計算する。

その後、ＣＰＵ２１１はステップＳ２７で、ハード部品と関連があるＵＩ部品の座標とハード部品の座標との距離が、左右反転した場合の方が近いか否かを判断する。
その結果、左右反転した場合の方が近いと判断した場合、およびステップＳ２４で存在しなかった場合はステップＳ２８へ進んで、グループ内のＵＩ部品の位置関係を左右反転させる。しかし、左右反転した場合の方が近くないと判断した場合は、元のままの配置の方が関連するハード部品との距離が近いので、左右反転は行わず、次のグループの処理に移行する。
ＣＰＵ２１１は、このような判断・処理を表示するＵＩ部品のグループの全てに対して実行して、この図２６に示すフローチャートの処理を終了する。

ここで、上述した図２６における各グループに対して実行するステップＳ２４〜Ｓ２８の判断・処理について、図２７〜図３１を用いて具体的に説明する。
図２７は表示画面のレイアウトの一例を示す図であり、図２８はその表示画面のレイアウト情報の例を示す図、図２９はそのレイアウト情報を可視化した図である。
図３０はその画面に表示されるＵＩ部品のＵＩ部品情報であり、イメージしやすくするために、各ＵＩ部品を実画像で示しているが、実際はファイルパス名である。図３１はハード部品情報の例を示す。

図２７において、表示画面２１と、状態確認キー２２及びＪとＫのボタン２３，２４は、図２１の対応する各部と同一の符号を付している。そして、図２８及び図２９から分かるように、Ａ〜Ｃ及びＥ〜Ｇのボタンがグループ０１（Group01)を構成し、ＨとＩのボタンがグループ０２（Group02)を構成している。そして、状態確認キー２２及びＪとＫのボタン２３，２４がグループ０３（Group03)を構成している。その状態確認キー２２は、図２１における状態確認キー２２と同様にハード部品である状態確認ＬＥＤ２７と関連している。

これらの、レイアウト情報、ＵＩ部品情報、およびハード部品情報は、それぞれ図２２に示したレイアウト情報管理部２２１、ＵＩ部品管理部２２２、およびハード部品情報管理部２２５によって管理される。
図２６のステップＳ２４では、図２に示したＣＰＵ２１１の機能による図２２に示したＵＩ表示制御部２２３が、対象のグループ内のＵＩ部品にハード部品と関連があるものが存在するかどうかを判定する。それは、ＵＩ表示制御部２２３がレイアウト情報管理部２２１のレイアウト情報と、ＵＩ部品管理部２２２のＵＩ部品情報と、ハード部品情報管理部２２５のハード部品情報を参照して行う。

例えば、図２７に示した画面例の場合、そのグループ分けは図２８及び図２９に示すように、グループ０１に属するＵＩ部品のＩＤは０１〜０６であるが、これらのＵＩ部品は図３０のＵＩ部品情報を見ると分かるように、関連するハード部品を持っていない。
そのため、グループ０１に対するステップＳ２４の判断結果は「存在しない」（Ｎ）になり、ステップＳ２８へ進み、グループ０１内のＵＩ部品の位置関係を左右反転する。

グループ０２に属する部品のＩＤは０７，０８であるが、これらのＵＩ部品も関連するハード部品を持っていないので、このグループ０２に対するステップＳ２４の判断結果も「存在しない」（Ｎ）になる。そのため、ステップＳ２８へ進み、グループ０２内のＵＩ部品の位置関係も左右反転する。
グループ内のＵＩ部品の位置関係の左右反転は、ｘ座標を以下の計算式で算出し直すことによって左右反転される。これが左右反転手段の機能に相当する。
ｘ座標＝（グループの右端のｘ座標）−（ＵＩ部品のｘ座標）
−（ＵＩ部品のｘ方向サイズ）

グループ０３に属する部品のＩＤは０９〜１１であるが、図３０のＵＩ部品情報を見ると、ＵＩ部品ＩＤが０９の「状態確認キー」が関連するハード部品として、ハード部品ＩＤが０３の状態確認ＬＥＤ（図３１のハード部品情報参照）を持つ。
そのため、このグループ０３に対するステップＳ２４の判断結果は「存在する」（Ｙ）になり、ステップＳ２５へ進み、その部品と関連するハード部品の位置座標情報を取得する。すなわち、図２２におけるＵＩ表示制御部２２３が、ハード部品情報管理部２２５のハード部品情報（図３１）から、状態確認ＬＥＤ（ＩＤ：０３）の座標（１０，６２０）を取得する。

その後、図２６のステップＳ２６で、グループ０３内のＵＩ部品の位置関係を左右反転させた場合の、ハード部品と関連がある部品である状態確認キー２２の座標を計算する。
そのため、図２２におけるＵＩ表示制御部２２３は、ハード部品と関連のあるＵＩ部品である状態確認キー２２を、それが属するグループ０３内で左右反転させた場合の座標を次の計算式によって計算する。

ｘ座標＝（グループの右端のｘ座標）−（当該ＵＩ部品のｘ座標）
−（当該ＵＩ部品のｘ方向サイズ）
ｙ座標＝反転前のまま
図２８に示すＵＩ部品情報から、グループ０３の右端のｘ座標は「１０２４」、状態確認キー２２（ＩＤ：０９）のｘ座標は「５」、ｙ座標は「５６５」、ｘ方向サイズは「２００」であるから、
ｘ座標＝１０２４−５−２００＝８１９
ｙ座標＝５６５
となる。
よって、状態確認キー２２の反転前の座標（５，５６５）に対し、反転後の座標は（８１９，５６５）となる。

次に、図２６のステップＳ２７で、反転前と反転後の座標のうち、どちらが状態確認キー２２に関連するハード部品である状態確認ＬＥＤの座標に近いかを判断する。
状態確認ＬＥＤの座標（１０，６２０）に近いのは、状態確認キー２２の反転後の座標（８１９，５６５）ではなく、反転前の座標（５，５６５）である。したがって、ステップＳ２７の判断結果はＮになり、グループ０３内のＵＩ部品の位置関係の左右反転は行わない。これが反転無効手段の機能に相当する。

以上、この発明の実施形態について説明してきたが、この発明はこれに限るものではない。この発明による画像形成装置は、デジタル複合機（ＭＦＰ）に限るものではなく、画像読取装置（スキャナ）を備えたデジタル複写機やファクシミリ装置、単体のプリンタや簡易印刷装置などの画像形成装置等にも適用できる。また、カラー画像形成装置でもモノクロ画像形成装置でもよい。

この発明による表示入力装置は、画像形成装置の操作部に限らず、各種の情報処理装置、事務用電子機器、家庭用電子機器、産業用電子機器など、種々の電子機器の操作部（ユーザインタフェース部）に適用することができる。そして、種々の表示画面サイズ又は画面解像度の表示パネルを備えた機器に共通のプログラムで、共通のＵＩ部品を同様なレイアウトで表示することができる。

この発明による表示制御方法は、表示パネルの画面にアプリケーション機能に応じた複数のＵＩ部品を表示する表示入力装置の表示制御方法である。
その実施形態は、上述した表示入力装置の各実施形態において説明したように、複数のＵＩ部品を、同じ特性を持ち且つ隣接して存在するＵＩ部品ごとにグルーピングして、そのグルーピングした各グループごとに各ＵＩ部品の表示領域を規定しておく。そして、表示パネルの画面サイズ又は画面解像度が変わった場合に、その変更後の画面サイズ又は画面解像度に応じて各グループごとの表示領域を変倍し、その変倍後の各表示領域内で、各グループごとに表示する前記ＵＩ部品のサイズの変倍又は数の増減を行う。

また、この発明によるプログラムは、表示パネルの画面にアプリケーション機能に応じた複数のＵＩ部品を表示する表示入力装置を制御するコンピュータのプログラムである。
すなわち、複数のＵＩ部品を、同じ特性を持ち且つ隣接して存在するＵＩ部品ごとにグルーピングして、そのグルーピングした各グループごとに各ＵＩ部品の表示領域を規定する手順と、表示パネルの画面サイズ又は画面解像度が変わった場合に、その変更後の画面サイズ又は画面解像度に応じて各グループごとの表示領域を変倍する手順と、その手順による変倍後の各表示領域内で、各グループごとに表示するＵＩ部品のサイズの変倍又は数の増減を行う手順とを実行させるためのプログラムである。

そのプログラムは、初めから画像形成装置又は電子機器の操作部を制御するマイクロコンピュータのＲＯＭ又はＨＤＤに格納しておいてもよいが、ＣＤ−ＲＯＭやフレキシブルディスクその他のコンピュータ読み取り可能な記録媒体に記録して提供してもよい。あるいは、インタネット等のネットワークを介して、そのプログラムを画像形成装置又は電子機器ののメモリにダウンロードできるように提供することもできる。

また、この発明による表示制御方法又はプログラムによっても、アラビア語のように右から左へ書き進める言語を使用する場合に、使い易い適切なレイアウトで、各ＵＩ部品を表示することが可能である。
なお、前述した各実施形態の構成及び機能等は、適宜追加、変更、一部の省略等を行うことができ、また、相互に矛盾しない限り任意に組み合わせて実施可能であることは勿論である。

１〜３：アプリ（アプリケーション） ５：画像形成装置
１０，１０′：ベース領域（画面全体） １１，１２，１３，１４：表示領域
１１Ｐ，１２Ｐ，１３Ｐ，１４Ｐ，１４Ｐ′：ＵＩ部品
１５：１階層下の画面に遷移するためのボタン １６：１階層下の画面
１７：第１選択ボタン １８：第２選択ボタン １９：入力ボックス
２０：表示入力装置 ２１：表示画面 ２２：状態確認キー
２３，２４：ボタン ２５：フレーム ２６：主電源ＬＥＤ
２７：状態確認ＬＥＤ ２８：ＦＡＸＬＥＤ ２９：データインＬＥＤ
５０：通信路 １００：ＭＦＰ本体 １０１，２０１：アプリ層
１０２，２０２：サービス層 １０３，２０３：ＯＳ層 １１１：ＣＰＵ
１１２：ＲＯＭ １１３：ＲＡＭ １１４：ＨＤＤ（ハードディスクドライブ）
１１５：通信Ｉ／Ｆ １１６：接続Ｉ／Ｆ １１７：エンジン部
１１８：システムバス ２００：操作部 ２１１：ＣＰＵ ２１２：ＲＯＭ
２１３：ＲＡＭ ２１４：フラッシュメモリ ２１５：無線ＬＡＮユニット
２１６：接続Ｉ／Ｆ ２１７：操作パネル ２１８：システムバス
２２１：レイアウト情報管理部 ２２２：ＵＩ部品管理部
２２３：ＵＩ表示制御部 ２２４：スペック情報管理部
２２５：ハード部品情報管理部 ２２６：ハード部品押下検知部
３００：インタネット（ネットワーク） ３０１：無線ＬＡＮ・ＡＰ
ａ，ｂ：表示領域種別 Ｉｍ：画像部品 Ｂｔ１，Ｂｔ２：ボタン部品

特許第４９８１８２０号公報 特開２００７−１２２２８５号公報

Claims (14)

1. 表示パネルの画面にアプリケーション機能に応じた複数のＵＩ部品を表示する表示入力装置であって、
   前記表示パネルの画面サイズ又は画面解像度の情報を含むスペック情報を管理するスペック情報管理部と、
   前記アプリケーション機能に応じた複数のＵＩ部品の情報を管理するＵＩ部品管理部と、
   前記複数のＵＩ部品をどのように配置するかのレイアウト情報を管理するレイアウト情報管理部と、
   前記スペック情報による前記表示パネルの画面サイズ又は画面解像度の情報と、前記レイアウト情報と、前記複数のＵＩ部品の属性情報とに基づいて、前記複数のＵＩ部品に対し、その属性がサイズを変更した方がよい変倍型と数を増減した方がよい数増減型の各グループに分け、その各グループごとの表示領域をそれぞれ変倍型表示領域と数増減型表示領域と規定し、前記表示パネルの画面サイズ又は画面解像度が変わった場合に、該変更後の画面サイズ又は画面解像度に応じて前記各グループごとの表示領域を変倍し、該変倍後の前記変倍型表示領域内では、そこに表示するグループのＵＩ部品のサイズを該表示領域内一杯に変倍し、該変倍後の前記数増減型表示領域内では、そこに表示するグループのＵＩ部品の数を該表示領域内に入る分だけ増減するＵＩ表示制御部と、
   を備えたことを特徴とする表示入力装置。
2. 前記ＵＩ表示制御部が、前記表示パネルの画面サイズ又は画面解像度が小さくなり、前記各グループのうち前記数増減型の属性を持つＵＩ部品のグループのいずれかが、前記変倍後の表示領域内に該グループのＵＩ部品が一つも収まらなくなった場合に、１階層下の画面に該ＵＩ部品を表示し、前記変倍後の表示領域内には、前記１階層下の画面に遷移するためのボタンを表示する手段を有することを特徴とする請求項１に記載の表示入力装置。
3. 前記ＵＩ表示制御部が、前記表示パネルの画面サイズ又は画面解像度が小さくなり、前記各グループのうち前記数増減型の特性を持つＵＩ部品のグループのいずれかが、前記変倍後の表示領域内に該グループのＵＩ部品が一つも収まらなくなった場合に、該ＵＩ部品を縮小して前記変倍後の表示領域内に表示する手段を有することを特徴とする請求項１に記載の表示入力装置。
4. 前記ＵＩ表示制御部が、
   前記表示パネルの画面サイズ又は画面解像度が小さくなり、前記各グループのうち前記数増減型の特性を持つＵＩ部品のグループのいずれかが、前記変倍後の表示領域内に該グループのＵＩ部品が一つも収まらなくなった場合に、該ＵＩ部品を縮小して前記変倍後の表示領域内に表示する第１の手段と、
   前記変倍後の表示領域内に該グループのＵＩ部品が一つも収まらなくなった場合に、１階層下の画面に該ＵＩ部品を表示し、前記変倍後の表示領域内には、前記１階層下の画面に遷移するためのボタンを表示する第２の手段と、
   前記第１の手段による表示と前記第２の手段による表示のいずれかをユーザに選択させる画面を表示する手段とを有することを特徴とする請求項１に記載の表示入力装置。
5. 請求項１から４のいずれか一項に記載の表示入力装置において、
   前記表示パネルの前記画面の周辺にハード部品を備えており、
   該ハード部品の位置座標を含む情報を管理するハード部品情報管理部と、
   前記ＵＩ部品管理部が管理するＵＩ部品情報には、前記ＵＩ部品に関連する前記ハード部品の情報が含まれ、
   前記ＵＩ表示制御部が、
   前記各グループのうち前記画面の左右方向に複数のＵＩ部品が配置されるグループの該複数のＵＩ部品の位置関係を左右反転させる左右反転手段と、
   該グループの前記各ＵＩ部品の中に前記ハード部品と関連するＵＩ部品が存在した場合には、該ＵＩ部品の座標と該ＵＩ部品と関連する前記ハード部品の座標との距離が、該ＵＩ部品を含む該グループの前記各ＵＩ部品の位置関係を左右反転させた場合の方が、左右反転させない場合よりも近くない場合は、前記左右反転手段に前記各ＵＩ部品の位置関係を左右反転させない反転無効手段とを有することを特徴とする表示入力装置。
6. 前記左右反転手段は、該装置の使用言語がアラビア語等の横書き文を右から左に書き進める言語になった場合に、前記画面の左右方向に複数のＵＩ部品が配置されるグループの各ＵＩ部品の位置関係を左右反転させることを特徴とする請求項５に記載の表示入力装置。
7. ハード部品情報管理部は、前記ハード部品の存在有無及び該ハード部品の位置座標が確定していない場合には、前記ＵＩ表示制御部に、前記ハード部品の存在有無及び該ハード部品の位置座標の確定をユーザに促す画面を表示させることを特徴とする請求項５又は６に記載の表示入力装置。
8. 前記ハード部品が押下タイプのハード部品である場合には、該ハード部品の押下をトリガーに、前記ハード部品情報管理部が前記ＵＩ表示制御部に、該ハード部品の存在有無及び該ハード部品の位置座標の確定をユーザに促す画面を表示させることを特徴とする請求項７に記載の表示入力装置。
9. 請求項１から８のいずれか一項に記載の表示入力装置による操作部を備えたことを特徴とする画像形成装置。
10. 請求項１から８のいずれか一項に記載の表示入力装置による操作部を備えたことを特徴とする電子機器。
11. 表示パネルの画面にアプリケーション機能に応じた複数のＵＩ部品を表示する表示入力装置の表示制御方法であって、
    前記表示パネルの画面サイズ又は画面解像度の情報と、前記アプリケーション機能に応じた複数のＵＩ部品の属性情報と、該複数のＵＩ部品をどのように配置するかのレイアウト情報とに基づいて、前記複数のＵＩ部品に対し、その属性がサイズを変更した方がよい変倍型と数を増減した方がよい数増減型の各グループに分け、その各グループごとの表示領域をそれぞれ変倍型表示領域と数増減型表示領域と規定し、前記表示パネルの画面サイズ又は画面解像度が変わった場合に、該変更後の画面サイズ又は画面解像度に応じて前記各グループごとの表示領域を変倍し、該変倍後の前記変倍型表示領域内では、そこに表示するグループのＵＩ部品のサイズを該表示領域内一杯に変倍し、該変倍後の前記数増減型表示領域内では、そこに表示するグループのＵＩ部品の数を該表示領域内に入る分だけ増減することを特徴とする表示制御方法。
12. 前記表示入力装置の使用言語がアラビア語等の横書き文を右から左に書き進める言語になった場合に、前記画面の左右方向に複数のＵＩ部品が配置されるグループの該複数のＵＩ部品の位置関係を左右反転させることを特徴とする請求項１１に記載の表示制御方法。
13. 前記各ＵＩ部品の位置関係を左右反転させるグループのＵＩ部品の中に、前記表示パネルの前記画面の周辺に配置されたハード部品と関連するＵＩ部品が存在した場合には、該ＵＩ部品の座標と該ＵＩ部品と関連する前記ハード部品の座標との距離が、該ＵＩ部品を含むグループの前記各ＵＩ部品の位置関係を左右反転させた場合の方が、左右反転させない場合よりも近くない場合は、前記各ＵＩ部品の位置関係を左右反転させないことを特徴とする請求項１２に記載の表示制御方法。
14. 表示パネルの画面にアプリケーション機能に応じた複数のＵＩ部品を表示する表示入力装置を制御するコンピュータに、
    前記表示パネルの画面サイズ又は画面解像度の情報と、前記アプリケーション機能に応じた複数のＵＩ部品の属性情報と、該複数のＵＩ部品をどのように配置するかのレイアウト情報とに基づいて、前記複数のＵＩ部品に対し、その属性がサイズを変更した方がよい変倍型と数を増減した方がよい数増減型の各グループに分け、その各グループごとの表示領域をそれぞれ変倍型表示領域と数増減型表示領域と規定する手順と、
    前記表示パネルの画面サイズ又は画面解像度が変わった場合に、該変更後の画面サイズ又は画面解像度に応じて前記各グループごとの表示領域を変倍する手順と、
    該手順による変倍後の前記変倍型表示領域内では、そこに表示するグループのＵＩ部品のサイズを該表示領域内一杯に変倍し、変倍後の前記数増減型表示領域内では、そこに表示するグループのＵＩ部品の数を該表示領域内に入る分だけ増減する手順とを実行させるためのプログラム。

Images