JP2015007844A - ユーザインタフェース装置、ユーザインタフェース方法およびプログラム - Google Patents

Abstract

【課題】タッチパネル上にユーザが表示させたいオブジェクトを、タッチパネルの中央部分に移動させて拡大させることが容易にできる機能を提供する。【解決手段】タッチパネルの画面をタッチすることにより表示画像を拡大するタッチパネルにおいて、タッチされた範囲にオブジェクトがない場合、近接するオブジェクトまたは領域を検出し、検出したオブジェクトまたは領域を中心として、画面上のオブジェクト表示画面を拡大して表示する。【選択図】図１

Description

本発明は、タッチパネルにおいて、オブジェクトをタッチして選択するユーザインタフェースに関するものである。

ユーザインタフェース装置のタッチパネルにおいて、小さな領域を指定する際に、ユーザの押し間違いを防止するために、オブジェクトに対してタッチ入力を受理する領域をオブジェクトの表示領域よりも広げる技術がある。

特許文献１では、タッチパネル上の画面上に配置されているオブジェクトの密集度に応じてタッチ入力を受理する領域を制御するとともに、その領域を拡大して表示することで、オブジェクトが密集して配置されているような場合にも、オブジェクトを容易に選択可能とするユーザインタフェース装置が開示されている。

特開２０１２−２２６５２７号公報

しかしながら、特許文献１では、タッチする地点のオブジェクトの密集度に応じて、オブジェクトの密集領域を拡大する構成が記載されているが、オブジェクトが存在しない地点をタッチする構成については記載されていない。また、通常のタッチパネルでの拡大操作としては、タッチによる領域拡大やピンチアウトによる領域拡大操作などが考えられるが、タッチによる拡大操作やピンチアウトによる拡大操作の場合、拡大したい点の中心が必ずタッチパネル画面の中心に来るとは限らない。即ち、確認したいオブジェクトが予想以上に大きく動いてしまって、画面から見切れてしまうなど、思うように確認したいところを表示できないことがある。

この発明は、上記のような課題を解決するためになされたものであり、タッチパネル上にユーザが表示させたいオブジェクトや領域をタッチパネルの中心付近に容易に拡大させることができる機能を提供することである。

タッチパネルの画面をタッチすることにより、画面上のオブジェクト表示画面を拡大する表示画面拡大手段と、前記タッチパネルの画面がタッチされる際に、前記タッチされる範囲の近接の拡大するオブジェクトまたは領域を検出する拡大領域検出手段と、前記表示画面拡大手段は、前記拡大領域検出手段により検出されたオブジェクトまたは領域を、オブジェクト表示画面に拡大して表示することを特徴とするユーザインタフェース装置。

本発明によれば、タッチパネル上にユーザが表示させたいオブジェクトや領域をタッチパネル上の中心付近に容易に拡大させることができるという効果を有する。

本発明の実施形態におけるユーザインタフェース装置のソフトウェア構成を示す図である。 本発明の実施形態におけるユーザインタフェース装置のハードウェア構成を示す図である。 本発明の実施形態におけるユーザインタフェース装置１００の第１の制御処理手段の一例を示すフローチャートである。 本発明の実施形態におけるユーザインタフェース装置１００の第２の制御処理手段の一例を示すフローチャートである。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。 本発明の実施形態におけるユーザインタフェース装置１００の有するアプリケーション毎のオブジェクト指定方法を示すデータテーブルの一例である。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。 本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。

＜第１の実施形態＞
以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態におけるユーザインタフェース装置のソフトウェア構成を示す図である。

図１において、１００は、ユーザインタフェース装置であり、具体的にはタッチパネルを有する利用者端末である。ユーザインタフェース装置１００は、アプリケーションサーバ１１０にデータを要求し、アプリケーションサーバ１１０からデータを受信して結果をタッチパネルのデータ表示部１０１に表示する。

１０２は、タッチパネルへのユーザからの入力を受け付ける入力受付部であり、ユーザの指での操作や、スタイラスペンなどの操作を受け付ける。

１０３は、データ表示部１０１に表示した画像の一部分を拡大表示させる表示画面拡大部であり、入力受付部により受け付けた所定の画像の一部分を拡大表示する。

１０４は、拡大領域検出部であり、入力受付部１０２でユーザから指定された方法によって画像の一部分を拡大する領域を検出する。具体的には、拡大領域の検出方法として後述する、近接オブジェクト検出部１０６、オブジェクト間クリアランス領域検出部１０７、オブジェクト／特徴点密集領域検出部１０８などを有する。

１０５は、画面移動部であり、画像を拡大する際に、拡大する領域をデータ表示部１０１の中心に移動させる。

１０６は、拡大領域検出部の一つの拡大領域の検出方法であり、ユーザがタッチした範囲に最も近いオブジェクトを検出する近接オブジェクト検出部である。この近接オブジェクト検出部により、ユーザがタッチした範囲にオブジェクトがなくても、タッチした範囲に最も近いオブジェクトの周辺を拡大表示することができ、ユーザが確認したい情報の周辺情報を簡易な操作で実現できる。

１０７は、拡大領域検出部の一つの拡大領域の検出方法であり、ユーザがタッチした場所近傍の一定範囲内で、オブジェクト間のクリアランスが小さい順に領域を検出するオブジェクト間クリアランス領域検出部である。このオブジェクト間クリアランス領域検出部により、タッチパネル上でＣＡＤの微妙なオブジェクト間のクリアランスを確認する際に、クリアランスの距離によって拡大表示する領域を順次選ぶことが可能となり、タッチパネルの指による操作でも、的確なオブジェクト間の距離や形状を確認することができる。

１０８は、拡大領域検出部の一つの拡大領域の検出方法であり、ユーザがタッチした場所近傍の一定範囲内で、オブジェクトや特徴点の密度が最も高い領域を検出するオブジェクト／特徴点密集領域検出部である。このオブジェクト／特徴点密集領域検出部により、ユーザがタッチした範囲にオブジェクトがなくても、タッチした範囲近傍でオブジェクトや特徴点の密度が高い領域の周辺情報を拡大表示することができる。

１０９は、アプリケーション毎に複数ある拡大領域検出方法を選択可能に表示する拡大領域検出方法選択部であり、後述する図９のようなアプリケーション毎拡大領域検出方法テーブルを有している。

１１１は、ユーザインタフェース装置１００からの要求により、ＣＡＤや地図のデータなどを有するアプリケーションＤＢ１１２からデータを抽出し、ユーザインタフェース装置に送信するアプリケーションである。

なお、本実施例では、アプリケーションサーバ１１０からデータを受信してユーザインタフェース装置１００に表示する構成を記載しているが、ユーザインタフェース装置１００がアプリケーション１１１の機能を有しておいて、アプリケーションＤＢ１１２のみがアプリケーションサーバ１１０に存在していて、アプリケーションサーバからデータのみを取得しても良い。また、アプリケーションサーバの代わりにアプリケーションＤＢ１１２をもユーザインタフェース装置が保持しておいて、ユーザインタフェース装置１００自らのデータを呼び出してユーザインタフェース装置１００のデータ表示部１０１に表示しても良い。

次に、図１のユーザインタフェース装置１００のハードウェア構成について、図２を用いて説明する。

図２は、本発明の実施形態における各種装置のハードウェア構成を示す図である。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいはメモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ
Ｉｎｐｕｔ / Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、タッチパネル２０９からの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、液晶パネル２１０等の表示器への表示を制御する。これらは必要に応じてユーザが使用するものである。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフラッシュメモリ等のメモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、主に無線ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、液晶パネル２１０上での表示を可能としている。また、ＣＰＵ２０１は、液晶パネル２１０上のタッチパネルでのユーザ指示を可能とする。

本発明を実現するための制御プログラムはメモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わる制御プログラムが用いるデータはメモリ２１１に格納されている。

以下、図３〜図４のフローチャートにより、ユーザインタフェース装置の流れを説明する。

図３は、本発明の実施形態におけるユーザインタフェース装置とアプリケーションサーバ間のタッチパネル操作入力の流れを示すフローチャートの一例であり、Ｓ３０１〜Ｓ３１１は各装置における処理ステップを示す。

図３のフローチャートは、ユーザによりアプリケーションが起動され、ユーザによりタッチパネル２０９がタッチされると開始される。なお、起動されるアプリケーションとして、本実施例では、地図アプリケーションとＣＡＤアプリケーションを想定するが、タッチパネルの画面の大きさに対して、表示する画像が大きいもの、もしくは画像をタッチパネルの画面の大きさより大きくすることが可能なアプリケーションであれば、どのようなアプリケーションであっても構わない。たとえば、複数のリンクボタンを有するＷｅｂ画面でも良いし、ロールプレイングゲームの画面や写真画像でも構わない。Ｗｅｂ画面の場合、本実施例のオブジェクトとはＷｅｂ画面のリンクボタンに該当し、写真の場合、たとえば人の顔の部分を本実施例のオブジェクトとみなしても良い

タッチパネル２０９へユーザがタッチすると、ステップＳ３０１において、ユーザインタフェース装置１００は、そのタッチ操作が拡大操作か画像移動操作かを判断する。画像移動操作か拡大操作かは、たとえば、タッチパネルに触っている時間により判断してもよいし、フリック操作かタッチ操作かなどにより判断してもよい。

ステップＳ３０１において、タッチ操作が拡大操作でない場合は、ステップＳ３０８へと処理を移行し、ステップＳ３０８において、ユーザインタフェース装置１００は、タッチパネルの画面上に表示された画像をユーザの指などの動きに沿って移動させる処理等を行う。その後、一連の処理を終えるか、図３のフローチャートの最初に戻ることになる。なお、タッチパネルに接触するものは、本実施例ではユーザの指として説明するが、ユーザの指ではなくても、スタイラスペンなどでも良い。

一方、ステップＳ３０１において、タッチ操作が拡大操作である場合は、ステップＳ３０２への処理へと移行する。

ステップＳ３０２において、ユーザインタフェース装置１００は、タッチパネルに接触するユーザの指の位置を検出する。

次に、ステップＳ３０３において、ユーザインタフェース装置１００は、タッチパネルの画面上のユーザの指の位置に、ユーザが確認する候補であるオブジェクトがあるかどうかを判断する。具体例を図５を参照して説明する。

図５は、本発明の実施形態におけるアプリケーション表示画面の一例とユーザの指を示した模式図である。

図５は、地図アプリケーションのイメージを示した物で、５００がタッチパネル上に表示された画面イメージである。５００の地図上には、駅５０１や線路５０７、道路５０８などが描かれている。黒丸５０２〜５０６は、ユーザが検索した結果見つかった目的のお店の場所とする。

フローチャートでのオブジェクトとは、例えば、図５の黒丸５０２〜５０６であり、ユーザの指５１０がタッチする位置に、例えば黒丸５０２〜５０６が存在する場合には、ステップＳ３０５へ遷移する。

ステップＳ３０５において、ユーザインタフェース装置１００は、ユーザの指５１０がタッチする位置に存在するオブジェクトを中心とする拡大画像をアプリケーションサーバ１１０から取得する。

次に、アプリケーションサーバ１１０は、ステップＳ３１１において、ユーザインタフェース装置１００で選択された領域情報、すなわち、ユーザの指５１０がタッチする位置に存在するオブジェクトを中心とする拡大画像をアプリケーションＤＢ１１２から取得し、ユーザインタフェース装置１００に送信する。

ユーザインタフェース装置１００は、ステップＳ３０５において送信された拡大画像を取得し、次のステップＳ３０７において、拡大画像として液晶パネル２１０に表示する。その後、一連の処理を終えるか、図３のフローチャートの最初に戻ることになる。

一方、ステップＳ３０３において、タッチパネルの画面上のユーザの指の位置に、ユーザが確認する候補であるオブジェクトがない場合、すなわち、ユーザの指５１０がタッチする位置に例えば黒丸５０２〜５０６が存在しない場合には、ステップＳ３０４へと処理を遷移する。

次に、ステップＳ３０４において、ユーザインタフェース装置１００は、図４で後述する拡大領域を検出し、ステップＳ３０６において、検出した範囲の拡大画像をアプリケーションサーバ１１０から取得する。

次に、ステップＳ３０７において、ユーザインタフェース装置１００は、ステップＳ３０６において取得した画像を、拡大画像として液晶パネル２１０に表示する。その後、一連の処理を終えるか、図３のフローチャートの最初に戻る。

次に、ステップＳ３０４の詳細な処理の流れを図４を参照して説明する、

図４は、本発明の実施形態におけるユーザインタフェース装置とアプリケーションサーバ間のタッチパネル操作入力の流れを示すフローチャートの一例であり、Ｓ４０１〜Ｓ４１２は各装置における処理ステップを示す。

図４のフローチャートは、確認する候補であるオブジェクトがない部分をユーザがタッチした場合、すなわち、ステップＳ３０４へと処理が移行されると開始される処理である。

図４のステップＳ４０１において、ユーザインタフェース装置１００は、現在ユーザが操作しているアプリケーションが何かを確認する。

次に、ステップＳ４０２において、ユーザインタフェース装置１００は、現在ユーザが操作しているアプリケーション毎に、拡大点の検出候補を抽出する。この検出候補の抽出の説明のために、図９を参照して説明する。

図９は、本発明の実施形態におけるユーザインタフェース装置１００の有するアプリケーション毎の拡大領域指定方法を示すデータテーブルの一例である。

図９の９０１は、ユーザが操作しているアプリケーションの名前で有り、９０２は、それぞれのアプリケーションにおける拡大領域指定方法の候補である。たとえば、ＣＡＤアプリケーションの場合であれば、オブジェクト指定方法、集中領域指定方法、クリアランス指定方法などがある。また、地図アプリケーションであれば、オブジェクト指定方法、集中領域指定方法などがある。
それぞれの拡大領域指定方法の説明を図５〜図８を参照して説明する。

オブジェクト指定方法とは、ユーザがタッチした場所に最も近いオブジェクトを画面の中心に移動して拡大表示する方法であり、たとえば、地図アプリケーションの場合は、図５のような例の場合に駅５０１から一番近いお店を選びたい場合に都合が良く、図５で駅５０１から一番近いお店として黒丸５０２が選択され、図６のように黒丸５０２を中心に画像が拡大される。

図５において、複数の拡大領域指定方法がある場合は、選択欄５１１のようなラジオボタンを選択可能な画面として表示し、ユーザに選択させても良い。オブジェクト指定方法を選択する場合は、ユーザが選択欄５１１の「オブジェクト指定拡大」欄にチェックを入れて、図６の６０１のような指定を行い、駅５０１から最も近い黒丸５０２を拡大画像の中心として拡大表示する。

また、集中領域指定方法とは、ユーザがタッチした場所に近く、オブジェクトが密集している部分を中心として拡大表示する方法であり、たとえば、地図アプリケーションの場合は、図５のように例の場合に、駅から近くてお店が多くある場所を選びたい場合に都合が良い。図５の例では、黒丸の５０３〜５０６の周辺が適している。図５の例において、集中領域指定方法により拡大領域を指定した場合の例を、図７を参照して説明する。

図７は、本発明の実施形態におけるアプリケーション表示画面の一例とユーザの指を示した模式図であり、図５において、指でのタッチ後に選択項目で出てくる選択欄５１１の「集中領域指定拡大」のラジオボタンをタッチして後に表示される拡大画面の例である。

図７において、選択欄７０１は「集中領域指定拡大」のラジオボタンにチェックが入っているので、７００のように、黒丸５０３〜５０６の周辺を拡大している。

また、クリアランス指定方法とは、ユーザがタッチした場所に近くにあるオブジェクトで、画面に存在する物と物の間の距離が近い部分を拡大表示する方法で、たとえば、ＣＡＤにおける部品間のクリアランスを確認したい場合に適した拡大方法である。図８を参照してクリアランス指定方法の例を説明する。

図８は、本発明の実施形態におけるアプリケーション表示画面の一例とユーザの指を示した模式図である。

図８の８００は３次元ＣＡＤの画像を表示したイメージ図であり、ディスプレイ上の画像にタッチパネルで指８１０をタッチさせる場合である。

指８１０が画面上のＥ点８０２の領域をタッチすると、通常の拡大（オブジェクト指定拡大）であれば、Ｅ点８０２にもオブジェクトがあるので、Ｅ点８０２を拡大表示することになり、Ｅ点の拡大画像、すなわち、何もないＥ点の画像が拡大される。

一方、指でのタッチ後に選択項目で出てくる選択欄８０１の「クリアランス指定拡大」のラジオボタンにタッチすると、オブジェクト間のクリアランスが狭い部分を中心として、画像を拡大表示する。図８の例では、Ｅ点８０２を指８１０でタッチして、選択欄８０１の「クリアランス指定拡大」をチェックすると、８０３のようにクリアランスが狭い部分を中心として拡大される。図９のデータテーブルの説明に戻る。

以上のような拡大領域指定方法をアプリケーション毎に持つことにより、ユーザはアプリケーション毎に拡大点の検出候補を選択することができ、利用状況により、拡大表示する中心点を変えることができる。図４のフローチャートの説明に戻る。

図４のステップＳ４０２において、アプリケーション毎に拡大点の検出候補を抽出した後、ステップＳ４０３において、ユーザインタフェース装置１００は、図５の選択欄５１１のような拡大領域指定方法の候補をディスプレイ上に表示して、ユーザからの選択入力を受け付ける。なお、拡大領域指定方法が一つしかないアプリケーションであれば、この処理は実行しなくても良い。

ステップＳ４０３の処理により、たとえば図５の５１１のような拡大領域指定方法を表示し、ユーザからの入力を受け付けると、次のステップＳ４０４へと処理を移行する。

ステップＳ４０４において、ユーザインタフェース装置１００は、ステップＳ４０３でユーザから受け付けた拡大領域指定方法により、処理を変える。ステップＳ４０３において「オブジェクト指定拡大」が選択されるとステップＳ４０７へと処理を移行し、「集中領域指定拡大」が選択されるとステップＳ４０５へ、「クリアランス指定拡大」もしくは「次のクリアランス」が選択されるとステップＳ４０８へと処理を移行する。順に各処理の詳細を説明する。

まず、Ｓ４０３において、「オブジェクト指定拡大」が選択された場合は、ステップＳ４０７へと処理を移行し、ステップＳ４０７において、ユーザインタフェース装置１００は、指でタッチしたタッチパネル上の位置から最も近いオブジェクトを拡大領域の中心とする。具体的な例を図１０を参照して説明する。

図１０は、本発明の実施形態におけるアプリケーション表示画面の一例とユーザの指を示した模式図である。

図１０の１０００は、１００３から１００６のオブジェクトが表示されたタッチパネル上の画面を想定している。ユーザが指１００１で画面上の破線丸部分１００２をタッチした後、図５の選択欄５１１で「オブジェクト指定拡大」を選択すると、まず破線丸部分１００２に最も近いオブジェクトを検出する。図１０の１０００では、オブジェクトとして１００３〜１００６があり、それぞれからタッチ位置１００２への距離を算出する。たとえば、オブジェクト１００３からタッチ位置１００２への距離１０１３と、オブジェクト１００４からタッチ位置１００２への距離１０１４とを算出し、距離１０１３と距離１０１４を比較する。同様に、オブジェクト１００５、１００６との距離も算出する。その結果、最も距離が小さい１００３の図形を拡大領域の中心として指定する。図４のフローチャートの説明に戻る

ステップＳ４０７の「オブジェクト指定拡大」による検出範囲の指定後、図４のフローチャートを終了し、図３のステップＳ３０６へと処理を移行して、アプリケーションサーバから検出（指定）範囲の拡大画像を取得し、ステップＳ３０７において、拡大画像を表示する。図１０の１０００の場合の拡大画像の表示例を１０２０を参照して説明する。

図１０の１０２０は、「オブジェクト指定拡大」によって拡大された拡大画像の例である。図１０の１０００のオブジェクト１００３が中心となって、１０２０では拡大されて表示される。なお、拡大倍率はユーザにより予め定められていても良いし、指１００１によるタッチ後に図示しない拡大倍率入力画面により入力されても良い。また、指１００１によるタッチ後にピンチアウトすることにより拡大しても良い。ただし、ピンチアウトにより拡大表示する場合、拡大する中心点は、ステップＳ４０７により指定された領域とする。他の拡大領域指定方法の拡大倍率についても同様とする。

次に、Ｓ４０３において、「集中領域指定拡大」が選択された場合は、ステップＳ４０５へと処理を移行し、ステップＳ４０５において、ユーザインタフェース装置１００は、指でタッチしたタッチパネル上の位置から近いオブジェクトが密集している領域を拡大領域の中心とする。具体的な例を図１１を参照して説明する。

図１１は、本発明の実施形態におけるアプリケーション表示画面の一例とユーザの指を示した模式図である。

図１１の１１００は、１１０３から１１０８のオブジェクトが表示されたタッチパネル上の画面を想定している。ユーザが指１１０１で画面上の破線丸部分１１０２をタッチした後、図５の選択欄５１１で「集中領域指定拡大」を選択すると、破線丸部分１１０２の周辺を、たとえば１１００のように区画に割り、Ａ〜Ｉの領域に分ける。１１００では、タッチ部分１１０２の周りを９等分して、それぞれの区画内の対象となる特異点やオブジェクトの数により、特異点やオブジェクトの集中度（密度）を測定する。なお、それぞれの区画内の対象となる特異点としては、オブジェクトのエッジでもよく、また不連続点などでも良い。

図１１の１１００の例では、オブジェクトの数はＡに１つ、Ｃに１つ、Ｆに２つ、Ｇに３つ、Ｈに２つ、Ｉに１つ存在する。図４のフローチャートの説明に戻る。

図４のステップＳ４０５において、各区画の密度を測定すると、次にステップＳ４０６において、ユーザインタフェース装置１００は、各区画の中で最も密度（集中度）が高い領域を選択して、その領域を拡大領域と指定する。図１１を参照してステップＳ４０６の処理を説明する。

図１１の１１００の例では、各区画のオブジェクトの密度としては、Ａに１つ、Ｃに１つ、Ｆに２つ、Ｇに３つ、Ｈに２つ、Ｉに１つである。そのため、密度が最も高いのはＧエリアが該当し、Ｇエリアを拡大領域と指定する。図４のフローチャートの説明に戻る。

ステップＳ４０６の処理を終えると、図４のフローチャートを終了し、図３のステップＳ３０６へと処理を移行して、アプリケーションサーバから検出（指定）範囲の拡大画像を取得し、ステップＳ３０７において、拡大画像を表示する。図１１の１１００の場合の拡大画像の表示例を１１２０を参照して説明する。

図１１の１１２０は、「集中領域指定拡大」によって拡大された拡大画像の例である。図１１の１１００の各区画で分けられた領域の内、拡大画像１１２０にはＧエリアが拡大されて表示されている。

次に、Ｓ４０３において、「クリアランス指定拡大」か「次のクリアランス」が選択された場合は、ステップＳ４０８へと処理を移行し、ステップＳ４０８において、ユーザインタフェース装置１００は、指で選択された項目が「クリアランス指定拡大」か「次のクリアランス」かによって処理を分岐する。「クリアランス指定拡大」が選ばれている場合は、ステップＳ４０９へと処理を移行し、ユーザインタフェース装置１００は、ステップＳ４０９において、タッチしたタッチパネル上の位置から近いオブジェクトの領域の内、クリアランスが最も小さいポイントを拡大領域の中心とする為の処理を行う。具体的な例を図１２を参照して説明する。

図１２は、本発明の実施形態におけるアプリケーション表示画面の一例とユーザの指を示した模式図である。

図１２の１２００は、１２０３から１２０８のオブジェクトが表示されたタッチパネル上の画面を想定している。ユーザが指１２０１で画面上の破線丸部分１２０２をタッチした後、図８の選択欄８０１のような選択で「クリアランス指定拡大」を選択すると、破線丸部分１２０２の周辺のオブジェクト間の距離を測定する。たとえば１２００の場合、１２０３と１２０７との距離１２１１を測定し、また１２０４と１２０７との距離１２１２を測定する。このように各オブジェクト間の距離をそれぞれ測定し、メモリ２１１に記憶しておく。図４のフローチャートの説明に戻る。

図４のステップＳ４０９において、各オブジェクト間の距離を測定すると、次にステップＳ４１０において、ユーザインタフェース装置１００は、各オブジェクト間の距離が小さい順にオブジェクト間の距離をソートする。図１２を参照してステップＳ４１０の処理を説明する。

図１２の１２００の例では、ステップＳ４０９におけるオブジェクト間の距離測定の結果、１２０３と１２０７との間の距離１２１１が最も小さい場合、ソート順の最初に距離１２１１の領域を指定する。次にオブジェクト間の距離が小さい領域として、１２０４と１２０７の間の距離１２１２が該当する場合、ソート順の次の順位に距離１２１２の領域を指定する。このように、オブジェクト間の距離が小さい順にソートして、メモリ２１１に記憶していく。図４のフローチャートの説明に戻る。

図４のステップＳ４０９において、各オブジェクト間の距離を測定すると、次にステップＳ４１０において、ユーザインタフェース装置１００は、各オブジェクト間の距離が小さい順にオブジェクト間の距離をソートする。図１２を参照してステップＳ４１０の処理を説明する。図４のフローチャートの説明に戻る。

図４のステップＳ４１０において、各オブジェクト間の距離毎にソートすると、次にステップＳ４１１において、ユーザインタフェース装置１００は、最もオブジェクト間の距離が小さい領域を指定して拡大領域と選択して、その領域を拡大領域と指定する。図１２を参照してステップＳ４１１の処理を説明する。

図１２の１２００の例では、最もオブジェクト間の距離が小さい領域として、距離１２１１の領域を拡大領域と指定する。図４のフローチャートの説明に戻る。

ステップＳ４１１の処理を終えると、図４のフローチャートを終了し、図３のステップＳ３０６へと処理を移行して、アプリケーションサーバから検出（指定）範囲の拡大画像を取得し、ステップＳ３０７において、拡大画像を表示する。図１２の１２００の場合の拡大画像の表示例を１２２０を参照して説明する。

図１２の１２２０は、「クリアランス指定拡大」によって拡大された拡大画像の例である。図１２の１２００の画像の内、１２０３と１２０７の距離１２１１の領域の拡大画像１２２０を表示する。

次に、ステップＳ４０３において、「次のクリアランス」が選択された場合の実施例のイメージを図１２の１２２０，１２３０を参照して説明する。

ステップＳ４０３において、「次のクリアランス」が選択される場合とは、一度、「クリアランス指定拡大」によってオブジェクト間の距離順にソートした後に選択欄に表示されて選択される場合で、図１２の１２２１のような選択欄が、「クリアランス指定拡大」により拡大された画像を表示した後に表示される。

ステップＳ４０３において、「次のクリアランス」が選択されると、次のステップＳ４０４において、ユーザインタフェース装置１００は、「クリアランス指定拡大／次のクリアランス」の処理ステップＳ４０８へと処理を移行する。その後、ステップＳ４０８において、ユーザインタフェース装置１００は、選択された選択項目が「クリアランス指定拡大」か「次のクリアランス」か判断する。ステップＳ４０８において、「次のクリアランス」が選択されていると、ステップＳ４１２へと処理を移行する。

ステップＳ４１２へ処理が移行されると、ユーザインタフェース装置１００は、ステップＳ４１０でメモリに記憶したオブジェクト間の距離のソート結果を参照して、現在表示している拡大領域の次にオブジェクト間の距離が小さい領域を指定する。図１２の１２００、１２２０、１２３０を参照して「次のクリアランス」による拡大領域の指定例を説明する。

図１２の１２００において、１２２０のような「クリアランス指定拡大」が選択された後で、１２２１のような選択欄が表示され、ここで「次のクリアランス」ラジオボタン１２２２が選択されると、ユーザインタフェース装置１００は、次にオブジェクト間の距離が小さい結果として、１２０４と１２０７との間の距離１２１２の領域を指定する。図４のフローチャートの説明に戻る。

図４のステップＳ４１２の処理が終了すると、図４のフローチャートを終了し、図３のステップＳ３０６へと処理を移行して、アプリケーションサーバから検出（指定）範囲の拡大画像を取得する。次にステップＳ３０７において、拡大画像を表示する。図１２の１２００の場合の「釘のクリアランス」による拡大画像の表示例を１２３０を参照して説明する。

図１２の１２３０は、「次のクリアランス」によって拡大された拡大画像の例である。図１２の１２００の画像の内、距離１２１１の次にオブジェクト間の距離が小さい１２０４と１２０７の距離１２１２の領域の拡大画像１２３０を表示する。

「次のクリアランス」選択欄は２つのオブジェクト間の距離を測定した数だけ繰り返しても良いし、例えば、オブジェクト間の距離が画面全体の１／５の長さより小さい距離の分だけ繰り返しても良い。

このように、タッチパネル式のユーザインタフェース装置において、ＣＡＤなどのソフトウェアのオブジェクト間のクリアランスを拡大して確認したい場合、ユーザの望むクリアランスを中心とする拡大画像を順番に指定して、所望のクリアランス周辺の拡大画像を表示できるという効果を有する。

なお、「オブジェクト指定拡大」や「集中領域指定拡大」においても、「次のクリアランス」と同様に、次の拡大領域の候補を指定可能である。最初の領域指定方法の設定時に、たとえば、ユーザの指がタッチする位置に近い順に各オブジェクトの距離を算出し、ソートしておき、「次のオブジェクト」選択欄を設けて、ユーザの指がタッチする位置に近い順に各オブジェクトを拡大領域とすることも可能である。

以上のような構成により、本願発明は、タッチパネル上にユーザが表示させたいオブジェクトの拡大を的確に行うことができるという効果を有する。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本実施形態における図３、図４に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ ユーザインタフェース装置
１０１ データ表示部
１０２ 入力受付部
１０３ 表示画面拡大部
１０４ 拡大領域検出部
１０５ 画面移動部
１０６ 近接オブジェクト検出部
１０７ オブジェクト間クリアランス領域検出部
１０８ オブジェクト／特徴点密集領域検出部
１０９ 拡大領域検出方法選択部
１１０ アプリケーションサーバ
１１１ アプリケーション
１１２ アプリケーションＤＢ

Claims (10)

1. タッチパネルの画面をタッチすることにより、画面上のオブジェクト表示画面を拡大する表示画面拡大手段と、
   前記タッチパネルの画面がタッチされる際に、前記タッチされた範囲の近接の拡大するオブジェクトまたは領域を検出する拡大領域検出手段と、
   前記表示画面拡大手段は、
   前記拡大領域検出手段により検出されたオブジェクトまたは領域を、オブジェクト表示画面に拡大して表示することを特徴とするユーザインタフェース装置。
2. 前記拡大領域検出手段は、前記タッチパネルの画面をタッチされた範囲に表示されるオブジェクトがない場合に、前記タッチされる範囲の近接のオブジェクトまたは領域を検出することを特徴とする請求項１に記載のユーザインタフェース装置。
3. 前記拡大領域検出手段により検出される領域をオブジェクト表示画面の中心に移動させる画面移動手段を有することを特徴とする請求項１または２に記載のユーザインタフェース装置。
4. 前記表示画面拡大手段は、
   前記拡大領域検出手段により検出される複数の領域候補を所定の順番で表示することを特徴とする請求項１乃至３に記載のユーザインタフェース装置。
5. 前記拡大領域検出手段は、
   前記タッチされる範囲に近い順にオブジェクトを検出する近接オブジェクト検出手段を有することを特徴とする請求項１乃至４に記載のユーザインタフェース装置。
6. 前記拡大領域検出手段は、
   前記タッチされる範囲に近接する複数のオブジェクト間の、前記複数のオブジェクト間の距離が小さい順に領域を検出するオブジェクト間クリアランス領域検出手段を有することを特徴とする請求項１乃至５に記載のユーザインタフェース装置。
7. 前記拡大領域検出手段は、
   前記タッチされる範囲に近接するオブジェクトの中で、前記オブジェクトもしくはオブジェクトの特徴点の密集度が高い領域を順に検出するオブジェクト／特徴点密集領域検出手段を有することを特徴とする請求項１乃至６に記載のユーザインタフェース装置。
8. 実行されるアプリケーション毎に前記拡大領域検出手段が有する複数の検出手段を選択可能に表示する拡大領域検出方法選択部を有することを特徴とする請求項１乃至７に記載のユーザインタフェース装置。
9. タッチパネルの画面をタッチすることにより、画面上のオブジェクト表示画面を拡大する表示画面拡大工程と、
   前記タッチパネルの画面がタッチされる際に、前記タッチされた範囲の近接の拡大するオブジェクトまたは領域を検出する拡大領域検出工程と、
   前記表示画面拡大工程は、
   前記拡大領域検出工程により検出されたオブジェクトまたは領域を、オブジェクト表示画面に拡大して表示することを特徴とするユーザインタフェース方法。
10. 請求項９に記載されたユーザインタフェース方法をコンピュータに実行させるためのプログラム。

Images