JP2006323492A

JP2006323492A - 制御装置およびプログラム

Info

Publication number: JP2006323492A
Application number: JP2005144083A
Authority: JP
Inventors: Atsushi Nakahira; 篤中平; Takafumi Suzuki; 尚文鈴木; Daisuke Ochi; 大介越智
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-05-17
Filing date: 2005-05-17
Publication date: 2006-11-30

Abstract

【課題】立体表示による実在感のある表示オブジェクトに対して、わかりやすく使いやすい操作方法を提示可能なユーザインタフェースを提供する。
【解決手段】表示装置と、前記表示装置に表示されたオブジェクト画像をポインティングする入力装置と、制御装置とから構成されるユーザインタフェース装置の制御装置であって、前記入力装置を操作した操作情報が入される操作情報入力手段と、前記入力された操作情報に基づき、被制御装置を制御するための制御パラメータを算出する制御パラメータ算出手段と、前記算出された制御パラメータに基づき、所定のオブジェクト画像を予め定めた複数の表示領域のいずれかの領域内の所定位置に表示するようにオブジェクト位置を算出するオブジェクト位置算出手段と、前記算出されたオブジェクト位置に基づき、前記オブジェクト画像を前記表示装置に表示させる表示制御手段とを有する。
【選択図】図２

Description

本発明は、制御装置およびプログラムに係り、特に、コンピュータシステムのグラフィカルユーザインタフェースにおいて、表示オブジェクトを直接操作する端末コンピュータの操作方法と操作に伴う表示方法に関する。

銀行のＡＴＭ（Automatic Teller Machine）やコンビニエンスストアのキオスク端末、或いは駅での券売機など、電子ディスプレイとタッチパネル入力を組み合わせた端末が広く普及している。
サービス提供者側としては、電子ディスプレイによって、多種多様なメニュー画面を提示できるため、多くのサービスを１台の端末で提供することができる利点がある。
これに対して、タッチパネル入力装置は、多様なメニューに対して、その表示メニューに触れることにより、メニューの選択が可能であるため、比較的容易に利用者が使い方を学習できると考えられている。このような背景の下、タッチパネル入力を用いた端末が広く普及している。
しかしながら、現在広く用いられている端末では、操作画面としては、メニューの項目とその入力受付領域を表示するだけであり、操作としてはその画面に触れるという単調なルーチンになっている。（下記、非特許文献１参照）

なお、本願発明に関連する先行技術文献としては以下のものがある。
河村正行、「よくわかるタッチパネル」、電波新聞社、2004年5月１日、p.28-31 特許第３０２２５５８号明細書特許第３４６０６７１号明細書

タッチパネル入力を用いた端末では、一二回の操作で、目的が達成できる場合には、前述したような単調な手順が、利用者にとっても使い勝手のよいものであった。
しかしながら、サービスが多様化していく中で、利用者は単調な手順を繰り返し何度も行うことが必要とされている場合には、必ずしも使いやすいとは言えない。
また、操作結果の表示による呈示の方法も乏しいため、繰り返し操作をおこなう中では、操作者が意図した操作をおこなえているかの確認も十分にとれているとはいえない。
また、メニュー項目を選択する操作では、使い方が限られてしまう。例えば、ある数値の微調整をおこなう場合、「＋」メニューで数値を一定の割合で増やしていくことがある。この場合、一定の割合を変化しないと、微調整をおこなうことは困難であるが、微調整をおこなうためにさらに別のメニューが必要になる。
こうした状況では、メニューによる操作が、複雑化し操作途中で誤操作を起こしやすいことや、数値を確定するまでに長い時間がかかってしまうことが予想される。
このように、操作としては、単に触れるだけの操作ではなく、行いたいタスクに応じて、柔軟な操作方法が求められていた。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、立体表示による実在感のある表示オブジェクトに対して、わかりやすく使いやすい操作方法を提示可能なユーザインタフェースを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の課題を達成するために、本発明は、表示装置と、前記表示装置に表示されたオブジェクト画像をポインティングする入力装置と、制御装置とから構成されるユーザインタフェース装置の制御装置であって、前記入力装置を操作した操作情報が入される操作情報入力手段と、前記入力された操作情報に基づき、被制御装置を制御するための制御パラメータを算出する制御パラメータ算出手段と、前記算出された制御パラメータに基づき、所定のオブジェクト画像を予め定めた複数の表示領域のいずれかの領域内の所定位置に表示するようにオブジェクト位置を算出するオブジェクト位置算出手段と、前記算出されたオブジェクト位置に基づき、前記オブジェクト画像を前記表示装置に表示させる表示制御手段とを有する。
即ち、本発明は、操作画面と操作に対する応答を３次元表示により呈示するとともに、単に一点を触る操作のみならず、指等でなぞる操作（ドラッグ操作）など、タッチパネル等における入力軌跡に応じた入力を受け付けることを最も主要な特徴とする。

従来の技術とは、奥行き方向への変化を表示できる点が異なっており、本発明では、奥行き方向の表示を行うことができるので、従来の２次元表示を損なうことなく、視認性が高い表示により利用者にわかりやすい状態呈示が可能であるとともに付加情報の提示が可能である。
さらに、３次元表示により実在感のある表示オブジェクトに対して、入力軌跡に応じた入力を行うことで、実物体を操作するのに近い感覚を利用者に呈示でき、利用者の操作性を向上させることができる利点もある。
従来の端末は、２次元表示装置を利用して、メニュー項目とそのメニューの選択領域の表示を行い、入力としては、タッチパネルのどの場所に利用者が触れたかを用いている。そのために、表示と操作が単調で視認性に乏しい。
一方、３次元表示装置を用いた端末では、入力画面の操作箇所を視認性高く表示し、表示に応じて受け付けられる入力方法も多様化している。従って、視認性の高いユーザインタフェースとすることが可能となり、本発明の目的である利用者にわかりやすく使いやすいユーザインタフェースを提供することができるようになる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、３次元表示を用いて実在感のある操作オブジェクトを実物体に近い形で操作できるので、操作性の高いユーザインタフェースが実現可能である。
また、操作に対する表示を３次元化したので、視認性の高いユーザインタフェースが実現可能である。
さらに、操作オブジェクトの表示領域を複数設定し、出力値がある閾値を超える場合などに、通常のドラッグ操作以外の所定の操作によって操作オブジェクトの表示領域を変化させるようにしたので、操作者に対して直感的な注意喚起を呈示可能なユーザインタフェースが実現可能である。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
始めに、本発明で使用されるＤＦＤ（Depth-Fused-3D）方式の３次元表示装置について説明する。
［ＤＦＤ方式の３次元表示装置の一例］
図１２は、ＤＦＤ方式の３次元表示装置の一例を説明するための図である。
図１２に示す３次元表示装置は、観察者１００の前面に複数の面、例えば、表示面（１０１，１０２）（表示面１０１が表示面１０２より観察者１００に近い）を設定し、これらの表示面（１０１，１０２）に複数の２次元像を表示するために、２次元表示装置と種々の光学素子を用いて光学系１０３を構築する。
前記２次元表示装置としては、例えば、ＣＲＴ、液晶ディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、ＥＬディスプレイ、ＦＥＤディスプレイ、ＤＭＤ、プロジェクション方式ディスプレイ、オシロスコープのような線描画型ディスプレイなどを用い、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲鏡、プリズム、偏光素子、波長板などを用いる。
なお、図１２は、前述の特許文献１に記載されているものと同じ構成のものであり、また、この表示面の設定方法については、前述の特許文献１を参照されたい。
図１２に示す３次元表示装置では、図１３に示すように、観察者１００に提示したい３次元物体１０４を、観察者１００の両眼の視線方向から、前述の表示面（１０１，１０２）へ射影した像（以下、「２Ｄ化像」と呼ぶ）（１０５，１０６）を生成する。
この２Ｄ化像の生成方法としては、例えば、視線方向から３次元物体１０４をカメラで撮影した２次元像を用いる方法、あるいは別の方向から撮影した複数枚の２次元像から合成する方法、あるいはコンピュータグラフィックによる合成技術やモデル化を用いる方法など種々の方法がある。

図１２に示すように、前記２Ｄ化像（１０５，１０６）を、各々表示面１０１と表示面１０２の双方に、観察者１００の右眼と左眼とを結ぶ線上の一点から見て重なるように表示する。これは、例えば、２Ｄ化像（１０５，１０６）の各々の中心位置や重心位置の配置と、各々の像の拡大・縮小を制御することで可能となる。
かかる構成を有する装置上で、２Ｄ化像（１０５，１０６）の各々の輝度を、観察者１００から見た総体的な輝度を一定に保ちつつ、３次元物体１０４の奥行き位置に対応して変えることで、３次元物体１０４の３次元立体像を表示する。
その２Ｄ化像（１０５，１０６）の各々の輝度の変え方の一例について説明する。なお、ここでは、白黒図面であるため、分かりやすいように、以下の図面では、輝度の高い方を濃く示してある。
例えば、３次元物体１０４が表示面１０１上にある場合には、図１４に示すように、この上の２Ｄ化像１０５の輝度を３次元物体１０４の輝度に等しくし、表示面１０２上の２Ｄ化像１０６の輝度はゼロとする。
次に、例えば、３次元物体１０４が観察者１００より少し遠ざかって表示面１０１より表示面１０２側に少し寄った位置にある場合には、図１５に示すように、２Ｄ化像１０５の輝度を少し下げ、２Ｄ化像１０６の輝度を少し上げる。

次に、例えば、３次元物体１０４が観察者１００よりさらに遠ざかって表示面１０１より表示面１０２側にさらに寄った位置にある場合には、図１６に示すように、２Ｄ化像１０５の輝度をさらに下げ、２Ｄ化像１０６の輝度をさらに上げる。
さらに、例えば、３次元物体１０４が表示面１０２上にある場合には、図１７に示すように、この上の２Ｄ化像１０６の輝度を３次元物体１０４の輝度に等しくし、表示面１０１上の２Ｄ化像１０５の輝度はゼロとする。
このように表示することにより、観察者（人）１００の生理的あるいは心理的要因あるいは錯覚により、表示しているのが２Ｄ化像（１０５，１０６）であっても、観察者１００にはあたかも表示面（１０１，１０２）の中間に３次元物体１０４が位置しているように感じられる。
例えば、表示面（１０１，１０２）にほぼ等輝度の２Ｄ化像（１０５，１０６）を表示した場合には、表示面（１０１，１０２）の奥行き位置の中間付近に３次元物体１０４があるように感じられる。この場合に、この３次元物体１０４は、観察者１００には立体感を伴って知覚される。

なお、前記説明においては、例えば、３次元物体全体の奥行き位置を、例えば、表示面（１０１，１０２）に表示した２次元像を用いて表現する方法について主に述べたが、図１２に示す３次元表示装置は、例えば、３次元物体自体が有する奥行きを表現する方法としても使用できることは明らかである。
３次元物体自体が有する奥行きを表現する場合における重要な要点は、図１２に示す構成を有する装置上で、２Ｄ化像（１０５，１０６）の各々の部位の輝度を、観察者１００から見た総体的な輝度を一定に保ちつつ、３次元物体１０４の各部位が有する奥行き位置に対応して変えることである。
なお、前述の説明では、２次元像を配置する面の中で主に２つの面に関してのみ記述し、かつ観察者に提示する物体が２つの面の間にある場合について述べたが、２次元像を配置する面の個数がこれよりも多く、あるいは提示する物体の位置が異なる場合であっても、同様な手法により３次元立体像を表示することが可能であることは明らかである。
例えば、面が３つで、観察者１００に近い面と、中間の面との間に第１の３次元物体が、中間の面と、観察者１００に遠い面との間に第２の３次元物体が存在する場合には、観察者１００に近い面と、中間の面とに、第１の３次元物体の２Ｄ化像を表示し、中間の面と、観察者１００に遠い面とに第２の３次元物体の２Ｄ化像を表示することで、第１および第２の３次元物体の３次元立体像を表示することができる。

さらに、２Ｄ化像が３次元的に移動する場合に関しては、観察者の左右上下方向への移動に関しては通常の２次元表示装置の場合と同様に表示面内での動画再生によって可能であり、奥行き方向への移動に関しては、２Ｄ化像（１０５，１０６）の各々の輝度を、観察者１００から見た総体的な輝度を一定に保ちつつ、３次元立体像の奥行き位置の時間的変化に対応して変化させることにより、３次元像の動画を表現できることは明らかである。
例えば、３次元立体像が表示面１０１より表示面１０２まで時間的に移動する場合について説明する。
３次元立体像が表示面１０１上にある場合には、図１４に示すように、表示面１０１上の２Ｄ化像１０５の輝度を３次元立体像の輝度に等しくし、表示面１０２上の２Ｄ化像１０６の輝度はゼロとする。
次に、例えば、３次元立体像が、次第に観察者１００より時間的に少し遠ざかり、表示面１０１より表示面１０２側に時間的に少し寄ってくる場合には、図１５に示すように、３次元立体像の奥行き位置の移動に対応させて２Ｄ化像１０５の輝度を時間的に少し下げ、かつ２Ｄ化像１０６の輝度を時間的に少し上げる。

次に、例えば、３次元立体像が観察者１００より時間的にさらに遠ざかり、表示面１０１より表示面１０２側にさらに寄った位置に時間的に移動する場合には、図１６に示すように、３次元立体像の奥行き位置の移動に対応させて２Ｄ化像１０５の輝度を時間的にさらに下げ、かつ２Ｄ化像１０６の輝度を時間的にさらに上げる。
さらに、例えば、３次元立体像が表示面１０２上まで時間的に移動してきた場合には、図１７に示すように、３次元立体像の奥行き位置の移動に対応させてこの上の２Ｄ化像１０６の輝度を３次元立体像の輝度に等しくなるまで時間的に変化させ、かつ表示面１０１上の２Ｄ化像１０５の輝度がゼロとなるまで変化させる。
このように表示することにより、人の生理的あるいは心理的要因あるいは錯覚により、表示しているのが２Ｄ化像（１０５，１０６）であっても、観察者１００にはあたかも表示面（１０１，１０２）の間を、表示面１０１から表示面１０２に３次元立体像が奥行き方向に移動するように感じられる。

なお、前述の説明では、３次元立体像が表示面１０１から表示面１０２まで移動する場合について述べたが、これが表示面（１０１，１０２）の間の途中の奥行き位置から表示面１０２まで移動する場合や、表示面１０１から表示面（１０１，１０２）の間の途中の奥行き位置まで移動する場合や、表示面（１０１，１０２）の間の途中の奥行き位置から表示面（１０１，１０２）の間の途中の別な奥行き位置まで移動する場合であっても、同様なことが可能なことは明らかである。
なお、前述の説明では、２Ｄ化像を配置する面の中で主に２つの面に関してのみ記述し、かつ観察者１００に提示する３次元立体像が２つの面の間を移動する場合について述べたが、２次元像を配置する面の個数がこれよりも多く、あるいは提示する３次元物体が複数の面をまたがって移動する場合であっても、同様な手法により、３次元立体像を表示可能であり、同様な効果が期待できることは明らかである。
また、前述の説明では、１個の３次元立体像が２次元像を配置する二つの面内で移動する場合について説明したが、複数個の３次元物体が移動する場合、即ち、表示される２次元像が、それぞれ移動方向の異なる複数の物体像を含む場合には、各表示面に表示される物体像の輝度を、物体像毎に、その物体の移動方向および移動速度に応じて変化させればよいことは明らかである。

［ＤＦＤ方式の３次元表示装置の他の例］
図１８は、ＤＦＤ方式の３次元表示装置の他の例を説明するための図である。
図１８に示す３次元表示装置は、観察者１００の前方に、複数の透過型表示装置、例えば、透過型表示装置（１１１，１１２）（透過型表示装置１１１が透過型表示装置１１２より観察者１００に近い）と、種々の光学素子と、光源１１０を用いて光学系１０３を構築する。即ち、本実施例では、前述の図１２における表示面（１０１，１０２）に代えて、透過型表示装置（１１１，１１２）を用いるものである。
前記透過型表示装置（１１１，１１２）としては、例えば、ツイストネマティック型液晶ディスプレイ、イン・プレイン型液晶ディスプレイ、ホモジニアス型液晶ディスプレイ、強誘電液晶ディスプレイ、ゲスト−ホスト型液晶ディスプレイ、高分子分散型液晶ディスプレイ、ホログラフィック高分子分散型液晶ディスプレイ、あるいはこれらの組み合わせなどを使用する。また、光学素子としては、例えば、レンズ、全反射鏡、部分反射鏡、曲面鏡、プリズム、偏光素子、波長板などを用いる。
なお、図１８では、バックライト（光源）１１０が、観察者１００から見て最も後方に配置された場合を示し、また、図１８は、前述の特許文献２に記載されているものと同じ構成のものである。

図１８に示す３次元表示装置においても、前述の図１３に示すように、観察者１００に提示したい３次元物体１０４を、観察者１００から見て、前記透過型表示装置（１１１，１１２）へ射影した２Ｄ化像（１０７，１０８）を生成する。
前記２Ｄ化像（１０７，１０８）を、図１８に示すように、各々透過型表示装置１１１と透過型表示装置１１２との双方に、観察者１００の右眼と左眼を結ぶ線上の一点から見て重なるように、２Ｄ化像（１０７，１０８）として表示する。
これは、例えば、２Ｄ化像（１０７，１０８）の各々の中心位置や重心位置の配置と、各々の像の拡大／縮小率を制御することで可能となる。
前記構成を有する装置上で、観察者１００が見る像は、光源１１０から射出された光で、２Ｄ化像１０８を透過し、さらに２Ｄ化像１０７を透過した光によって生成される。
図１８に示す３次元表示装置では、前記構成を有する装置上で、２Ｄ化像（１０７，１０８）の各々の透過度の配分を、観察者１００から見た総体的な輝度を一定に保ちつつ、３次元物体１０４の奥行き位置に対応して変えて、透過型表示装置１１１と透過型表示装置１１２との間に存在する３次元物体の３次元立体像を表示する。

その２Ｄ化像（１０７，１０８）の各々の透過度の変え方の一例について説明する。
例えば、３次元物体１０４が透過型表示装置１１１上にある場合には、透過型表示装置１１１上の透過度を、２Ｄ化像１０７の輝度が３次元物体１０４の輝度に等しくなるように設定し、透過型表示装置１１２上の２Ｄ化像１０８の部分の透過度を、例えば、その透過型表示装置１１２の最大値とする。
次に、例えば、３次元物体１０４が観察者１００より少し遠ざかって、透過型表示装置１１１より透過型表示装置１１２側に少し寄った位置にある場合には、透過型表示装置１１１上の２Ｄ化像１０７の部分の透過度を少し増加させ、透過型表示装置１１２上の２Ｄ化像１０８の部分の透過度を少し減少させる。
次に、例えば、３次元物体１０４が観察者１００よりさらに遠ざかって、透過型表示装置１１１より透過型表示装置１１２側にさらに寄った位置にある場合には、透過型表示装置１１１上の２Ｄ化像１０７の部分の透過度をさらに増加させ、透過型表示装置１１２上の２Ｄ化像１０８の部分の透過度をさらに減少させる。
さらに、例えば、３次元物体１０４が透過型表示装置１１２上にある場合には、透過型表示装置１１２上の透過度を、２Ｄ化像１０８の輝度が３次元物体１０４の輝度に等しくなるように設定し、透過型表示装置１１１上の２Ｄ化像１０７の部分の透過度を、例えば、透過型表示装置１１１の最大値とする。

このように表示することにより、観察者（人）１００の生理的あるいは心理的要因あるいは錯覚により、表示しているのが２Ｄ化像（１０７，１０８）であっても、観察者１００にはあたかも透過型表示装置（１１１，１１２）の中間に３次元物体１０４が位置しているように感じられる。
即ち、例えば、透過型表示装置（１１１，１１２）にほぼ等輝度の２Ｄ化像（１０７，１０８）を表示した場合には、透過型表示装置（１１１，１１２）の奥行き位置の中間付近に３次元物体１０４があるように感じられる。この場合に、この３次元物体１０４は、観察者１００には立体感を伴って知覚される。
なお、前述の説明においては、例えば、３次元物体全体の奥行き位置を、例えば、透過型表示装置（１１１，１１２）に表示した２次元像を用いて表現する方法について主に述べたが、図１８に示す３次元表示装置においても、図１２に示す３次元表示装置で説明した方法と同様の手法により、例えば、３次元物体自体が有する奥行きを表現する方法としても使用できることは明らかである。
また、図１８に示す３次元表示装置においても、図１２に示す３次元表示装置で説明した方法と同様の手法により、２Ｄ化像が３次元的に移動する場合には、観察者１００の左右上下方向への移動に関しては通常の２次元表示装置の場合と同様に透過型表示装置内での動画再生によって可能であり、また、奥行き方向への移動に関しては、複数の透過型表示装置における透過度の変化を時間的に行うことで、３次元立体像の動画を表現することができることは明らかである。

［実施例１］
図１は、本発明の実施例１のユーザインタフェース装置のシステム構成を示す図であり、図１に示すユーザインタフェース装置は、制御装置１と、表示装置２と、入力装置３とで構成される。ここで、表示装置２は、前述したＤＦＤ方式の３次元表示装置が使用され、入力装置３として、タッチパネル入力装置が使用される。
図２は、図１に示す制御装置１の概略構成を示すブロック図である。
図２に示すように、制御装置１は、入力装置（タッチパネル入力装置）３に接続され、入力装置３を操作した操作情報が入力される操作情報入力部１２と、入力された操作情報に基づき、被制御装置を制御するための制御パラメータを算出する制御パラメータ算出部１３と、算出された制御パラメータに基づき、オブジェクト画像を所定位置に表示するようにオブジェクト位置を算出するオブジェクト位置算出部１１と、算出されたオブジェクト位置に基づき、オブジェクト画像を表示装置（ＤＦＤ方式の３次元表示装置）２に表示させる表示制御部１０と、制御パラメータの範囲とオブジェクト画像の表示領域の座標範囲とを対応付けて記憶する記憶部１５と、制御パラメータを出力する制御パラメータ出力部１４とで構成される。

以下、制御パラメータの値の微調整が容易なユーザインタフェースについて説明する。
図３に、本実施例における制御パラメータを操作するインタフェース操作画面の一例の模式図を示す。
制御パラメータの値は、図３に示すスライダオブジェクト２０の位置を移動させることによって変化させることができる。スライダオブジェクト２０は、ＤＦＤ表示方式で３次元表示することで、実物に近い実在感を持つ表示が可能である。
本実施例では、スライダオブジェクト２０の表示上を図３における上下方向に指先でなぞる操作、すなわち、指によるドラッグ操作によって、スライダオブジェクト２０の位置が変化する。
このドラッグ操作は、実物体の操作に近いため、利用者に対して簡単な説明で、利用者は操作を習得可能である。
また、スライダオブジェクト２０に隣接して、制御パラメータの値を示すインジケータ２１も表示される。
このインジケータ２１は、スライダオブジェクト２０が変化するにつれて点灯するが、その点灯位置は、ＤＦＤ表示方式で３次元表示することにより、図４に示すように、奥行き方向に変化させることができる。
このため、インジケータ２１の奥行き位置によっても、利用者は制御パラメータの変化を的確にとらえることができるため、視認性に優れた表示を呈示することができる。
なお、図４において、７−１、７−２は、ＤＦＤ表示方式で３次元表示するための２枚のディスプレイである。

図５は、図１に示す制御装置１の処理手順を示すフローチャートである。以下、図５を用いて、図１に示す制御装置１の処理手順について説明する。
始めに、表示装置２に、スライダオブジェクト２０およびインジケータ２１を表示する（ステップ２０１）。
次に、操作情報入力部１２において、座標位置の入力があったか否かを判断し（ステップ２０２）、ステップ２０２においてｙｅｓの場合は、制御パラメータ算出部１３が記憶部１５に記憶された表示領域座標範囲を読み出し、入力位置がスライダオブジェクト２０の判定領域内であるか否かを判断する（ステップ２０３）。
ステップ２０３においてｙｅｓの場合は、ドラッグ判定処理に移り、引き続き座標位置の入力があるか否か（ステップ２０４）、入力位置は変化したか否か（ステップ２０５）、変化した入力位置は特定の領域内にあるか否かを判断する（ステップ２０６）。
なお、ステップ２０２、ステップ２０３、ステップ２０４においてｎｏの場合は、ステップ２０２に戻り、前述した処理手順を繰り返す。同様に、ステップ２０５、ステップ２０６においてｎｏの場合は、ステップ２０４に戻り、前述した処理手順を繰り返す。
ステップ２０６においてｙｅｓの場合は、記憶部１５に記憶された制御パラメータの範囲を読み出し、入力位置から制御パラメータ値を算出し（ステップ２０７）、制御パラメータ値を記憶部１５に記憶する。

制御パラメータ出力部１４は、制御パラメータ算出部１３から出力された制御パラメータ値を出力する（ステップ２０８）。
オブジェクト位置算出部１１は、制御パラメータ算出部１３から出力された制御パラメータ値に基づき、スライダオブジェクト２０およびインジケータ２１のそれぞれの表示位置を算出し（ステップ２０９）、記憶部１５に記憶する。
表示制御部１０は、表示装置２における、オブジェクト位置算出部１１で算出されたそれぞれの表示位置にスライダオブジェクト２０およびインジケータ２１を表示し（ステップ２１０）、ステップ２０２に戻る。
なお、本実施例では、入力装置３として、タッチパネル入力装置を用いたが、ペン入力装置、あるいは、マウスやトラックパッド、トラックボールなど、その他のポインティングデバイスを用いても構わない。
また、従来技術では、タッチパネルで出力値を変化させる操作は、出力値を増やすプラスメニュー部分と、出力値を減らすマイナスメニュー部分をタッチすることによって、その値を制御していた。
この場合、１回の操作で変化させる変化量があらかじめ設定されており、プラス（マイナス）メニュー部分に触れる回数で変化量が決定されるため、出力値を微妙に調整するなど自由度の高い制御ができなかった。
また、インジケータも２次元表示の単調な表現にとどまっており、そのため、従来技術は視認性に乏しいという問題もあった。

［実施例２］
図６は、本発明の実施例２のユーザインタフェース装置のシステム構成を示す図であり、図６に示すシステムは、制御装置１と、表示装置２と、入力装置３とで構成される。
ここで、表示装置２は、前述したＤＦＤ方式の３次元表示装置が使用され、入力装置３として、入力ペン４を備えるペン入力装置が使用される。
図７は、図６に示す制御装置１の概略構成を示すブロック図である。
図７に示すように、制御装置１は、入力装置（ペン入力装置）３に接続され、入力装置３を操作した操作情報が入力される操作情報入力部１２と、入力された操作情報に基づき、被制御装置を制御するための制御パラメータを算出する制御パラメータ算出部１３と、算出された制御パラメータに基づき、オブジェクト画像を所定位置に表示するようにオブジェクト位置を算出するオブジェクト位置算出部１１と、算出されたオブジェクト位置に基づき、オブジェクト画像を表示装置（ＤＦＤ方式の３次元表示装置）２に表示させる表示制御部１０と、予め定めた複数の表示領域ごとに表示領域を識別する情報と制御パラメータの範囲とオブジェクト画像の表示領域の座標範囲とを対応付けて記憶する記憶部１５と、制御パラメータを出力する制御パラメータ出力部１４とで構成される。

以下、制御パラメータの値の微調整が容易なユーザインタフェースについて説明する。
図８に、本実施例における制御パラメータを操作するインタフェース操作画面の一例の模式図を示す。
制御パラメータの値は、図８に示されたスライダオブジェクト２０の位置を移動させることによって変化させることができる。
スライダオブジェクト２０は、ＤＦＤ表示方式の３次元表示により、実物に近い実在感を持つ表示が可能である。
本実施例では、スライダオブジェクト２０の表示上を、図８における上下方向に、入力ペン４のペン先でなぞる操作、すなわち、入力ペン４によるドラッグ操作によって、スライダオブジェクト２０の位置が変化する。
このドラッグ操作は、実物体の操作に近いため、利用者に対して簡単な説明で、利用者は操作を習得可能である。
スライダオブジェクト２０のレール部分、すなわち、スライダオブジェクト２０が移動する領域は、第１の表示領域３０と第２の表示領域３１の２つの領域に分割されており、これらの表示領域間で、図９に示すように、ＤＦＤ表示方式の３次元表示により、スライダオブジェクト２０のレール部分の奥行き位置が異なる表示を行っている。

この２つの表示領域間の境界を越えてスライダオブジェクト２０を移動させるためには、境界領域で、一旦、ドラッグ操作をやめてから一定時間以上、スライダオブジェクト２０を選択し続ける操作が必要である。
しかし、これらの表示領域間では、前述したように、スライダオブジェクト２０のレール部分の奥行き位置が異なって表示されるため、スライダオブジェクト２０が境界領域で一旦停止しても、操作者にとっては違和感がない。このため、この境界で新たに操作が必要であることも操作者にとってわかりやすい。
また、スライダオブジェクト２０に隣接して、制御パラメータの値を示すメータ型のオブジェクト（以下、単に、メータという）２２も表示している。
このメータ２２は、スライダオブジェクト２０が変化するにつれて回転するが、その針の奥行き位置は回転角度に応じて変化している。
このため、メータ２２の奥行き位置によっても、利用者は制御パラメータの変化をとらえることができるため、視認性に優れた表示を呈示することができる。
本実施例では、スライダオブジェクト２０の第２の表示領域３１と、図９に示すメータ２２のレッドゾーン２３とを対応させている。
制御パラメータの値がある閾値を超える場合などに、このような複数の表示領域を設定することにより、操作者に対して直感的な注意喚起も呈示することが可能となる。

図１０、図１１は、図６に示す制御装置１の処理手順を示すフローチャートである。以下、図１０、図１１を用いて、図６に示す制御装置１の処理手順について説明する。
始めに、スライダオブジェクト２０の表示領域（第１の表示領域３０、第２の表示領域３１）を設定し、表示装置２に、スライダオブジェクト２０およびインジケータ２１を表示する（ステップ２０１）。なお、スライダオブジェクト２０の表示領域（第１の表示領域３０、第２の表示領域３１）は、記憶部１５に記憶される。
次に、操作情報入力部１２において、座標位置の入力があったか否かを判断し（ステップ３０２）、ステップ３０２においてｙｅｓの場合は、制御パラメータ算出部１３が記憶部１５に記憶された表示領域座標範囲を読み出し、入力位置がスライダオブジェクト２０の判定領域内であるか否かを判断する（ステップ３０３）。
ステップ３０３においてｙｅｓの場合は、ドラッグ判定処理に移り、引き続き座標位置の入力があるか否か（ステップ３０４）、入力位置は変化したか否か（ステップ３０５）、変化した入力位置は特定の領域内にあるか否かを判断する（ステップ３０６）。
なお、ステップ３０２、ステップ３０３、ステップ３０４においてｎｏの場合は、ステップ３０２に戻り、前述した処理手順を繰り返す。同様に、ステップ３０５、ステップ３０６においてｎｏの場合は、ステップ３０４に戻り、前述した処理手順を繰り返す。
ステップ３０６においてｙｅｓの場合は、記憶部１５に記憶された制御パラメータの範囲を読み出し、入力位置から制御パラメータ値を算出し（ステップ３０７）、制御パラメータ値を記憶部１５に記憶する。
次に、制御パラメータ値がスライダオブジェクト２０の表示領域に対応する範囲を超えるか否かを判断する（ステップ３０８）。

ステップ３０８においてｎｏの場合は、制御パラメータ出力部１４は、制御パラメータ算出部１３から出力された制御パラメータ値を出力する（ステップ３０９）。
オブジェクト位置算出部１１は、制御パラメータ算出部１３から出力された制御パラメータ値に基づき、スライダオブジェクト２０およびインジケータ２１のそれぞれの表示位置を算出し（ステップ３１０）、記憶部１５に記憶する。
表示制御部１０は、表示装置２における、オブジェクト位置算出部１１で算出されたそれぞれの表示位置にスライダオブジェクト２０およびインジケータ２１を表示し（ステップ３１１）、ステップ３０２に戻る。
ステップ３０８においてｙｅｓの場合は、スライダオブジェクト２０が表示されている領域の境界値を制御パラメータ値とし（ステップ３１２）、記憶部１５に記憶する。
制御パラメータ出力部１４は、制御パラメータ算出部１３から出力された制御パラメータ値を出力する（ステップ３１３）。
オブジェクト位置算出部１１は、制御パラメータ算出部１３から出力された制御パラメータ値に基づき、スライダオブジェクト２０およびインジケータ２１のそれぞれの表示位置を算出し（ステップ３１４）、記憶部１５に記憶する。
表示制御部１０は、表示装置２における、オブジェクト位置算出部１１で算出されたそれぞれの表示位置にスライダオブジェクト２０およびインジケータ２１を表示する（ステップ３１５）。

次に、操作情報入力部１２において、引き続き座標位置の入力があるか否かを判断し（ステップ３１６）、ステップ３１６においてｙｅｓの場合は、ステップ３０５に戻り、前述した処理手順を繰り返す。
ステップ３１６においてｎｏの場合は、座標位置の入力があったか否かを判断し（ステップ３１７）、ステップ３１７においてｙｅｓの場合は、記憶部１５に記憶された表示領域座標範囲を読み出し、入力位置がスライダオブジェクト２０の判定領域内であるか否かを判断する（ステップ３１８）。
ステップ３１７、ステップ３１８においてｎｏの場合は、ステップ３１７に戻り、前述した処理手順を繰り返す。
ステップ３１８においてｙｅｓの場合は、引き続き所定時間以上、一定座標位置の入力が維持されたか否かを判断し（ステップ３１９）、ステップ３１９においてｎｏの場合は、ステップ３１６に戻り、前述した処理手順を繰り返す。
ステップ３１９においてｙｅｓの場合は、スライダオブジェクト２０の表示領域を制御パラメータ値に対応する境界値を有する隣接表示領域に変更し（ステップ３２０）、ステップ３１０に戻り、前述した処理手順を繰り返す。

なお、本実施例では、入力装置３として、ペン入力装置を用いたが、実施例１と同様、タッチパネル入力装置を用いても構わないし、マウスやトラックパッド、トラックボールなど、その他のポインティングデバイスを用いても構わない。
また、前述の説明では、領域間の境界を越えてスライダオブジェクト２０を移動させるための操作として、一定時間以上スライダオブジェクト２０を選択し続ける操作を行う例を説明したが、このような操作の代わりに、他の特定のオブジェクトを選択する操作、スライダの領域外の方向へのドラッグ操作（例えば、スライダオブジェクト２０のレール部分に沿った可動方向に対して直角方向へのドラッグ操作）、あるいは、外部スイッチを切り替える操作などを行うようにしてもよい。
また、ペン入力の圧力を検知可能なペン入力装置を用いた場合には、ペン入力の圧力を変化させる（例えば、圧力を所定の閾値以上に強くする）操作を行うようにしてもよい。
このように、本実施例によれば、直接操作による入力を行う端末において、立体表示による実在感のある表示オブジェクトに対して、わかりやすく使いやすい操作方法を提供することが可能となる。
なお、本実施例の制御装置１は、プログラムにより、制御装置１の各部の処理をコンピュータに実行させることにより、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例１のユーザインタフェース装置のシステム構成を示す図である。図１に示す制御装置の概略構成を示すブロック図である。本発明の実施例１のユーザインタフェース装置の操作画面の一例を示す図である。図１、図２に示す表示装置に表示される操作画面の奥行き関係を表した図である。図１に示す制御装置の処理手順を示すフローチャートである。本発明の実施例２のユーザインタフェース装置のシステム構成を示す図である。図６に示す制御装置の概略構成を示すブロック図である。本発明の実施例２のユーザインタフェース装置の操作画面の一例を示す図である。図６、図７に示す表示装置に表示される操作画面の奥行き関係を表した図である。図６に示す制御装置の処理手順を示すフローチャートである。図６に示す制御装置の処理手順を示すフローチャートである。ＤＦＤ方式の３次元表示装置の一例の概略構成を示す図である。ＤＦＤ方式の３次元表示装置において、各表示面に表示する２Ｄ化像の生成方法を説明するための図である。ＤＦＤ方式の３次元表示装置の表示原理を説明するための図である。ＤＦＤ方式の３次元表示装置の表示原理を説明するための図である。ＤＦＤ方式の３次元表示装置の表示原理を説明するための図である。ＤＦＤ方式の３次元表示装置の表示原理を説明するための図である。ＤＦＤ方式の３次元表示装置の他の例を説明するための図である。

符号の説明

１制御装置
２表示装置
３入力装置
４入力ペン
７−１，７−２ディスプレイ
１０表示制御部
１１オブジェクト位置算出部
１２操作情報入力部、
１３制御パラメータ算出部、
１４制御パラメータ出力部
１５記憶部
２０スライダオブジェクト
２１インジケータ
２２メータ型オブジェクト
２３レッドゾーン
３０，３１表示領域
１００観察者
１０１，１０２表示面
１０３光学系
１０４３次元物体
１０５，１０６，１０７，１０８２Ｄ化像
１１１，１１２透過型表示装置
１１０バックライト

Claims

表示装置と、前記表示装置に表示されたオブジェクト画像をポインティングする入力装置と、制御装置とから構成されるユーザインタフェース装置の制御装置であって、
前記入力装置を操作した操作情報が入力される操作情報入力手段と、
前記入力された操作情報に基づき、被制御装置を制御するための制御パラメータを算出する制御パラメータ算出手段と、
前記算出された制御パラメータに基づき、所定のオブジェクト画像を予め定めた複数の表示領域のいずれかの領域内の所定位置に表示するようにオブジェクト位置を算出するオブジェクト位置算出手段と、
前記算出されたオブジェクト位置に基づき、前記オブジェクト画像を前記表示装置に表示させる表示制御手段とを有することを特徴とする制御装置。
前記表示装置に表示されるオブジェクト画像は、３次元空間内に表示される画像であり、前記複数の表示領域は、隣接する領域間で奥行き位置が異なることを特徴とする請求項１に記載の制御装置。
前記操作情報入力手段には、第１の操作情報と、前記第１の操作情報とは異なる第２の操作情報とが入力され、
前記操作情報入力手段に前記第１の操作情報が入力された場合には、前記制御パラメータ算出手段が、前記第１の操作情報に基づき、前記制御パラメータを、前記複数の表示領域のうち前記オブジェクト画像の現状の表示領域内での前記オブジェクト位置の移動に相当する範囲内で変化させ、
前記操作情報入力手段に前記第２の操作情報が入力された場合には、前記オブジェクト位置算出手段が、前記オブジェクト位置を、前記複数の表示領域のうち前記オブジェクト画像の現状の表示領域内から隣接する他の表示領域内に変更することを特徴とする請求項１または請求項２に記載の制御装置。
前記第１の操作情報は、前記オブジェクト画像に対するドラッグ操作によって入力される操作情報であることを特徴とする請求項３に記載の制御装置。
前記第２の操作情報は、前記オブジェクト画像を所定時間以上選択し続ける操作、前記オブジェクト画像に対する前記複数の表示領域外の方向へのドラッグ操作、前記オブジェクト画像以外の所定のオブジェクト画像を選択する操作、あるいは、前記入力装置とは異なる第２の入力装置の操作のいずれかによって入力される操作情報であることを特徴とする請求項３または請求項４に記載の制御装置。
前記入力装置は、ペン入力の圧力を検知するペン入力装置であり、
前記第２の操作情報は、ペン入力の圧力を変化させる操作によって入力される操作情報であることを特徴とする請求項３または請求項４に記載の制御装置。
前記請求項１ないし請求項６のいずれか１項に記載の制御装置の各手段をコンピュータに実行させるためのプログラム。