JP3971694B2

JP3971694B2 - Object display method and apparatus for implementing the same

Info

Publication number: JP3971694B2
Application number: JP2002358860A
Authority: JP
Inventors: 豊國田; 秋彦橋本; 肇能登; 眞次西村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-12-11
Filing date: 2002-12-11
Publication date: 2007-09-05
Anticipated expiration: 2022-12-11
Also published as: JP2004192294A

Description

【０００１】
【発明の属する技術分野】
本発明はコンピュータのマンマシンインターフェースとしてオブジェクトの表示を行うオブジェクト表示装置に関し、特にユーザの操作に基づいて立体表示装置上にオブジェクトを表示するオブジェクト表示装置に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
現在の計算機のマンマシンインターフェースは、GUI（グラフィカルユーザインターフェース）が主流であり、オブジェクトは絵で表現され、操作も日常の動作に近い表現なので分かり易いものとなっているが、従来のディスプレイは、平面表示なので、オブジェクトの表現や操作の表現が現実の世界とは異ならざるを得ない場合もあった。
【０００３】
例えば、GUIでは基本的な動作の一つであるドラッグアンドドロー（引っ張って動かす）等の操作においては、対象オブジェクトをドラッグした時、現実の世界では引っ張られて見えるはずが、平面ディスプレイではこの様子をうまく表現できない為に、色や明るさを変えることによってドラッグされていることを示していた。しかし、これは非日常的な表現であり、本来のGUIの理想である現実の世界に近いマンマシンインターフェースとはかけ離れている。その他、従来の技術において画面上のオブジェクトは、以下の様な表示と問題点を抱えている。
【０００４】
（１）マウスポインタ等のツールオブジェクトは、小さく表示される為、視認性が悪い。
（２）フォーカスされたデータオブジェクトは、色を変えて表示されるが、色の差が小さいと分かり難く、差が大きいと目が疲れる。
（３）フォーカスされたデータオブジェクトと同じ属性を持つオブジェクトについては、表示上の変化は何も無く、同じ属性の異なるオブジェクトを一目で見分けることができない。ここで色を変えたりすると、オブジェクトの数によっては目の疲れる画面になる。
（４）警告や注意等のメッセージオブジェクトは、色を変えて表示されたり、点滅して表示され、また表示開始時にビープ音が出力されるが、ビープ音を聞き逃すと分かり難く、また点滅表示は目立つが目が疲れる。
（５）ボタンオブジェクトは、押された場合に色を変えて表示されるが、ボタンが押されていることが直感的に分かり難く、また一つのボタンに複数のボタンの機能を持たせられない。
（６）ドラッグアンドドローでは、ドラッグされると色が変わり、変色領域だけドローされるが、ドラッグされていることが直感的には分かり難い。
【０００５】
なお、従来の立体画像表示装置において、各アイコン画像として左眼用及び右眼用の２個の画像を予め用意しておき、マウスを操作してマウスカーソルを移動させ、マウスカーソルがアイコンと重なった場合にアイコン画像を通常状態よりも飛び出させ、マウスカーソルがアイコンと重なり且つマウスを押したときはアイコン画像を通常状態よりも引っ込ませることにより、アイコン画像も立体視表示可能としているものがある（例えば特許文献１参照）。
【０００６】
【特許文献１】
特開２００２−９２６５６号公報（第５頁、第５図）
【０００７】
【発明が解決しようとする課題】
前記の様に従来の技術では、色や明るさの変化やまたは点滅表現だけでオブジェクトまたはオブジェクトの状態を識別する為、直感的に分かり難い場合があり、視認性の良さと疲労感の無さが両立しない（特に疲労感に配慮して淡い色の変化を用いると、弱視者等に不便を強いる）という問題がある。
【０００８】
本発明の目的は上記問題を解決し、現実の世界に近い直感性に優れたマンマシンインターフェースを実現し、画面の見易さや疲れ難さを損ねること無く、操作対象の視認性を向上させることが可能な技術を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、ユーザの操作に基づいて立体表示装置上にオブジェクトを表示するオブジェクト表示装置において、立体表示装置によりオブジェクトを表示する際に、そのオブジェクトの種類、属性、動作状態に応じて奥行き方向の位置を変えて表示を行うものである。
【００１０】
本発明のオブジェクト表示装置では、オブジェクトを立体的に表示することが可能な立体表示装置を具備し、その立体表示装置上の操作オブジェクト表示面にツールオブジェクトを表示し、データオブジェクト表示面にデータオブジェクトを表示する。ここで、操作オブジェクト表示面とデータオブジェクト表示面は、表示の奥行き方向の異なる位置に配置されており、例えば操作オブジェクト表示面が手前に、データオブジェクト表示面が奥に配置されているものとする。
【００１１】
本発明のオブジェクト表示装置は、前記操作オブジェクト表示面上に表示されているツールオブジェクトがマウスやタッチパネルにより操作され、データオブジェクトへの操作指示がユーザから入力されているかどうかを調べ、前記操作指示が入力されている場合には、その操作指示を受け付ける。
【００１２】
次にオブジェクト表示装置は、前記受け付けた操作指示の内容がデータオブジェクトへのフォーカスを実行するもの、すなわち入力を受け付けるオブジェクトとして特定のデータオブジェクトを対応付ける操作を行うものであるかどうかを調べ、前記フォーカスを実行するものである場合には、そのデータオブジェクトの表示を、前記データオブジェクト表示面から手前の操作オブジェクト表示面に移動させる処理を行う。また、前記受け付けた操作指示の内容がデータオブジェクトへのフォーカスを解除するものである場合には、そのフォーカスの解除されたデータオブジェクトの表示を、操作オブジェクト表示面からデータオブジェクト表示面に移動する。
【００１３】
更に本発明のオブジェクト表示装置では、データオブジェクトのドラッグアンドドロー操作を操作オブジェクト表示面上で行ったり、警告や注意を促す為のメッセージオブジェクトを操作オブジェクト表示面とデータオブジェクト表示面に交互に表示したり、操作オブジェクト表示面上のボタンオブジェクトを押下時にデータオブジェクト表示面へ表示したり、前記ボタンオブジェクトの表示面の位置に応じてデータオブジェクトに異なる処理を実行したり、フォーカスされたデータオブジェクトと同じ属性を持つ全てまたは一部のデータオブジェクトを操作オブジェクト表示面に表示する様にしても良い。
【００１４】
以上の様に本発明のオブジェクト表示装置によれば、立体表示装置によりオブジェクトを表示する際に、そのオブジェクトの種類、属性、動作状態に応じて奥行き方向の位置を変えて表示を行うので、現実の世界に近い直感性に優れたマンマシンインターフェースを実現し、画面の見易さや疲れ難さを損ねること無く、操作対象の視認性を向上させることが可能である。
【００１５】
【発明の実施の形態】
以下にユーザの操作に基づいて立体表示装置上にオブジェクトを表示する一実施形態のオブジェクト表示装置について説明する。
【００１６】
図１は本実施形態のオブジェクト表示装置１００の概略構成を示す図である。図１に示す様に本実施形態のオブジェクト表示装置１００は、ＣＰＵ１０１と、メモリ１０２と、磁気ディスク装置１０３と、入力装置１０４と、３次元表示装置１０５と、ＣＤ−ＲＯＭ装置１０６と、通信装置１０７と、表示位置管理テーブル１０８とを有している。
【００１７】
ＣＰＵ１０１は、オブジェクト表示装置１００全体の動作を制御する装置である。メモリ１０２は、オブジェクト表示装置１００全体の動作を制御する際にその為の各種処理プログラムやデータをロードする記憶装置である。
【００１８】
磁気ディスク装置１０３は、前記各種処理プログラムやデータを格納しておく記憶装置である。入力装置１０４は、オブジェクトに対する操作指示を入力するマウスやタッチパネル等の装置である。３次元表示装置１０５は、マウスポインタ等のツールオブジェクトを表示する操作オブジェクト表示面と、ファイル一覧や文書ファイル等のデータオブジェクトを表示するデータオブジェクト表示面とを備え、ユーザの操作に基づいて立体的にオブジェクトを表示する装置である。
【００１９】
ＣＤ−ＲＯＭ装置１０６は、前記各種処理プログラムを記録したＣＤ−ＲＯＭの内容を読み出す装置である。通信装置１０７は、インターネットやイントラネット等のネットワークを介して他の処理装置との通信を行う装置である。表示位置管理テーブル１０８は、ツールオブジェクトやデータオブジェクトがどの表示面に表示されているかを示す情報を格納するテーブルである。
【００２０】
またオブジェクト表示装置１００は、オブジェクト表示処理部１１１と、操作指示受付処理部１１２と、表示面変更処理部１１３とを有している。
【００２１】
オブジェクト表示処理部１１１は、３次元表示装置１０５に備えられた操作オブジェクト表示面にツールオブジェクトを表示し、３次元表示装置１０５に備えられたデータオブジェクト表示面にデータオブジェクトを表示する処理部である。
【００２２】
操作指示受付処理部１１２は、前記操作オブジェクト表示面上のツールオブジェクトによるデータオブジェクトへの操作指示を受け付ける処理部である。表示面変更処理部１１３は、前記受け付けた操作指示の内容がデータオブジェクトへのフォーカスを実行するものである場合に、そのデータオブジェクトを前記データオブジェクト表示面よりも手前の操作オブジェクト表示面に表示し、前記受け付けた操作指示の内容がデータオブジェクトへのフォーカスを解除するものである場合に、そのデータオブジェクトを前記データオブジェクト表示面に表示する処理部である。
【００２３】
オブジェクト表示装置１００をオブジェクト表示処理部１１１、操作指示受付処理部１１２及び表示面変更処理部１１３として機能させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体から情報処理装置にインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【００２４】
図２は本実施形態のオブジェクト表示処理の処理手順を示すフローチャートである。図２に示す様に本実施形態のオブジェクト表示装置１００は、３次元表示装置１０５にオブジェクトを表示する際に、そのオブジェクトの種類、属性、動作状態に応じて、オブジェクトの奥行き方向の位置を変えて表示を行う。
【００２５】
ステップ２０１でオブジェクト表示装置１００のオブジェクト表示処理部１１１は、３次元表示装置１０５に備えられた操作オブジェクト表示面にマウスポインタ等のツールオブジェクトを表示し、それらのツールオブジェクトの表示されている表示面を示す表示位置情報を表示位置管理テーブル１０８に格納する。
【００２６】
ステップ２０２では、データオブジェクト表示面にファイル名一覧等のデータオブジェクトを表示し、それらのデータオブジェクトの属性情報と表示されている表示面を示す表示位置情報を表示位置管理テーブル１０８に格納する。
【００２７】
ここで、操作オブジェクト表示面とデータオブジェクト表示面は、表示の奥行き方向の異なる位置に配置されており、本実施形態では操作オブジェクト表示面が手前に、データオブジェクト表示面が奥に配置されているものとする。
【００２８】
ステップ２０３で操作指示受付処理部１１２は、前記操作オブジェクト表示面上に表示されているツールオブジェクトがマウスやタッチパネルにより操作され、データオブジェクトへの操作指示がユーザから入力されているかどうかを調べ、前記操作指示が入力されている場合には、その操作指示を受け付けてステップ２０４へ進む。
【００２９】
ステップ２０４で表示面変更処理部１１３は、前記受け付けた操作指示の内容がデータオブジェクトへのフォーカスを実行するもの、すなわち、入力を受け付けるオブジェクトとして特定のデータオブジェクトを対応付ける操作を行うものであるかどうかを調べ、前記フォーカスを実行するものである場合にはステップ２０５へ進む。
【００３０】
ステップ２０５では、そのデータオブジェクトの表示を、前記データオブジェクト表示面から手前の操作オブジェクト表示面に移動し、表示位置管理テーブル１０８中の当該データオブジェクトの表示位置情報を、フォーカスにより操作オブジェクト表示面に表示されていることを示す情報に更新する。
【００３１】
ステップ２０６では、表示位置管理テーブル１０８中の各データオブジェクトの属性情報と表示位置情報を参照し、前記フォーカスされたデータオブジェクトと同じ属性を持つデータオブジェクトがデータオブジェクト表示面に表示されているかどうかを調べ、同じ属性を持つものがデータオブジェクト表示面に表示されている場合にはステップ２０７へ進む。
【００３２】
ステップ２０７では、前記フォーカスされたデータオブジェクトと同じ属性を持つデータオブジェクトの表示を、前記データオブジェクト表示面から手前の操作オブジェクト表示面に移動し、表示位置管理テーブル１０８中の当該データオブジェクトの表示位置情報を、操作オブジェクト表示面に表示されていることを示す情報に更新する。ここで、操作オブジェクト表示面とデータオブジェクト表示面との間に他の表示面が有るものとし、前記フォーカスされたデータオブジェクトと同じ属性を持つデータオブジェクトの表示を前記他の表示面に移動するものとしても良い。
【００３３】
一方、ステップ２０４で調べた結果、前記操作指示の内容がフォーカスを解除するものである場合にはステップ２０８へ進む。
【００３４】
ステップ２０８では、表示位置管理テーブル１０８中の各データオブジェクトの表示位置情報を参照し、その表示位置情報がフォーカスにより操作オブジェクト表示面に表示されていることを示す情報であるデータオブジェクトを検索した後、そのデータオブジェクトの表示を、前記操作オブジェクト表示面から奥のデータオブジェクト表示面に移動し、表示位置管理テーブル１０８中の当該データオブジェクトの表示位置情報をデータオブジェクト表示面に表示されていることを示す情報に戻す。
【００３５】
ステップ２０９では、前記受け付けた操作指示の内容がデータオブジェクトのドラッグアンドドロー操作を実行するものであるかどうか、すなわち前記フォーカスされたデータオブジェクトから選択された特定部分について、その部分を指示しているツールオブジェクトが操作オブジェクト表示面上で移動している等、ドラッグアンドドローの実行を示す所定の操作が行われているかどうかを調べ、ドラッグアンドドロー操作が行われている場合にはステップ２１０へ進む。
【００３６】
ステップ２１０では、前記特定部分のデータオブジェクトの表示を操作オブジェクト表示面上で移動して当該データオブジェクトのドラッグアンドドローを実行する。
【００３７】
またステップ２０９で調べた結果、前記操作指示の内容がデータオブジェクトのドラッグアンドドロー操作を解除するものであるかどうか、すなわち前記所定のドラッグアンドドロー操作の終了を示すものである場合にはステップ２１１へ進む。
【００３８】
ステップ２１１では、前記特定部分のデータオブジェクトの表示を操作オブジェクト表示面からデータオブジェクト表示面に移動し、データオブジェクト表示面上の当該位置に表示されているデータオブジェクト中に前記特定部分のデータオブジェクトを挿入する。
【００３９】
ステップ２１２では、前記受け付けた操作指示の内容がユーザへの警告や注意を促す必要のある操作であるかどうかを調べ、警告や注意を促す必要のある操作である場合にはステップ２１３へ進み、その操作に対する警告や注意を促す為のメッセージオブジェクトを、他のオブジェクトの表示されているデータオブジェクト表示面よりも手前の操作オブジェクト表示面に表示したり、手前の操作オブジェクト表示面と奥のデータオブジェクト表示面に交互に表示する処理を行う。
【００４０】
ステップ２１４では、前記受け付けた操作指示の内容が操作オブジェクト表示面上のボタンオブジェクトを操作するものであるかどうかを調べ、ボタンオブジェクトを操作するものである場合にはステップ２１５へ進む。
【００４１】
ステップ２１５では、そのボタンに対する操作種別が、ボタンの表示深さを変更する為の第１の操作であるか、または、その表示深さに応じた処理の実行を指示する為の第２の操作であるかを調べ、その操作種別が第１の操作、例えばマウスの右クリックによるボタンオブジェクトの押下である場合にはステップ２１８へ進み、その操作種別が第２の操作、例えばマウスの左クリックによるボタンオブジェクトの押下である場合にはステップ２１６へ進む。
【００４２】
ステップ２１６では、表示位置管理テーブル１０８中の当該ボタンオブジェクトの表示位置情報を参照して、前記押下されたボタンオブジェクトの表示面を調べ、そのボタンオブジェクトが手前の操作オブジェクト表示面に表示されている場合にはステップ２１７へ進む。
【００４３】
ステップ２１７では、手前の操作オブジェクト表示面に表示されているボタンオブジェクトに対応付けられた処理、例えば画像を所定の倍率で拡大する処理を実行する。
【００４４】
またステップ２１５でボタンに対する操作種別を調べた結果、その操作種別が第１の操作、例えばマウスの右クリックによるボタンオブジェクトの押下である場合にはステップ２１８へ進む。
【００４５】
ステップ２１８では、そのボタンオブジェクトの表示を、前記操作オブジェクト表示面から奥のデータオブジェクト表示面に移動し、表示位置管理テーブル１０８中の当該ボタンオブジェクトの表示位置情報をデータオブジェクト表示面に表示されていることを示す情報に更新する。
【００４６】
この後、左クリックによるボタン操作が行われるとステップ２１４及びステップ２１５を経てステップ２１６に進み、表示位置管理テーブル１０８中の当該ボタンオブジェクトの表示位置情報を参照して、押下されたボタンオブジェクトの表示面を調べ、そのボタンオブジェクトが奥のデータオブジェクト表示面に表示されている場合にはステップ２１９へ進む。
【００４７】
ステップ２１９では、奥のデータオブジェクト表示面に表示されているボタンオブジェクトに対応付けられた処理、例えば画像を最大倍率で拡大する処理を実行する。
【００４８】
図３は本実施形態のフォーカスされたデータオブジェクトの表示例を示す図である。図３の様に本実施形態の表示面変更処理部１１３は、受け付けた操作指示の内容がデータオブジェクトへのフォーカスを実行するものである場合に、そのデータオブジェクトをデータオブジェクト表示面３０２よりも手前の操作オブジェクト表示面３０１に表示する処理を行う。
【００４９】
図３の処理では、操作オブジェクト表示面３０１とデータオブジェクト表示面３０２を有する３次元表示装置１０５で、ファイル名一覧データオブジェクト３０３をデータオブジェクト表示面３０２に表示し、「ファイル名１」がマウスポインタ３０４によって選択されると、フォーカスされた「ファイル名１」のデータオブジェクト３０５を、手前の操作オブジェクト表示面３０１に浮き上がる様に表示している。
【００５０】
図３では奥行きが２段階の例を示しているが、これはあくまで一例を示すものであり、奥行きの段階は２段階に限らないものとする。
【００５１】
図４は本実施形態のタッチパネルを用いる場合の表示例を示す図である。図４の様に本実施形態の操作指示受付処理部１１２は、操作オブジェクト表示面３０１上のツールオブジェクトによるデータオブジェクトへのフォーカスの実行及び解除をタッチパネルにより受け付ける処理を行う。
【００５２】
図４の処理では、タッチパネル付き３次元表示装置１０５が指で触られると、タッチパネルで指の位置を読み取り、該位置にあるデータオブジェクト３０５を手前の操作オブジェクト表示面３０１に表示する。この処理で操作者は、自分の選んだデータオブジェクト３０５が、あたかも指に貼り付くかの様に感じることができる。
【００５３】
図４では、タッチパネル（指で触ると接触トリガ信号と接触位置を出力する入力デバイス）の例を示しているが、この他、専用ペンで入力するタッチパネル等も含むものとし、また、タッチパネルには抵抗式、電磁誘導式、超音波式等様々な方式があるが、本実施形態の処理は特定の方式に限定されないものとする。
【００５４】
図５は本実施形態のドラッグアンドドロー操作時のオブジェクト選択例を示す図である。図５の様に本実施形態の表示面変更処理部１１３は、ドラッグアンドドロー操作を実行する際に、操作対象となるデータオブジェクトの選択を受け付けて操作オブジェクト表示面３０１上に表示する処理を行う。
【００５５】
図６は本実施形態のドラッグアンドドロー操作時のオブジェクト移動例を示す図である。図６の様に本実施形態の表示面変更処理部１１３は、前記選択されたデータオブジェクトを操作オブジェクト表示面３０１上で移動させた後、データオブジェクト表示面３０２への表示に戻す処理を行う。
【００５６】
図５のステップ１の様にデータオブジェクトをデータオブジェクト表示面３０２に表示している状態で、ステップ２の様に、指でドラッグしたい部分がなぞられ、操作対象のデータオブジェクト５０１が選択されると、表示面変更処理部１１３は、その選択された部分のデータオブジェクト５０１を手前の操作オブジェクト表示面３０１に表示する。この処理で操作者は、動かしたい文字が指に貼り付くかの様に感じることができる。
【００５７】
図６のステップ３で、操作者が、動かしたい先の位置に指を移動させると、表示面変更処理部１１３は、前記選択されたデータオブジェクト５０１を操作オブジェクト表示面３０１上で前記位置まで移動させる。この処理で操作者は、選んだ文字が指に貼り付いてどこへでも移動できる様に感じることができる。
【００５８】
ステップ４で、手が３次元表示装置１０５から離されると、前記選択されていたデータオブジェクト５０１をデータオブジェクト表示面３０２上の該位置に内挿する。この処理で操作者は、前記選んだ文字が沈み込んで文章の中に挿入された様に感じることができる。
【００５９】
図５及び図６では、タッチパネルを用いる場合の例を表しているが、従来のマウスポインタで指定する方法も含まれるものとする。
【００６０】
ステップ２とステップ３の指の動きを区別する為、ステップ２とステップ３の間で選択終了の合図を入力する必要が有り、例えば、もう一方の手でマウスボタンかキーボードで選択終了の合図を入力したり、専用入力ペンを用いるタッチパネルを使ってペンに付いているボタンで終了の合図を入れるものとする。
【００６１】
図７は本実施形態の警告や注意を促す為のメッセージオブジェクトの表示例を示す図である。図７の様に本実施形態の表示面変更処理部１１３は、受け付けた操作指示の内容がユーザへの警告や注意を促す必要のある操作である場合に、その操作に対する警告や注意を促す為のメッセージを、メッセージオブジェクト７０１の様に他のオブジェクトの表示されている表示面よりも手前の操作オブジェクト表示面３０１に表示したり、メッセージオブジェクト７０１及び７０２の様に手前の操作オブジェクト表示面３０１と奥のデータオブジェクト表示面３０２に交互に表示する処理を行う。
【００６２】
図７では手前と奥の表示面を不連続に切り替えて表示する様に見えるが、手前と奥の間を徐々に移動し、連続的に浮き沈みする様に表示しても良い。また、警告や注意の重要度が増す程、浮き沈みの振幅を大きくしたり、振動数を増やすことや、或いは、より浅い位置で表示を行う等の表現を取ることによって、重要度をアナログ的に提示することができる。
【００６３】
図８は本実施形態のボタンオブジェクトの表示例を示す図である。図８の様に本実施形態の表示面変更処理部１１３は、受け付けた操作指示の内容がボタンオブジェクト８０１の押下である場合に、そのボタンオブジェクト８０１を操作オブジェクト表示面３０１よりも奥のデータオブジェクト表示面３０２に表示する処理を行う。
【００６４】
図８の処理では、タッチパネル付き３次元表示装置１０５で、ボタンオブジェクト８０１を手前の操作オブジェクト表示面３０１に表示し、タッチパネルが押されたことを感知すると、該位置のボタンオブジェクト８０１を奥のデータオブジェクト表示面３０２にボタンオブジェクト８０２の様に表示する。この処理で操作者は、あたかも自分の指でボタンが奥に押されたかの様に感じることができる。
【００６５】
図８ではタッチパネルを用いる場合の例を表しているが、従来のマウスポインタでボタンを押す方法も含まれるものとする。
【００６６】
図９は本実施形態のボタンオブジェクトの表示位置に応じた処理の例を示す図である。図９の様に本実施形態のオブジェクト表示装置は、前記ボタンオブジェクトの表示面の位置に応じてデータオブジェクトに異なる処理を実行する。
【００６７】
図９の処理では、画像９０１と、拡大を行う為のボタンオブジェクト９０２を手前の操作オブジェクト表示面３０１に表示し、マウスの左ボタンで拡大のボタンオブジェクト９０２がクリックされると、画像９０１を拡大画像９０３の様にやや大きく拡大表示する。また、マウスの右ボタンで拡大のボタンオブジェクト９０２がクリックされると、拡大のボタンオブジェクト９０２をボタンオブジェクト９０４の様に奥側のデータオブジェクト表示面３０２に表示し、その後、マウスの左ボタンでクリックが行われると、画像９０１を拡大画像９０５の様に非常に大きく拡大表示する。
【００６８】
図９では、前記の様に画面の表示深さによって同じボタンでも異なる処理を実行する例を表しており、この例では、ボタンの表示深さを変更する為の第１の操作をマウスの右クリックとし、その表示深さに応じた処理の実行を指示する為の第２の操作をマウスの左クリックとしているがこれに限定するものではなく、例えば、シングルクリックとダブルクリック、指のタッチと他の入力装置（マウスまたはキーボード）のボタン、専用ペンのタッチと専用ペンに付いているボタン等により前記第１及び第２の操作を行うことが考えられる。
【００６９】
図９では、奥行き表現が２通りである場合の例を示しているが、この処理は奥行き表現を２値に限るものではなく、また表示深さに応じた具体的な処理内容を画像９０１の拡大表示として示しているが、表示深さに応じた処理は拡大表示に限定されるものではないものとする。
【００７０】
図１０は本実施形態の同じ属性のデータオブジェクトの表示例を示す図である。図１０の様に本実施形態の表示面変更処理部１１３は、受け付けた操作指示の内容がファイルオブジェクト１００１へのフォーカスを実行するものである場合に、そのファイルオブジェクト１００１と同じ属性を持つ全てまたは一部の文書ファイルオブジェクト１００２をデータオブジェクト表示面３０２よりも手前の操作オブジェクト表示面３０１に表示する処理を行う。
【００７１】
図１０の処理では、マウスポインタ１０００で１つのワープロ文書オブジェクトにフォーカスされると、同じワープロ文書属性を持つ文書ファイルオブジェクト１００２を全て手前に表示している。
【００７２】
図１０では、画面に表示された全てのオブジェクトの内でフォーカスされたオブジェクトと同じ属性を持つものが前面に表示される例を示しているが、例えば、フォーカスされたオブジェクトと同じディレクトリ内のオブジェクトの内で同じ属性を持つものを前面に表示する様にしても良い。
【００７３】
またこの処理では、フォーカスされたオブジェクトと同じ前面に属性の同じオブジェクトが全て表示されているが、フォーカスされたオブジェクトと同じ属性のオブジェクトについては、フォーカスされたオブジェクトよりもやや奥の面に浮き上がる様に表示しても良く、フォーカスされたオブジェクトと同じ奥行きに表示することに限定するものではないものとする。
【００７４】
前記の様に本実施形態では、立体表示装置によって奥行きのある表現を用いることにより、直感的に分かり易く、視認性の良さと疲労感の無さの両立を計った表現方法を提供することが可能であり、すなわち以下の様な長所がある。
【００７５】
（１）マウスポインタ等のツールオブジェクトやフォーカスされたデータオブジェクトを浮き上がる様に表示するので直感的に分かり易く、色を変えたりしないので目が疲れない。
【００７６】
（２）フォーカスされたデータオブジェクトと同じ属性を持つオブジェクトを浮き上がる様に表示するので、同じ属性を持つ他のオブジェクトを一目で見分けることができる。
【００７７】
（３）警告や注意等のメッセージオブジェクトを、浮き沈みを繰り返す様に表示することにより表示を目立つ様にするので視認性が良く、色を変えたりしないので目が疲れない。また、ビープ音を聞き逃しても、表示が目立つので表示されていればすぐに識別することができる。
【００７８】
（４）ボタンオブジェクトが押されると沈み込む様に表示するので、直感的に分かり易く、計算機の知識を持たない人間でもボタンを押したと言うことが理解可能である。また沈み込みの深さを表示することによって異なるボタン状態にあることが表現可能である。
【００７９】
（５）ドラッグアンドドローでは、ドラッグされた領域を浮き上がる様に表示して、そのままドローし、離されると沈む様に表示して対象となるデータオブジェクトと同じ深さの表示に戻すので、ドラッグ（引っ張る）と言う行為が直感的に理解し易く、ドラッグされた領域の視認性に優れている。
【００８０】
以上説明した様に本実施形態のオブジェクト表示装置によれば、立体表示装置によりオブジェクトを表示する際に、そのオブジェクトの種類、属性、動作状態に応じて奥行き方向の位置を変えて表示を行うので、現実の世界に近い直感性に優れたマンマシンインターフェースを実現し、画面の見易さや疲れ難さを損ねること無く、操作対象の視認性を向上させることが可能である。
【００８１】
【発明の効果】
本発明によれば立体表示装置によりオブジェクトを表示する際に、そのオブジェクトの種類、属性、動作状態に応じて奥行き方向の位置を変えて表示を行うので、現実の世界に近い直感性に優れたマンマシンインターフェースを実現し、画面の見易さや疲れ難さを損ねること無く、操作対象の視認性を向上させることが可能である。
【図面の簡単な説明】
【図１】本実施形態のオブジェクト表示装置の概略構成を示す図である。
【図２】本実施形態のオブジェクト表示処理の処理手順を示すフローチャートである。
【図３】本実施形態のフォーカスされたデータオブジェクトの表示例を示す図である。
【図４】本実施形態のタッチパネルを用いる場合の表示例を示す図である。
【図５】本実施形態のドラッグアンドドロー操作時のオブジェクト選択例を示す図である。
【図６】本実施形態のドラッグアンドドロー操作時のオブジェクト移動例を示す図である。
【図７】本実施形態の警告や注意を促す為のメッセージオブジェクトの表示例を示す図である。
【図８】本実施形態のボタンオブジェクトの表示例を示す図である。
【図９】本実施形態のボタンオブジェクトの表示位置に応じた処理の例を示す図である。
【図１０】本実施形態の同じ属性のデータオブジェクトの表示例を示す図である。
【符号の説明】
１００…オブジェクト表示装置、１０１…ＣＰＵ、１０２…メモリ、１０３…磁気ディスク装置、１０４…入力装置、１０５…３次元表示装置、１０６…ＣＤ−ＲＯＭ装置、１０７…通信装置、１０８…表示位置管理テーブル、１１１…オブジェクト表示処理部、１１２…操作指示受付処理部、１１３…表示面変更処理部、３０１…操作オブジェクト表示面、３０２…データオブジェクト表示面、３０３…ファイル名一覧データオブジェクト、３０４…マウスポインタ、３０５…データオブジェクト、５０１…データオブジェクト、７０１及び７０２…メッセージオブジェクト、８０１及び８０２…ボタンオブジェクト、９００…マウスポインタ、９０１…画像、９０２…ボタンオブジェクト、９０３…拡大画像、９０４…ボタンオブジェクト、９０５…拡大画像、１０００…マウスポインタ、１００１…ファイルオブジェクト、１００２…文書ファイルオブジェクト。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object display device that displays an object as a man-machine interface of a computer, and more particularly to a technique effective when applied to an object display device that displays an object on a stereoscopic display device based on a user operation.
[0002]
[Prior art]
The current machine man-machine interface is GUI (graphical user interface), the objects are represented by pictures, and the operation is also easy to understand because it is similar to everyday operations. Since it is a flat display, the representation of the object and the representation of the operation may have to be different from the real world.
[0003]
For example, in operations such as drag and draw (pulling and moving), which is one of the basic operations in the GUI, when the target object is dragged, it should appear to be pulled in the real world, but in a flat display this situation It was shown that it was dragged by changing the color and brightness because it could not express well. However, this is an extraordinary expression and is far from the man-machine interface that is close to the real world, which is the ideal of the original GUI. In addition, the objects on the screen in the prior art have the following display and problems.
[0004]
(1) Since a tool object such as a mouse pointer is displayed in a small size, the visibility is poor.
(2) Although the focused data object is displayed with a different color, it is difficult to understand if the color difference is small, and the eyes become tired if the difference is large.
(3) For an object having the same attribute as the focused data object, there is no change in display, and different objects having the same attribute cannot be distinguished at a glance. If you change the color here, the screen will become tired depending on the number of objects.
(4) Message objects such as warnings and cautions are displayed with different colors or blinking, and a beep sound is output at the start of display, but it is difficult to understand if the beep sound is missed, and blinking display Stands out but tired eyes.
(5) The button object is displayed in a different color when it is pressed, but it is difficult to intuitively understand that the button is pressed, and a single button cannot have the functions of multiple buttons. .
(6) In drag and draw, the color changes when dragged, and only the discolored area is drawn, but it is difficult to intuitively understand that the drag is being performed.
[0005]
In a conventional stereoscopic image display device, two images for left eye and right eye are prepared in advance as each icon image, the mouse cursor is moved by operating the mouse, and the mouse cursor overlaps the icon. In some cases, the icon image can be displayed stereoscopically by causing the icon image to pop out from the normal state, and when the mouse cursor overlaps with the icon and the mouse is pressed, the icon image is retracted from the normal state. (For example, refer to Patent Document 1).
[0006]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-92656 (page 5, FIG. 5)
[0007]
[Problems to be solved by the invention]
As described above, in the conventional technology, since the object or the state of the object is identified only by the change in color and brightness, or the blinking expression, it may be difficult to understand intuitively. Are incompatible with each other (especially, using a light color change in consideration of fatigue) imposes inconvenience on low vision and the like).
[0008]
The object of the present invention is to solve the above problems, realize an intuitive man-machine interface close to the real world, and improve the visibility of the operation target without impairing the visibility and fatigue of the screen. It is to provide a technology that can.
[0009]
[Means for Solving the Problems]
In an object display device that displays an object on a stereoscopic display device based on a user's operation, when the object is displayed by the stereoscopic display device, the depth direction is determined according to the type, attribute, and operation state of the object. The display is performed by changing the position.
[0010]
The object display device of the present invention includes a stereoscopic display device capable of displaying an object in three dimensions, displays a tool object on an operation object display surface on the stereoscopic display device, and displays a data object on a data object display surface. Is displayed. Here, the operation object display surface and the data object display surface are arranged at different positions in the display depth direction. For example, it is assumed that the operation object display surface is arranged in front and the data object display surface is arranged in the back. .
[0011]
The object display device of the present invention examines whether or not the tool object displayed on the operation object display surface is operated by a mouse or a touch panel, and an operation instruction to the data object is input from a user, and the operation instruction is If input, the operation instruction is accepted.
[0012]
Next, the object display device checks whether or not the content of the received operation instruction is for performing focus on the data object, that is, for performing an operation for associating a specific data object as an object for receiving input. Is executed, the process of moving the display of the data object from the data object display surface to the operation object display surface in front is performed. Further, when the content of the received operation instruction is to release the focus on the data object, the display of the data object whose focus has been released is moved from the operation object display surface to the data object display surface.
[0013]
Furthermore, in the object display device of the present invention, a data object drag-and-draw operation is performed on the operation object display surface, and a message object for alerting or warning is displayed alternately on the operation object display surface and the data object display surface. Or the button object on the operation object display surface is displayed on the data object display surface when pressed, the data object is subjected to different processing depending on the position of the button object display surface, and the same as the focused data object All or some of the data objects having attributes may be displayed on the operation object display surface.
[0014]
As described above, according to the object display device of the present invention, when an object is displayed by a stereoscopic display device, the display is performed by changing the position in the depth direction according to the type, attribute, and operation state of the object. This makes it possible to improve the visibility of the operation target without impairing the visibility and fatigue of the screen.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
An object display device according to an embodiment that displays an object on a stereoscopic display device based on a user operation will be described below.
[0016]
FIG. 1 is a diagram showing a schematic configuration of an object display device 100 of the present embodiment. As shown in FIG. 1, an object display device 100 of this embodiment includes a CPU 101, a memory 102, a magnetic disk device 103, an input device 104, a three-dimensional display device 105, a CD-ROM device 106, and a communication device. 107 and a display position management table 108.
[0017]
The CPU 101 is a device that controls the overall operation of the object display device 100. The memory 102 is a storage device that loads various processing programs and data for controlling the overall operation of the object display device 100.
[0018]
The magnetic disk device 103 is a storage device that stores the various processing programs and data. The input device 104 is a device such as a mouse or a touch panel that inputs an operation instruction for an object. The three-dimensional display device 105 includes an operation object display surface for displaying a tool object such as a mouse pointer and a data object display surface for displaying a data object such as a file list or a document file, and is three-dimensional based on a user operation. It is a device that displays an object.
[0019]
The CD-ROM device 106 is a device for reading the contents of a CD-ROM in which the various processing programs are recorded. The communication device 107 is a device that communicates with other processing devices via a network such as the Internet or an intranet. The display position management table 108 is a table that stores information indicating on which display surface the tool object or data object is displayed.
[0020]
The object display device 100 includes an object display processing unit 111, an operation instruction reception processing unit 112, and a display surface change processing unit 113.
[0021]
The object display processing unit 111 is a processing unit that displays a tool object on an operation object display surface provided in the 3D display device 105 and displays a data object on a data object display surface provided in the 3D display device 105. .
[0022]
The operation instruction reception processing unit 112 is a processing unit that receives an operation instruction to the data object by the tool object on the operation object display surface. The display surface change processing unit 113 displays the data object on the operation object display surface in front of the data object display surface when the content of the received operation instruction is to focus on the data object. The processing unit displays the data object on the data object display surface when the contents of the received operation instruction release the focus on the data object.
[0023]
A program for causing the object display device 100 to function as the object display processing unit 111, the operation instruction reception processing unit 112, and the display surface change processing unit 113 is recorded on a recording medium such as a CD-ROM and stored on a magnetic disk or the like. Suppose that it is loaded into memory and executed. The recording medium for recording the program may be a recording medium other than the CD-ROM. The program may be used by installing it from the recording medium into the information processing apparatus, or the program may be used by accessing the recording medium through a network.
[0024]
FIG. 2 is a flowchart showing the processing procedure of the object display processing of this embodiment. As shown in FIG. 2, when the object display device 100 according to the present embodiment displays an object on the three-dimensional display device 105, the position of the object in the depth direction is changed according to the type, attribute, and operation state of the object. To display.
[0025]
In step 201, the object display processing unit 111 of the object display device 100 displays tool objects such as a mouse pointer on the operation object display surface provided in the three-dimensional display device 105, and the display surface on which these tool objects are displayed. Is stored in the display position management table 108.
[0026]
In step 202, data objects such as a file name list are displayed on the data object display surface, and attribute information of the data objects and display position information indicating the displayed display surface are stored in the display position management table 108.
[0027]
Here, the operation object display surface and the data object display surface are arranged at different positions in the depth direction of display, and in this embodiment, the operation object display surface is arranged at the front and the data object display surface is arranged at the back. Shall.
[0028]
In step 203, the operation instruction reception processing unit 112 checks whether the tool object displayed on the operation object display surface is operated by a mouse or a touch panel, and an operation instruction to the data object is input from the user. If an operation instruction has been input, the operation instruction is accepted and the process proceeds to step 204.
[0029]
In step 204, the display surface change processing unit 113 determines whether the content of the received operation instruction is to execute a focus on the data object, that is, to perform an operation for associating a specific data object as an object to receive an input. If the focus is to be executed, the process proceeds to step 205.
[0030]
In step 205, the display of the data object is moved from the data object display surface to the previous operation object display surface, and the display position information of the data object in the display position management table 108 is focused on the operation object display surface. Update the information to show that it is displayed.
[0031]
In step 206, referring to the attribute information and display position information of each data object in the display position management table 108, it is determined whether or not a data object having the same attribute as the focused data object is displayed on the data object display surface. If an object having the same attribute is displayed on the data object display surface, the process proceeds to step 207.
[0032]
In step 207, the display of the data object having the same attribute as the focused data object is moved from the data object display surface to the operation object display surface in front, and the display position of the data object in the display position management table 108 is displayed. The information is updated to information indicating that the information is displayed on the operation object display surface. Here, it is assumed that there is another display surface between the operation object display surface and the data object display surface, and the display of the data object having the same attribute as the focused data object is moved to the other display surface It is also good.
[0033]
On the other hand, as a result of checking in step 204, if the content of the operation instruction is to release the focus, the process proceeds to step 208.
[0034]
In step 208, the display position information of each data object in the display position management table 108 is referred to, and after searching for a data object that is information indicating that the display position information is displayed on the operation object display surface by focus. The display of the data object is moved from the operation object display surface to the back data object display surface, and the display position information of the data object in the display position management table 108 is displayed on the data object display surface. Return to the information shown.
[0035]
In step 209, whether or not the content of the received operation instruction is to execute a drag-and-draw operation of the data object, that is, the specific part selected from the focused data object is instructed. It is checked whether or not a predetermined operation indicating execution of drag and draw, such as a tool object moving on the operation object display surface, is performed. If a drag and draw operation is performed, the process proceeds to step 210. .
[0036]
In step 210, the display of the data object of the specific part is moved on the operation object display surface, and drag and draw of the data object is executed.
[0037]
If it is determined in step 209 that the content of the operation instruction indicates that the data object drag-and-draw operation is to be cancelled, that is, the end of the predetermined drag-and-draw operation, step 211 is performed. Proceed to
[0038]
In step 211, the display of the data object of the specific part is moved from the operation object display surface to the data object display surface, and the data object of the specific part is displayed in the data object displayed at the position on the data object display surface. insert.
[0039]
In step 212, it is checked whether or not the content of the received operation instruction is an operation that requires a warning or attention to the user. If the operation instruction requires an alert or attention, the process proceeds to step 213. A message object for warning or attention to the operation is displayed on the operation object display surface in front of the data object display surface on which other objects are displayed, or the data object behind and in front of the operation object display surface A process of alternately displaying on the display surface is performed.
[0040]
In step 214, it is checked whether or not the content of the accepted operation instruction is for operating a button object on the operation object display surface. If the button object is operated, the process proceeds to step 215.
[0041]
In step 215, the operation type for the button is the first operation for changing the display depth of the button, or the second operation for instructing execution of processing according to the display depth. If the operation type is the first operation, for example, pressing the button object by right clicking the mouse, the process proceeds to step 218, and the operation type is the second operation, for example, by left clicking the mouse. If the button object is pressed, the process proceeds to step 216.
[0042]
In step 216, the display position information of the button object in the display position management table 108 is referred to, the display surface of the pressed button object is checked, and the button object is displayed on the operation object display surface in front. If so, go to Step 217.
[0043]
In step 217, processing associated with the button object displayed on the front operation object display surface, for example, processing for enlarging the image at a predetermined magnification is executed.
[0044]
If the operation type for the button is checked in step 215 and the operation type is the first operation, for example, the button object is pressed by a right click of the mouse, the process proceeds to step 218.
[0045]
In step 218, the display of the button object is moved from the operation object display surface to the back data object display surface, and the display position information of the button object in the display position management table 108 is displayed on the data object display surface. Update to information indicating that
[0046]
Thereafter, when a button operation is performed by left clicking, the process proceeds to step 216 through step 214 and step 215, and the display of the pressed button object is referred to with reference to the display position information of the button object in the display position management table 108. The screen is examined, and if the button object is displayed on the back data object display surface, the process proceeds to step 219.
[0047]
In step 219, a process associated with the button object displayed on the back data object display surface, for example, a process of enlarging the image at the maximum magnification is executed.
[0048]
FIG. 3 is a diagram illustrating a display example of a focused data object according to the present embodiment. As shown in FIG. 3, the display surface change processing unit 113 according to the present embodiment moves the data object before the data object display surface 302 when the content of the received operation instruction is to focus on the data object. The processing to display on the operation object display surface 301 is performed.
[0049]
In the process of FIG. 3, the file name list data object 303 is displayed on the data object display surface 302 by the three-dimensional display device 105 having the operation object display surface 301 and the data object display surface 302, and “file name 1” is the mouse pointer. When the button 304 is selected, the focused data object 305 of “file name 1” is displayed so as to float on the operation object display surface 301 in front.
[0050]
Although FIG. 3 shows an example in which the depth is two steps, this is merely an example, and the depth step is not limited to two steps.
[0051]
FIG. 4 is a diagram showing a display example when the touch panel of the present embodiment is used. As illustrated in FIG. 4, the operation instruction reception processing unit 112 according to the present embodiment performs processing for receiving, from the touch panel, execution and release of the focus on the data object by the tool object on the operation object display surface 301.
[0052]
In the process of FIG. 4, when the 3D display device with a touch panel 105 is touched with a finger, the position of the finger is read with the touch panel, and the data object 305 at the position is displayed on the operation object display surface 301 in the foreground. In this process, the operator can feel as if the data object 305 he / she has selected is attached to the finger.
[0053]
FIG. 4 shows an example of a touch panel (an input device that outputs a touch trigger signal and a touch position when touched with a finger), but includes a touch panel that is input with a dedicated pen. There are various methods such as a formula, an electromagnetic induction method, and an ultrasonic method, but the processing of this embodiment is not limited to a specific method.
[0054]
FIG. 5 is a diagram showing an example of object selection at the time of the drag and draw operation of the present embodiment. As shown in FIG. 5, the display surface change processing unit 113 according to the present embodiment performs a process of accepting selection of a data object to be operated and displaying it on the operation object display surface 301 when executing a drag and draw operation. .
[0055]
FIG. 6 is a diagram illustrating an example of object movement during the drag-and-draw operation according to the present embodiment. As shown in FIG. 6, the display surface change processing unit 113 according to the present embodiment performs processing for moving the selected data object on the operation object display surface 301 and then returning it to the display on the data object display surface 302.
[0056]
When the data object is displayed on the data object display surface 302 as in step 1 of FIG. 5, the portion to be dragged with a finger is traced as in step 2, and the operation target data object 501 is selected. The display surface change processing unit 113 displays the selected portion of the data object 501 on the operation object display surface 301 in front. With this process, the operator can feel as if the character he / she wants to move sticks to his / her finger.
[0057]
In step 3 of FIG. 6, when the operator moves his / her finger to a position to be moved, the display surface change processing unit 113 moves the selected data object 501 to the position on the operation object display surface 301. Let In this process, the operator can feel that the selected character is stuck on the finger and can be moved anywhere.
[0058]
In step 4, when the hand is released from the three-dimensional display device 105, the selected data object 501 is inserted at the position on the data object display surface 302. With this processing, the operator can feel that the selected character has been sunk and inserted into the sentence.
[0059]
5 and 6 show an example in which a touch panel is used, but a method of specifying with a conventional mouse pointer is also included.
[0060]
In order to distinguish the movement of the finger in step 2 and step 3, it is necessary to input a selection end signal between step 2 and step 3. For example, with the other hand, use the mouse button or the keyboard to select the end of selection. The end signal shall be input with the button attached to the pen using a touch panel using a dedicated input pen.
[0061]
FIG. 7 is a diagram showing a display example of a message object for prompting a warning or attention according to the present embodiment. As shown in FIG. 7, when the content of the received operation instruction is an operation that requires a warning or attention to the user, the display surface change processing unit 113 of the present embodiment prompts a warning or attention for the operation. Is displayed on the operation object display surface 301 in front of the display surface on which other objects are displayed, such as the message object 701, and the operation object display surface 301 in front of the message objects 701 and 702. A process of alternately displaying the data object display surface 302 at the back is performed.
[0062]
In FIG. 7, it appears that the front and back display surfaces are discontinuously switched and displayed, but it may be displayed so as to gradually move between the front and back and continuously rise and fall. In addition, as the importance of warnings and cautions increases, the importance can be analogized by increasing the amplitude of the ups and downs, increasing the frequency, or displaying at a shallower position. Can be presented.
[0063]
FIG. 8 is a view showing a display example of the button object of this embodiment. As shown in FIG. 8, when the content of the received operation instruction is a press of the button object 801, the display surface change processing unit 113 of this embodiment displays the button object 801 as a data object behind the operation object display surface 301. Processing to display on the display surface 302 is performed.
[0064]
In the process of FIG. 8, when the button object 801 is displayed on the operation object display surface 301 in the foreground on the three-dimensional display device 105 with a touch panel and the touch panel is detected to be pressed, the button object 801 at the position is displayed in the back data. A button object 802 is displayed on the object display surface 302. With this process, the operator can feel as if the button was pushed to the back with his / her finger.
[0065]
Although FIG. 8 shows an example in the case of using a touch panel, a method of pressing a button with a conventional mouse pointer is also included.
[0066]
FIG. 9 is a diagram illustrating an example of processing according to the display position of the button object according to the present embodiment. As shown in FIG. 9, the object display device according to the present embodiment executes different processes on the data object according to the position of the display surface of the button object.
[0067]
In the processing of FIG. 9, an image 901 and a button object 902 for enlarging are displayed on the operation object display surface 301 in front, and when the enlargement button object 902 is clicked with the left mouse button, the image 901 is enlarged. It is enlarged and displayed a little larger like an image 903. When the enlargement button object 902 is clicked with the right mouse button, the enlargement button object 902 is displayed on the back data object display surface 302 like the button object 904, and then clicked with the left mouse button. Is performed, the image 901 is enlarged and displayed very large like an enlarged image 905.
[0068]
FIG. 9 shows an example in which different processing is executed even for the same button depending on the display depth of the screen as described above. In this example, the first operation for changing the display depth of the button is performed on the right side of the mouse. The second operation for instructing the execution of processing according to the display depth is a left click of the mouse, but is not limited to this. For example, a single click and a double click, a finger touch, It is conceivable to perform the first and second operations by using buttons of other input devices (mouse or keyboard), touch of a dedicated pen and buttons attached to the dedicated pen.
[0069]
FIG. 9 shows an example in which there are two types of depth expression. However, this process is not limited to binary expression, and specific processing contents corresponding to the display depth are displayed on the image 901. Although shown as an enlarged display, the processing according to the display depth is not limited to the enlarged display.
[0070]
FIG. 10 is a diagram illustrating a display example of data objects having the same attribute according to the present embodiment. As shown in FIG. 10, the display surface change processing unit 113 of the present embodiment has all or the same attributes as the file object 1001 when the content of the received operation instruction is to focus on the file object 1001. A process of displaying some document file objects 1002 on the operation object display surface 301 in front of the data object display surface 302 is performed.
[0071]
In the process of FIG. 10, when one word processor document object is focused with the mouse pointer 1000, all document file objects 1002 having the same word processor document attribute are displayed in the foreground.
[0072]
FIG. 10 shows an example in which all objects displayed on the screen having the same attribute as the focused object are displayed in the front. For example, an object in the same directory as the focused object is shown. Of these, those having the same attribute may be displayed in front.
[0073]
In this process, all objects with the same attribute are displayed in front of the focused object. However, objects with the same attribute as the focused object will float slightly behind the focused object. The display may be displayed in the same depth, and is not limited to display at the same depth as the focused object.
[0074]
As described above, in this embodiment, by using a deep expression by a stereoscopic display device, it is possible to provide an expression method that is easy to understand intuitively, and that achieves both good visibility and no fatigue. It is possible, that is, it has the following advantages.
[0075]
(1) Since tool objects such as a mouse pointer and focused data objects are displayed so as to float, it is easy to understand intuitively and does not change colors, so eyes are not tired.
[0076]
(2) Since an object having the same attribute as the focused data object is displayed so as to float, it is possible to distinguish at a glance other objects having the same attribute.
[0077]
(3) By displaying message objects such as warnings and cautions so as to repeat ups and downs, the display is conspicuous, so the visibility is good and the color is not changed, so eyes are not tired. Also, even if you miss the beep sound, the display is conspicuous so that it can be identified immediately if it is displayed.
[0078]
(4) Since the display is such that the button object sinks when it is pressed, it is easy to understand intuitively, and it is understandable that a person who has no knowledge of the computer has pressed the button. It is also possible to express that the button is in a different button state by displaying the depth of sinking.
[0079]
(5) In drag and draw, the dragged area is displayed as if it was lifted, then it is drawn as it is, and when it is released, it is displayed as if it is sinking, returning to the display of the same depth as the target data object. Pulling) is easy to understand intuitively, and the dragged area is highly visible.
[0080]
As described above, according to the object display device of the present embodiment, when an object is displayed by the stereoscopic display device, the display is performed by changing the position in the depth direction according to the type, attribute, and operation state of the object. It is possible to realize an intuitive man-machine interface that is close to the real world and improve the visibility of the operation target without impairing the visibility and fatigue of the screen.
[0081]
【The invention's effect】
According to the present invention, when an object is displayed by a stereoscopic display device, the display is displayed by changing the position in the depth direction according to the type, attribute, and operation state of the object, so that the intuition close to the real world is excellent. By realizing a man-machine interface, it is possible to improve the visibility of the operation target without impairing the visibility and fatigue of the screen.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a schematic configuration of an object display device according to an embodiment.
FIG. 2 is a flowchart illustrating a processing procedure of object display processing according to the present embodiment.
FIG. 3 is a diagram illustrating a display example of a focused data object according to the present embodiment.
FIG. 4 is a diagram illustrating a display example when the touch panel of the present embodiment is used.
FIG. 5 is a diagram illustrating an example of object selection during a drag-and-draw operation according to the present embodiment.
FIG. 6 is a diagram illustrating an example of object movement during a drag-and-draw operation according to the present embodiment.
FIG. 7 is a diagram illustrating a display example of a message object for prompting a warning or attention according to the present embodiment.
FIG. 8 is a diagram illustrating a display example of a button object according to the present embodiment.
FIG. 9 is a diagram illustrating an example of processing according to a display position of a button object according to the present embodiment.
FIG. 10 is a diagram showing a display example of data objects having the same attribute according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Object display apparatus, 101 ... CPU, 102 ... Memory, 103 ... Magnetic disk apparatus, 104 ... Input device, 105 ... Three-dimensional display apparatus, 106 ... CD-ROM apparatus, 107 ... Communication apparatus, 108 ... Display position management table 111 ... Object display processing unit, 112 ... Operation instruction reception processing unit, 113 ... Display surface change processing unit, 301 ... Operation object display surface, 302 ... Data object display surface, 303 ... File name list data object, 304 ... Mouse pointer , 305 ... Data object, 501 ... Data object, 701 and 702 ... Message object, 801 and 802 ... Button object, 900 ... Mouse pointer, 901 ... Image, 902 ... Button object, 903 ... Enlarged image, 904 ... Button object , 905 ... enlarged image, 1000 ... mouse pointer, 1001 ... file object, 1002 ... document file object.

Claims

In an object display method for displaying an object on a stereoscopic display device including an operation object display surface and a data object display surface based on a user operation,
Displaying a tool object on the operation object display surface on the stereoscopic display device and displaying the data object on the data object display surface on the stereoscopic display device;
Receiving an operation instruction to the data object by the tool object on the operation object display surface;
When the content of the received operation instruction is to perform focusing on a data object, the data object is placed on the operation object display surface in front of the data object display surface or in front of the data object display surface. And displaying the data object on the data object display surface when the content of the received operation instruction is to release the focus on the data object. Object display method.

In an object display method for displaying an object on a stereoscopic display device including an operation object display surface and a data object display surface based on a user operation,
Displaying a data object on a data object display surface on a stereoscopic display device;
Receiving an operation instruction to the data object by a touch panel ;
When the content of the received operation instruction is to execute a focus on a data object, the data object is placed on the operation object display surface in front of the data object display surface or in front of the data object display surface. And displaying the data object on the data object display surface when the content of the received operation instruction is to release the focus on the data object . Luo object display method.

When the content of the received operation instruction is to execute a drag and draw operation of a data object, the operation object display surface in front of the data object display surface or another display in front of the data object display surface If the data object is dragged and drawn on the screen and the content of the received operation instruction is to cancel the data object drag and draw operation, the data object is displayed on the data object display surface. The object display method according to claim 1, wherein the object display method is an object display method.

When the content of the received operation instruction is an operation that requires a warning or attention to the user, a message object for displaying a warning or attention for the operation is displayed as a data object displaying another object. 4. The display device according to claim 1, wherein the display is performed on a display surface in front of the surface, or alternately displayed on the display surface in front and the data object display surface in the back. 5. Object display method.

In an object display method for displaying an object on a stereoscopic display device including an operation object display surface and a data object display surface based on a user operation,
Displaying a tool object on the operation object display surface on the stereoscopic display device and displaying the data object on the data object display surface on the stereoscopic display device;
Receiving an operation instruction by a tool object on the operation object display surface;
When the content of the received operation instruction is a press of a button object indicating an object indicating a button for executing a predetermined process, the button object is placed on the data object display surface behind the operation object display surface. It features and to Luo object display method to display.

6. The object display method according to claim 5, wherein different processing is executed on the data object according to the position of the display surface of the button object.

If the content of the accepted operation instruction and executes the focusing to a data object, before the operation object display than all or part of the data object the data object display surface has the same attributes as the data object The object display method according to any one of claims 1 to 6, wherein the object is displayed on a screen or another display surface before the data object display surface .

In an object display device that displays an object on a stereoscopic display device including an operation object display surface and a data object display surface based on a user operation,
An object display processing unit for displaying a tool object on the operation object display surface on the stereoscopic display device and displaying the data object on the data object display surface on the stereoscopic display device;
An operation instruction reception processing unit that receives an operation instruction to the data object by the tool object on the operation object display surface;
When the content of the received operation instruction is to execute a focus on a data object, the data object is placed on the operation object display surface in front of the data object display surface or in front of the data object display surface. A display surface change processing unit that displays the data object on the data object display surface when the content of the received operation instruction is to release the focus on the data object. An object display device characterized by the above.

In an object display device that displays an object on a stereoscopic display device including an operation object display surface and a data object display surface based on a user operation,
An object display processing unit for displaying the data object on the data object display surface on the stereoscopic display device;
An operation instruction reception processing unit that receives an operation instruction to the data object by a touch panel ;
When the content of the received operation instruction is to perform focusing on a data object, the data object is placed on the operation object display surface in front of the data object display surface or in front of the data object display surface. A display surface change processing unit that displays the data object on the data object display surface when the content of the received operation instruction is to release the focus on the data object. features and to Luo object display device.

The display surface change processing unit, when the content of the received operation instruction is to execute a drag and draw operation of a data object, the operation object display surface in front of the data object display surface or the data object display When the data object is dragged and drawn on the other display surface before the surface, and the content of the received operation instruction is to cancel the data object drag and draw operation, the data object is The object display device according to claim 8, wherein the object display device displays the data object on a display surface.

When the content of the received operation instruction is an operation that requires a warning or attention to the user, the display surface change processing unit displays a message object for alerting or warning the operation as another object. or on top of the display surface than the data object display surface that displays of claims 8 to claims, characterized in that is for displaying alternately in front of the display surface and wherein the data object display surface of the back Item 10. The object display device according to any one of Items 10 to 10.

In an object display device that displays an object on a stereoscopic display device including an operation object display surface and a data object display surface based on a user operation,
An object display processing unit for displaying a tool object on the operation object display surface on the stereoscopic display device and displaying the data object on the data object display surface on the stereoscopic display device;
An operation instruction reception processing unit for receiving an operation instruction by a tool object on the operation object display surface;
When the content of the received operation instruction is a press of a button object indicating an object indicating a button for executing a predetermined process, the button object is placed on the data object display surface behind the operation object display surface. features and to Luo object display device Rukoto a display surface change processing unit for displaying.

The object display device according to claim 12, wherein different processing is performed on the data object according to a position of a display surface of the button object.

The display surface change processing unit displays all or part of data objects having the same attribute as the data object when the content of the received operation instruction is to focus on the data object. The operation object display surface in front of the surface or the other display surface in front of the data object display surface is displayed. 14. Object display device.