JP2007026121A - Information input/output system - Google Patents
Information input/output system Download PDFInfo
- Publication number
- JP2007026121A JP2007026121A JP2005207880A JP2005207880A JP2007026121A JP 2007026121 A JP2007026121 A JP 2007026121A JP 2005207880 A JP2005207880 A JP 2005207880A JP 2005207880 A JP2005207880 A JP 2005207880A JP 2007026121 A JP2007026121 A JP 2007026121A
- Authority
- JP
- Japan
- Prior art keywords
- physical tag
- physical
- output system
- information input
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、利用者が両手を有効に利用しながら直感的にわかりやすくコンピュータを操作したり、コンピュータを介して遠隔地の人とコミュニケーションしたりすることができるユーザ・インタフェース環境を提供する情報入出力システムに関するものである。 The present invention provides an information input environment that provides a user interface environment in which a user can operate a computer intuitively and easily while using both hands effectively and communicate with a remote person via the computer. It concerns the output system.
現在のコンピュータは、一般にWIMP(Window,Icon,Menu,Pointer)に基づくGUI(Graphical User Interface)環境を用いて操作されている。GUI環境下では、マウスやタッチパッドなどの汎用的なポインティングデバイスによりマウスカーソル(ポインターカーソル)を動かし、クリックやドラッグ・アンド・ドロップに代表されるマウスのボタン操作による汎用性な操作方法を用いて、コンピュータを操作する。 Current computers are generally operated using a GUI (Graphical User Interface) environment based on WIMP (Window, Icon, Menu, Pointer). In a GUI environment, the mouse cursor (pointer cursor) is moved by a general-purpose pointing device such as a mouse or a touch pad, and a general-purpose operation method by mouse button operation represented by click or drag-and-drop is used. , Operate the computer.
一方、マウスのような汎用的なデバイスではない実物体を利用し、その実物体の位置、動き、形の変化などと、コンピュータ内部の状態や操作コマンドなどとを結び付け、より直感的な操作を実現しようとするタンジブル・ユーザ・インタフェース(TUI)の研究・開発が1990年代から盛んに行われている(非特許文献1、2など)。TUI環境では、GUI環境におけるマウスのように1つの物体に集中したり、また1つのマウスカーソルで様々な操作を順に行っていく操作技法と比べ、複数の実物体を両手で同時に扱えたり、実物体のもつアフォーダンスが自然と操作技法を導いたりといった直接的で直感的なユーザ・インタフェース環境を実現できる。 On the other hand, a real object that is not a general-purpose device such as a mouse is used, and changes in the position, movement, shape, etc. of the real object are linked to the internal state of the computer and operation commands to realize more intuitive operation. Research and development of the tangible user interface (TUI) to be attempted has been actively conducted since the 1990s (Non-patent Documents 1 and 2, etc.). In the TUI environment, multiple real objects can be handled with both hands at the same time, compared to an operation technique that concentrates on a single object like a mouse in the GUI environment, and performs various operations in order with a single mouse cursor. A direct and intuitive user interface environment where the affordance of the body naturally guides the operation technique can be realized.
しかしながら、実物体はその大きさや機能を変更することが困難なため、特定のアプリケーション用に設計してしまうと異なるアプリケーションに転用しにくく汎用性に欠けているという問題点がある。これは、実物体によるアフォーダンスを強化しようとすればするほど問題になる点でもある。 However, since it is difficult to change the size and function of a real object, there is a problem that if it is designed for a specific application, it is difficult to divert to a different application and lacks versatility. This is also the point that becomes more problematic as you try to strengthen affordance with real objects.
TUIにある程度の汎用性を持たせた例としてDataTiles(特許文献1、非特許文献3)、特許文献2の“コマンド入力方法、画像表示方法及び画像表示装置”などが存在する。
DataTilesでは、RFIDタグを読み取るセンサを一定間隔に並べて配置し、電磁授受作用方式の入力タブレットを備えた液晶ディスプレイなどの平面ディスプレイ表面に、アクリルなどの透明な矩形上の素材にRFIFを組み込んだ“タイル”を複数配置して操作する。この場合、複数のタイルの設置の位置関係やタイル上でのペン操作などを入力とし、透明なタイルを通して見る平面ディスプレイの表示を出力とすることで、ユーザ・インタフェースの入出力を直接的に対応付けることに成功している。また、入力に関しては、タイル上へのペン入力、複数タイルの設置位置関係を用いた複雑な操作が可能であり、出力は、液晶ディスプレイをタイル越しに見ることにより得られる。このため、GUIと同等に近い表現力や汎用性が得られる。 In DataTiles, sensors that read RFID tags are arranged at regular intervals, and RFIF is incorporated into a transparent rectangular material such as acrylic on the surface of a flat display such as a liquid crystal display equipped with an electromagnetic transfer input tablet. Arrange multiple tiles for operation. In this case, the input / output of the user interface is directly associated by inputting the positional relationship of the installation of multiple tiles, pen operation on the tile, etc. and outputting the display of the flat display viewed through the transparent tile. Has been successful. As for the input, a complicated operation using a pen input on the tile and the installation positional relationship of a plurality of tiles is possible, and the output can be obtained by looking at the liquid crystal display through the tile. For this reason, expressive power and versatility close to those of the GUI can be obtained.
しかしながら、タイルの大きさは固定であるため、GUIに当てはめて考えると、ウィンドウのサイズが変更できないことに相当し、その点での汎用性に欠ける。また、RFIDタグはRFIDタグを読み取るセンサを配置した位置周辺でしか認識されないため、RFIDタグ・センサを位置決め手段として捉えた場合、空間的に離散的な位置決めしかできないことになる。ペンを用いた入力についても、両手でタイルを把持し設置などするためには、ペンの持ち替え動作が発生するため、ペンが操作の簡便性を損ねる場合が発生する。さらに、移動中のタイルの位置や平面ディスプレイから離れてしまったタイルの位置は得られないため、そのような状態のタイルに対する出力は提供できないという制限もある。 However, since the size of the tile is fixed, this corresponds to the fact that the size of the window cannot be changed when applied to the GUI, and lacks versatility in that respect. Further, since the RFID tag is recognized only in the vicinity of the position where the sensor for reading the RFID tag is arranged, when the RFID tag / sensor is regarded as a positioning means, only spatially discrete positioning can be performed. Also in the case of input using a pen, in order to hold and install a tile with both hands, a pen holding operation occurs, so that the pen may impair the ease of operation. Furthermore, since the position of the moving tile or the position of the tile that has moved away from the flat display cannot be obtained, there is a limitation that the output for the tile in such a state cannot be provided.
特許文献2のコマンド入力方法では、背面投影ディスプレイのスクリーン上に複数の実物体を置き、それら実物体の位置関係や移動、回転、ならびにスクリーン上への水性ペンやマーカを用いた描画を組み合わせて、コンピュータを操作することができる。実物体や描画の認識には、プロジェクタと同様、スクリーンの背面に設置されたカメラによって実施される。認識精度を向上させる手段としては、実物体がスクリーンに触れる面に識別コードを付加し、カメラによりその種類と向きを認識する。また、実物体を操作した結果はディスプレイに即座に反映されるため、この場合もDataTilesと同様に入出力を直接的に対応付けることができており、入出力とも比較的汎用性がある。 In the command input method of Patent Document 2, a plurality of real objects are placed on the screen of the rear projection display, and the positional relationship, movement and rotation of the real objects are combined with drawing using an aqueous pen or marker on the screen. Can operate the computer. Real objects and drawing are recognized by a camera installed on the back side of the screen, like a projector. As means for improving the recognition accuracy, an identification code is added to the surface where the real object touches the screen, and the type and orientation are recognized by the camera. In addition, since the result of manipulating the real object is immediately reflected on the display, the input / output can be directly associated in this case as well as DataTiles, and the input / output is relatively versatile.
しかしながら、特許文献2で用いられる背面投影ディスプレイはその原理上、平面ディスプレイと比較してシステムが大型化してしまい低コスト化、可搬性などに問題がある。また、スクリーンを離れた実物体はカメラでの撮影が困難なため、DataTiles同様、ディスプレイから離れてしまった実物体の状況(位置、移動、向き)を入力に用いることができない。さらに、描画はタッチパネルを用いた仮想的なものではなく、水性ペンやマーカを用いた実際の描画をするので、一度描画したものを削除したり変更したりすることも困難である。 However, the rear-projection display used in Patent Document 2 has a problem in terms of its cost, portability, and the like due to its principle that the system becomes larger than a flat display. In addition, since it is difficult for the real object that has left the screen to be captured by the camera, the situation (position, movement, and orientation) of the real object that has left the display cannot be used for input, as in DataTiles. Furthermore, since the drawing is not a virtual one using a touch panel but an actual drawing using a water-based pen or a marker, it is difficult to delete or change the one once drawn.
本発明は、上記事情に鑑みてなされたものであり、TUIでありながら入出力の直接的な対応付けを実現しつつ入出力に汎用性を持たせ、さらに、複数の実物体を表示装置から離した状態でもそれらの識別情報、位置・移動情報を得ることで、より直感的な操作技法を利用者に提供し、さらにその結果を用いた実物体の持ち上げや移動といった操作と、表示装置上への描画とを両手で迅速に行えるようにすることを目的としている。 The present invention has been made in view of the above circumstances, and while providing a direct correspondence between input and output while being a TUI, it has versatility for input and output, and further, a plurality of real objects are displayed from a display device. By obtaining the identification information, position / movement information, even in a separated state, the user is provided with more intuitive operation techniques, and further, operations such as lifting and moving real objects using the results, and on the display device The purpose of this is to enable quick drawing with both hands.
具体的には、本発明の目的は、利用者が両手を有効に利用しながら直感的にわかりやすくコンピュータを操作したり、コンピュータを介して遠隔地の人とコミュニケーションしたりすることができるユーザ・インタフェース環境を提供する情報入出力システムを提供することにある。 Specifically, the object of the present invention is to enable a user who can operate a computer intuitively and easily while using both hands effectively, or to communicate with a remote person via a computer. An object of the present invention is to provide an information input / output system that provides an interface environment.
上記のような目的を達成するため、本発明による情報入出力システムは、基本的な構成として、複数の物理タグと、前記物理タグを載置した状態であっても入力操作が可能なタッチパネルを備えた表示装置と、前記表示装置の表面上に載置された状態の前記物理タグまたは利用者により把持され前記表示装置の表面を離れた状態の前記物理タグの識別情報及び三次元位置情報を取得し、前記物理タグの移動軌跡情報及び停止位置情報を取得する物理タグ計測装置と、前記物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する情報処理手段と、前記情報処理手段による処理結果を前記表示装置に表示する表示処理手段とを具備する。 In order to achieve the above object, an information input / output system according to the present invention has, as a basic configuration, a plurality of physical tags and a touch panel that allows input operations even when the physical tags are placed. And a display device provided with the physical tag placed on the surface of the display device or identification information and three-dimensional position information of the physical tag held by a user and separated from the surface of the display device. The physical tag measuring device that acquires and acquires the movement trajectory information and stop position information of the physical tag, the movement trajectory of the physical tag, the positional relationship of a plurality of physical tags, input data by an input operation from the touch panel, or those Information processing means for executing information processing instructed according to the combination, and display processing means for displaying a processing result by the information processing means on the display device
1つの態様として、この情報入出力システムにおいて、前記表示装置に備えられるタッチパネルは、タッチパネル表面が物体で接触され、タッチパネル表面を伝播する超音波を吸収する前記物体での接触により位置情報が入力される超音波表面弾性波方式のタッチパネルであり、前記複数の物理タグは、当該物理タグがタッチパネル表面上に載置されても、当該表面を伝播する超音波をあまり吸収せず、当該タッチパネルへの入力操作に悪影響を与えない材質の外部筺体で覆われるように構成される。このような構成により、物理タグは軽量であり、その外形がプラスチックや金属などの素材により作製されるので、このため、タッチパネルへの複数の物理タグの載置と当該タッチパネルへの入力が両立できることになる。 As one aspect, in this information input / output system, the touch panel provided in the display device has a touch panel surface touched by an object, and position information is input by contact with the object absorbing ultrasonic waves propagating on the touch panel surface. The ultrasonic surface acoustic wave type touch panel, and even if the physical tag is placed on the touch panel surface, the plurality of physical tags do not absorb the ultrasonic wave propagating on the surface so much. It is configured to be covered with an external housing made of a material that does not adversely affect the input operation. With such a configuration, the physical tag is lightweight, and its outer shape is made of a material such as plastic or metal. Therefore, the placement of a plurality of physical tags on the touch panel and the input to the touch panel can be compatible. become.
また、この場合に、タッチパネル表面に接触は、布素材またはゴム素材の指キャップで覆われた指先により行われる。このような構成により、天然繊維や化学繊維、またはゴムなどの素材で指先を覆う指キャップが、前記タッチパネルへの指先による入力を長時間実施しても、当該指先の皮膚の磨耗を防ぐことになる。 In this case, the touch panel surface is contacted by a fingertip covered with a finger cap made of a cloth material or a rubber material. With such a configuration, the finger cap that covers the fingertip with a material such as natural fiber, chemical fiber, or rubber prevents wear of the skin of the fingertip even when the fingertip input to the touch panel is performed for a long time. Become.
また、別の態様として、情報入出力システムにおいて、前記表示装置に備えられるタッチパネルは、コイルとコンデンサによるLC共振回路を備えた指キャップを装着した指先をタッチパネル表面に接触させて位置情報を入力する電磁授受作用方式のタッチパネルであるように構成される。このような構成とすると、複数の物理タグは、共振回路を備えていないため、複数の物理タグをタッチパネル表面上に載置してもタッチパネルへの入力に悪影響を与えない。このため、タッチパネルへの複数の物理タグの載置と当該タッチパネルへの入力を両立できることになる。 As another aspect, in the information input / output system, the touch panel provided in the display device inputs position information by bringing a fingertip equipped with an LC resonance circuit including a coil and a capacitor into contact with the surface of the touch panel. The touch panel is configured to be an electromagnetic transmission / reception system. With such a configuration, since the plurality of physical tags do not include a resonance circuit, even if the plurality of physical tags are placed on the surface of the touch panel, input to the touch panel is not adversely affected. For this reason, both the placement of a plurality of physical tags on the touch panel and the input to the touch panel can be achieved.
また、別の態様として、情報入出力システムにおいて、前記物理タグは、自己を識別する識別コードにより制御されて超音波信号を発信する超音波発信器を備え、前記物理タグ計測装置は、所定時間毎に当該物理タグ計測装置から無線で送信される識別コードにより前記それぞれの物理タグの超音波の発信を制御し、その識別コードに対応する物理タグから発信される超音波を、当該物理タグ計測装置に設けられた複数の受信器により受信して、該当の物理タグの三次元位置を計測し、それぞれの物理タグの識別情報とその三次元位置を獲得するように構成される。 As another aspect, in the information input / output system, the physical tag includes an ultrasonic transmitter that is controlled by an identification code for identifying the physical tag and transmits an ultrasonic signal, and the physical tag measuring device has a predetermined time. The transmission of ultrasonic waves from each physical tag is controlled by the identification code transmitted wirelessly from the physical tag measurement device every time, and the ultrasonic wave transmitted from the physical tag corresponding to the identification code is measured by the physical tag measurement. The information is received by a plurality of receivers provided in the apparatus, the three-dimensional position of the corresponding physical tag is measured, and the identification information of each physical tag and the three-dimensional position thereof are obtained.
更に別の態様として、情報入出力システムにおいて、前記物理タグは、自己を識別する識別コードにより制御されて発光する発光ダイオードを備え、前記物理タグ計測装置は、所定時間毎に前記物理タグ計測装置から無線で送信される識別コードによりそれぞれの物理タグが制御し、その識別コードに対応する物理タグの発光ダイオードを発光させ、当該物理タグ計測装置に設けられた複数の受光器により当該発光ダイオードの発光を観測して三次元位置を計測し、それぞれの物理タグの識別情報と三次元位置を獲得するように構成される。 In still another aspect, in the information input / output system, the physical tag includes a light emitting diode that is controlled by an identification code for identifying itself, and the physical tag measurement device is configured to perform the physical tag measurement device every predetermined time. Each physical tag is controlled by an identification code transmitted wirelessly from the optical tag, the light emitting diode of the physical tag corresponding to the identification code is caused to emit light, and a plurality of light receivers provided in the physical tag measuring device are used to The three-dimensional position is measured by observing the light emission, and the identification information and the three-dimensional position of each physical tag are acquired.
また、その他の別の態様として、情報入出力システムにおいて、前記物理タグは、自己を識別する識別コードの点滅パターンに従い発光する発光ダイオードを備え、前記物理タグ計測装置は、前記物理タグの発光ダイオードが発光する点滅パターンの発光を、当該物理タグ計測装置に設けられた複数の受光器により受光して、前記物理タグの三次元位置を計測し、それぞれの物理タグの識別情報と三次元位置を獲得するように構成される。 According to another aspect, in the information input / output system, the physical tag includes a light emitting diode that emits light according to a blinking pattern of an identification code that identifies the physical tag, and the physical tag measuring device includes the light emitting diode of the physical tag. The light emission of the blinking pattern that is emitted is received by a plurality of light receivers provided in the physical tag measuring device, the three-dimensional position of the physical tag is measured, and the identification information and the three-dimensional position of each physical tag are measured. Configured to earn.
また、この場合に、前記物理タグにはバイブレータが備えられ、前記物理タグが、前記表示装置上または周辺に載置された状態、または利用者が把持した状態のときにバイブレータを振動させて、当該物理タグの存在または当該物理タグに対応する情報の状態が変化したことを通知するように構成されても良い。 Further, in this case, the physical tag is provided with a vibrator, and the vibrator is vibrated when the physical tag is placed on or around the display device or held by a user. It may be configured to notify that the presence of the physical tag or the state of information corresponding to the physical tag has changed.
また、別の態様として、前記物理タグには下部にスイッチが備えられて、前記物理タグが、前記表示装置上または周辺に載置された状態で前記スイッチにより電源オフ状態または省電力モードとするように構成されても良い。このような構成により、電源がオンになるまでの間は物理タグの位置を更新しないので、物理タグの電力消費を削減し、なおかつ当該物理タグと前記物理タグ計測装置との間に遮蔽物が侵入しても当該物理タグの位置情報が乱されない。 As another aspect, the physical tag is provided with a switch at the bottom, and the physical tag is placed on or around the display device to be in a power-off state or a power saving mode. It may be configured as follows. With such a configuration, the position of the physical tag is not updated until the power is turned on, so that the power consumption of the physical tag is reduced, and there is a shield between the physical tag and the physical tag measuring device. Even if it invades, the position information of the physical tag is not disturbed.
また、別の態様として、情報入出力システムにおいて、前記物理タグには下部に太陽電池が備えられ、前記物理タグが、前記表示装置上に載置された状態で当該表示装置の発光により得られる光エネルギーを太陽電池により電気に変換して利用または当該物理タグに設けられた二次電池に充電するように構成されても良い。 As another aspect, in the information input / output system, the physical tag is provided with a solar cell in a lower part, and the physical tag is obtained by light emission of the display device in a state of being placed on the display device. It may be configured to use light energy converted into electricity by a solar cell or to charge a secondary battery provided in the physical tag.
また、この場合に、前記表示装置は、当該表示装置上に載置された物理タグの計測位置とその周辺の表示領域の輝度を高くし、物理タグに設けられた太陽電池による発電量を増加させるように構成されても良い。 In this case, the display device increases the measurement position of the physical tag placed on the display device and the brightness of the display area around the physical tag, and increases the amount of power generated by the solar cell provided on the physical tag. You may be comprised so that it may make.
また、ユーザ・インタフェースの入出力操作に関係して、本発明による情報入出力システムにおいては、前記表示装置の表示画面上にウィンドウ、ダイアログボックス、クリップボード、コントロールパネルなどのGUIオブジェクトが表示された場合に、前記情報処理手段により、前記物理タグは前記GUIオブジェクトと対応付けられ、物理タグと対応づけられた前記GUIオブジェクトは、当該物理タグの載置位置に近接して前記表示装置の表示画面上に表示されるように構成される。 Further, in the information input / output system according to the present invention, GUI objects such as windows, dialog boxes, clipboards, control panels, etc. are displayed on the display screen of the display device in relation to input / output operations of the user interface. In addition, the physical tag is associated with the GUI object by the information processing means, and the GUI object associated with the physical tag is displayed close to the placement position of the physical tag on the display screen of the display device. Configured to be displayed.
この場合に、前記GUIオブジェクトと前記物理タグとの対応付けは、物理タグに対応付けられていないGUIオブジェクトを前記タッチパネルの操作により押さえた状態で、更にGUIオブジェクトに対応付けられていない物理タグを当該GUIオブジェクトの上に載置する操作により、対応付けを行い、その対応を登録するように構成される。 In this case, the GUI object and the physical tag are associated with each other when the GUI object that is not associated with the physical tag is pressed by the operation of the touch panel and the physical tag that is not associated with the GUI object. Correspondence is performed by an operation of placing on the GUI object, and the correspondence is registered.
また、この場合に、前記GUIオブジェクトと前記物理タグとの対応付けの解除は、対応付けを解除するGUIオブジェクトを前記タッチパネルの操作により押さえた状態で、更に当該GUIオブジェクトに対応付けられている物理タグを把持し持ち上げる操作により、当該対応付けを解除し、その対応の登録を解除するように構成される。 Further, in this case, the association between the GUI object and the physical tag is released by physically pressing the GUI object to be associated with the physical object associated with the GUI object in a state where the GUI object is released by operating the touch panel. By the operation of grasping and lifting the tag, the association is released and the registration of the association is released.
また、表示の態様については、GUIオブジェクトに対応付けられている物理タグの複数個が近接して、当該各物理タグに対応付けられたGUIオブジェクト同士が重なり合って見づらくなる状態となった場合に、当該各GUIオブジェクトの表示位置を再配置し、各GUIオブジェクトが重ならない状態で表示するように構成される。 As for the display mode, when a plurality of physical tags associated with GUI objects are close to each other and the GUI objects associated with the physical tags overlap each other, it becomes difficult to see. The display positions of the GUI objects are rearranged so that the GUI objects are displayed in a non-overlapping state.
別の表示の態様としては、GUIオブジェクトに対応付けられている物理タグの複数個が近接して、当該各物理タグに対応付けられたGUIオブジェクト同士が重なり合って見づらくなる状態となった場合に、当該各GUIオブジェクトの表示位置を再配置し、各GUIオブジェクトが重ならない状態で表示すると共に、表示された各GUIオブジェクトと対応付けられている物理タグの関係を、表示画面上において当該物理タグの載置位置の表示と対応するGUIオブジェクトとを直線または曲線により結んで表示するように構成される。 As another display mode, when a plurality of physical tags associated with GUI objects are close to each other and the GUI objects associated with the physical tags overlap each other, it becomes difficult to see. The display positions of the GUI objects are rearranged and displayed in a state where the GUI objects do not overlap, and the relationship between the physical tags associated with the displayed GUI objects is displayed on the display screen. The display of the placement position and the corresponding GUI object are connected and displayed by a straight line or a curve.
更に別の表示の態様としては、前記表示装置の表示画面上で複数の物理タグに対応付けられたGUIオブジェクトが重なり合っている状態で表示されている場合、最上位に表示したいGUIオブジェクトに対応付けられた物理タグを持ち上げる操作により、当該物理タグに対応付けられているGUIオブジェクトが最上位に表示するように構成される。 As another display mode, when GUI objects associated with a plurality of physical tags are displayed in an overlapping state on the display screen of the display device, the display is associated with the GUI object to be displayed at the highest level. The GUI object associated with the physical tag is displayed at the top by the operation of lifting the physical tag.
上記のような構成による本発明の情報入出力システムによれば、実物体の物理タグによってTUI環境を実現しながら、入出力の直接的な対応付けを実現して、入出力インタフェースに汎用性を持たせることができる。更には、複数の実物体の物理タグを表示装置から離した状態でも、それらの識別情報、位置・移動情報を得て、より直感的な操作を実現することができ、物理タグ(実物体)の把持・移動といった操作と表示装置上への描画とを両手で迅速に行うことができる。直感的な操作の例としては、例えば、
(1)両手で複数の物理タグを一箇所に集める、
(2)それらを好きな位置に再載置することでGUIオブジェクトを再配置する、
(3)利き手で描画しながらもう一方の手で物理タグを把持する、
(4)物理タグを把持し持ち上げて動かしながら得られる移動軌跡を後述のタグジェスチャとして用いることができる、
(5)複数あるウィンドウがそれらに対応する物理ダグのアフォーダンスによって存在感が増す、
などの操作により情報処理システムに対する入出力操作が手軽に行える効果が得られる。
According to the information input / output system of the present invention having the above-described configuration, the input / output interface is made versatile by realizing the direct association of input / output while realizing the TUI environment by the physical tag of the real object. You can have it. Furthermore, even when the physical tags of a plurality of real objects are separated from the display device, their identification information, position / movement information can be obtained, and a more intuitive operation can be realized. Physical tags (real objects) It is possible to quickly perform operations such as gripping / moving and drawing on the display device with both hands. As an example of intuitive operation, for example,
(1) Collect multiple physical tags in one place with both hands.
(2) Re-arrange the GUI objects by re-arranging them at the desired position.
(3) Hold the physical tag with the other hand while drawing with your dominant hand.
(4) A movement trajectory obtained by grasping a physical tag and lifting and moving it can be used as a tag gesture described later.
(5) The presence of a plurality of windows increases due to affordance of physical Dougs corresponding to them.
Thus, it is possible to easily perform input / output operations for the information processing system.
以下、図を参照しながら本発明による情報入出力システムの実施例について説明する。図1は、本発明による情報入出力システムの典型的な実施形態を説明する入出力操作部を中心とした概略図である。図1において、10は物理タグに対応づけられているGUIオブジェクト、11は物理タグが移動中であるため小さく表示されたGUIオブジェクト、12は物理タグに対応づけられていないGUIオブジェクト、18は表示装置に表示されたGUIオブジェクト、20は表示内容に対応づけられている物理タグ、21は把持されて表示装置の表面を離れた物理タグ、22はGUIオブジェクトに対応づけられていない物理タグ、28はGUIオブジェクトに対応づけられた物理タグ、30は指キャップ、40はGUIオブジェクトに描画したスケッチ、50は物理タグを把持し持ち上げた利用者の左手、51はタッチパネルでスケッチを描画している利用者の右手、60はタッチパネルを備えた表示装置、70は物理タグ計測装置、80は計算機システムである。 Embodiments of an information input / output system according to the present invention will be described below with reference to the drawings. FIG. 1 is a schematic diagram centering on an input / output operation unit for explaining an exemplary embodiment of an information input / output system according to the present invention. In FIG. 1, 10 is a GUI object associated with a physical tag, 11 is a GUI object displayed small because the physical tag is moving, 12 is a GUI object not associated with a physical tag, and 18 is displayed. GUI object displayed on the device, 20 is a physical tag associated with the display content, 21 is a physical tag gripped and leaves the surface of the display device, 22 is a physical tag not associated with the GUI object, 28 Is a physical tag associated with the GUI object, 30 is a finger cap, 40 is a sketch drawn on the GUI object, 50 is a left hand of the user who holds and lifts the physical tag, and 51 is a sketch drawing on the touch panel The right hand of the person, 60 is a display device with a touch panel, 70 is a physical tag measuring device, 80 is It is a calculation system.
情報入出力システムは、TUI環境を提供するための実物体の複数の物理タグ20,21,22,28と、この物理タグ20,21,22,28の3次元位置情報を計測する物理タグ計測装置70と、タッチパネル61を備えた表示装置60と、利用者の手操作により移動させられる物理タグ20,21,22,28の移動軌跡データを解析してGUI環境およびTUI環境による入出力処理を行う計算機システム80から構成される。計算機システム80は、ここでの入出力処理を行うシステム要素として、情報処理手段81、表示処理手段82を備える。その他、図示されない情報処理のためのシステム要素が備えられる。
The information input / output system includes a plurality of
タッチパネル61を備える表示装置60は、当該タッチパネル61上に物理タグ20,22,28を載置した状態であっても、その影響を受けずにタッチパネル61における入力操作が可能であるものが用いられる。物理タグ計測装置70は、表示装置60の表面上に載置された状態の物理タグ20,28または利用者により把持され表示装置60の表面を離れた状態の物理タグ21の識別情報及び三次元位置情報を取得し、これらの物理タグの移動軌跡のデータ、停止位置のデータを取得する。
As the
計算機システム80の情報処理手段81は、物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する。情報処理システム80の表示処理手段82は、情報処理手段81による処理結果を前記表示装置に表示する。
The information processing means 81 of the
後述するように、GUIオブジェクト10,11,12,18に対して複数物理タグ20,21,22,28のいずれかが対応づけられ、また、対応付けが解除される。GUIオブジェクトに対応づけられた複数の物理タグを用いて、利用者による複数の物理タグ20,21,22,28の移動の操作によって、表示装置60の表示画面に表示されるGUIオブジェクト10,11,12,18が制御されて、GUI環境およびTUI環境による入出力処理が行われる。
As will be described later, one of the plurality of
このように、情報入出力システムの構成では、複数の物理タグ20,21,22,28と、当該複数の物理タグを載置したまま入力ができるタッチパネル61を備えた表示装置60と、当該表示装置の表面上に載置されたかもしくは利用者により把持され表面を離れた当該物理タグの識別情報及び三次元位置情報を取得する物理タグ計測装置70と、当該物理タグの三次元的な移動軌跡、または当該複数の物理タグの位置関係、またはタッチパネル61からの入力、またはそれらの組み合わせに応じた情報処理を実行する情報処理手段81と、当該処理結果を表示装置に表示する表示処理手段82を具備する。なお、ここで、物理タグ20,21,22,28は、把持しやすく表示装置60に載置しても、表示装置60の表示の見やすさをあまり損なわない大きさの実物体である。
As described above, in the configuration of the information input / output system, the plurality of
タッチパネル61は、例えば、超音波表面弾性波方式のタッチパネルを用いることができる。この場合、素手の指先や布やゴムなどの素材で覆われた指先などタッチパネル表面を伝播する超音波を吸収する物体で接触することにより、位置情報の入力ができる。複数の物理タグ20,21,22,28は、例えば、軽量であるか、または、その外形がプラスチックや金属などの素材でできているため、物理タグをタッチパネル表面上に載置しても、タッチパネル表面を伝播する超音波をあまり吸収せず、タッチパネルへの入力に悪影響を与えない。このように、複数の物理タグを載置と当該タッチパネルへの入力が両立できるものを利用にする。
As the
利用者の指先には、例えば、天然繊維や化学繊維、またはゴムなどの素材の指キャップ30を装着する。これにより、タッチパネル61への指先による入力を利用者が長時間行っても、指先の皮膚の磨耗を防ぐことができる。もちろん、指先だけではなく同様の素材で作られた手袋を装着してもよい。
For example, a
タッチパネル61としては、図2に示すように、電磁授受作用方式のタッチパネル62を用いるようにしても良い。この場合は、利用者の手52の入力操作を行う指先には、コイルとコンデンサによるLC共振回路32を備えた指キャップ31を装着する。またはLC共振回路32を備えた手袋を装着する。これにより、タッチパネル62への入力が可能になる。このようなタッチパネル62を用いる場合には、複数の物理タグ(20,21,22,28)は、そのようなLC共振回路を備えていないため、物理タグがタッチパネル62の表面上に載置されても当該タッチパネルへの入力に悪影響を与えない。このよう該複数の物理タグの載置と当該タッチパネルへの入力が両立できるタッチパネル62を利用する。
As the
物理タグ計測装置70としては、超音波位置計測方式の物理タグ計測装置を用いることができる。図3(a)に示すように、超音波位置計測方式の物理タグ計測装置71は、物理タグ計測装置71から無線で送信される識別コードを物理タグ23が受信し、その識別コードに対応する物理タグ23のみが超音波を発信し、当該超音波を物理タグ計測装置71における3個以上の受信器により受信する。これにより、超音波位置計測方式の物理タグ計測装置71は、物理タグ23の三次元位置を計測し、各物理タグの識別情報と三次元位置を獲得する。
As the physical
また、物理タグ計測装置70の別の例としては、ステレオカメラ方式の物理タグ計測装置72を用いることができる。図3(b)に示すように、ステレオカメラ方式の物理タグ計測装置72は、物理タグ計測装置72から無線で送信される識別コードを物理タグ24が受信し、その識別コードに対応する物理タグ24のみが自己の物理タグ24が備えるLED(発光ダイオード)を点灯させて、物理タグ計測装置72の2つのカメラ(ステレオカメラ)により物理タグ24のLEDの発光を観測する。これにより、ステレオカメラ方式の物理タグ計測装置72は、その三次元位置を計測し、各物理タグの識別情報と三次元位置を獲得する。
Further, as another example of the physical
また、物理タグ計測装置70としては、別の例のステレオカメラ方式の物理タグ計測装置73を用いることができる。図4に示すように、ステレオカメラ方式の物理タグ計測装置73においては、例えば、物理タグ25が発光ダイオード(LED)を備えるが、物理タグ25は、自己が備える発光ダイオードは発光する場合に、発光の点滅を識別コードに合わせて行う。このため発光の点滅パターンは識別コードに対応したものとなる。物理タグ25から発信される発光の点滅パターンを、物理タグ計測装置73が受光し、当該LEDの点滅パターンを観測することにより、当該物理タグの識別情報と三次元位置を獲得する。
Further, as the physical
ところで、物理タグ20,21,22,28は、バイブレータを備えることで、表示装置60上または周辺に載置された状態、または利用者が把持した状態で当該物理タグが振動し、当該物理タグの存在感を強調することができる。または当該物理タグに対応する情報の状態が変化したことを通知することができるものとすることができる。
By the way, the
ここでの物理タグ20,21,22,28は、物理タグ計測装置70により3次元位置を計測するために超音波を発信し、また発光ダイオードを点灯させるため、内蔵電池により駆動される。このため、図5(a)に示すように、物理タグ26の下部に、例えば、プッシュ式や接触感知式、赤外線感応方式などのスイッチを備えて、物理タグ26を表示装置上または周辺に載置すると、電源がオフになるか、または省電力モードになるように構成することができる。これにより、物理タグの電力消費を削減することができる。また、電源がオンになるまでの間は物理タグ26の位置を更新しないので、当該物理タグ26と前記物理タグ計測装置との間に遮蔽物が侵入しても載置された当該物理タグ26の位置情報は乱されることがなくなる。
The
また、同じく、図5(b)に示すように、物理タグ27は下部に太陽電池を備えることもできる。そのような物理タグ27を表示装置60上に載置している間は、表示装置60の表示画面の発光により得られる光エネルギーを電気に変換して利用し、または当該物理タグの二次電池に充電することができる。さらに、太陽電池を備えた物理タグ27を用いる場合には、表示装置60は、物理タグ27に近接してGUIオブジェクト17を表示する場合、表示装置の表示画面のタッチパネル上に載置された物理タグ27の計測位置とその周辺の表示領域300の輝度を高くし、当該太陽電池による発電量を増加させることができる。
Similarly, as shown in FIG. 5B, the
また、物理タグ20,21,22,28は、表示装置60の表示画面上に表示されるウィンドウやダイアログボックス、クリップボード、コントロールパネルなどのGUIオブジェクトと対応付けることにより、当該物理タグ20,21,22,28に近接して、対応づけたGUIオブジェクトを表示装置60の表示画面に表示することができる。これにより、従来のGUI環境を実現とすると共に、GUIと同様のインタフェース設計を利用するTUIを実現することができる。
The
ところで、図1を参照すると、図1には本発明による情報入出力システムの典型的な利用形態が示されている。この例では、タッチパネル61を備えた表示装置60は、水平に近い状態で使用している。これは物理タグ20,21,22,28を載置した状態を保つためであるが、もし、摩擦力、粘着力、磁力などにより表示装置60の水平から傾いていても、物理タグ20,21,22,28が重力により移動することがなければその限りではない。その表示装置60による入出力インタフェースとして、従来型のGUIを利用してその表示を行っても良いし、アプリケーションごとに設計し直したGUIを利用してそのような表示を行っても良い。
Now, referring to FIG. 1, FIG. 1 shows a typical use form of the information input / output system according to the present invention. In this example, the
物理タグ20,21,22,28については、物理タグ20,21,28のように、GUIオブジェクトに対応付けられているもの、物理タグ22のように対応付けられていないものがある。GUIオブジェクト10,11,12,18についても、GUIオブジェクト10,11,18のように、物理タグに対応付けられているものと、GUIオブジェクト12のように対応付けられていないものがある。これらの対応付けや対応付けの解除の詳細については後述する。
Some of the
利用者がGUIオブジェクト10,11,18に対応付けられている物理タグ20,21,28を移動する操作を行うと、この物理タグに対応付けられたGUIオブジェクト10,11、18も追従して移動する。これにより、物を手でつかんで動かすという非常に自然な操作方法によりGUIの中のウィンドウを動かすことができる。また、物理タグの3次元的な動きを含む移動軌跡を解析するタグジェスチャにより、コピーやペーストといったコンピュータの様々な操作を行うこともできる。
When the user performs an operation of moving the
物理タグ計測装置70と物理タグ20,21,22,28の組み合わせとしては、例えば、図3(a)により説明したように、物理タグ計測装置71と物理タグ23のような超音波三次元位置計測方式が採用することができる(非特許文献5)。この三次元位置計測方式では、まず、識別コードを物理タグ計測装置71から電波を用いて無線で送信して複数の物理タグ23それぞれが受信する。次に、その識別コードに対応する物理タグ23のみが超音波を発信し、その超音波を物理タグ計測装置71が3個以上の受信器により受信してその受信器の3次元位置から物理タグ23の三次元位置を計測する。これを物理タグの個数分繰り返すことで、各物理タグの識別情報と三次元位置を獲得して、その移動軌跡のデータを物理タグに対応づけて記憶する。
As a combination of the physical
また、図3(b)により説明したように、物理タグ計測装置72と物理タグ24のようなステレオカメラ方式の3次元位置計測方式を用いるようにしても良い。この場合には、前記の方式と同様に、まず、識別コードを物理タグ計測装置72から無線で送信して複数の物理タグ24のそれぞれが受信する。次に、その識別コードに対応する物理タグ24のみが物理タグ24が備える発光ダイオード(LED)を点灯させ、物理タグ計測装置72のステレオカメラがそのLEDの発光を観測して三次元位置を計測する。これを物理タグの個数分繰り返すことで、各物理タグの識別情報と三次元位置を獲得する。識別情報と三次元位置を獲得することにり、その移動軌跡のデータをそれぞれの物理タグに対応づけて記憶する。
Further, as described with reference to FIG. 3B, a stereo camera type three-dimensional position measurement method such as the physical
また、図4により説明したように、物理タグ計測装置73と物理タグ25のような方式を用いるようにしても良い(非特許文献6)。この場合には、図3(b)の物理タグ24と同様に、物理タグ25は発光ダイオード(LED)を備えており、そのLEDを発光させるが、発光を識別コードに応じて点滅させる。つまり、物理タグ25はLEDの点滅パターンによって識別コードを発信する。物理タグ計測装置73としては、例えば、高速撮影により物理タグ25のLEDの点滅パターンを観測できるCMOSカメラを用いる。3次元位置計測についてはステレオカメラ方式により行う。これにより、物理タグの識別情報と三次元位置を獲得することができる。
Further, as described with reference to FIG. 4, a system such as the physical
表示装置60が具備するタッチパネル61としては、例えば、超音波表面弾性波方式のタッチパネルを用いる。この場合には、素手の指先で入力することができる。しかし、長時間、素手の指先での入力を繰り返すと皮膚が磨耗してしまうという問題が出てくる。このように問題に対しては、指先には、例えば、天然繊維や化学繊維、またはゴムなど、タッチパネル表面を伝播する超音波を吸収する素材の指キャップ30を装着して指先を保護するようにする。もちろん、指先だけではなく同様の素材で作られた手袋を装着してもよい。
As the
なお、超音波表面弾性波方式のタッチパネルを用いる場合、物理タグ20,21,22,28が、軽量であるか、または、その外形がプラスチックや金属などの素材でできているか、またはその両方であれば、超音波表面弾性波方式のタッチパネルの表面上に載置しても、当該表面を伝播する超音波をあまり吸収しないので、タッチパネルへの入力に悪影響を与えない。そのため、複数の物理タグを載置とタッチパネルへの入力を両立することができる。
When an ultrasonic surface acoustic wave type touch panel is used, the
これに変えて、図2により説明したように、例えば、タッチパネル61としては、電磁授受作用方式のタッチパネル62を採用することもできる。この場合には、利用者は、コイルとコンデンサによるLC共振回路32を備えた指キャップ31または手袋を装着することによりでタッチパネル62への入力を行う。この場合は、物理タグ20,21,22,28が、共振回路を備えていないため、タッチパネル表面上に物理タグを載置してもタッチパネルへの入力に悪影響を与えない。そのため、上記と同様、複数の物理タグの載置とタッチパネルへの入力が両立できる。
Instead, as described with reference to FIG. 2, for example, as the
このように、物理タグの操作とタッチパネル操作が両立できると、後述するように、タグジェスチャとタッチパネルの両方を用いた操作技法、つまり、片手でタッチパネルの入力をしつつ、もう片方の手で物理タグを動かすことにより、コンピュータを操作するといったことが実現できる。 Thus, if both physical tag operation and touch panel operation are compatible, as will be described later, an operation technique using both tag gesture and touch panel, that is, physical input with the other hand while inputting on the touch panel with one hand. It is possible to operate a computer by moving a tag.
さらに、例えば、字や絵を書く際の利用者の利き手が右手であった場合、図1を参照すると、物理タグ21を把持し持ち上げた左手50と、スケッチ40を描画している右手51のように、左右の非対称な両手操作を自然と導出することができる。描画のためのペンの持ち替えもないため、両手で物理タグを操作する状況と、片手で物理タグを操作しもう片手でタッチパネルを入力する状況との切り替えも迅速に行うことができる。
Further, for example, when the user's dominant hand when writing a character or a picture is the right hand, referring to FIG. 1, the
ここで、図1に示されるGUIオブジェクト11は(または後述する図10および図11に示すウィンドウ200,201などGUIオブジェクトは)、それに対応付けられた物理タグが移動中であるため、表示装置60の表示画面上においてはそれらGUIオブジェクト11は小さく表示されている。これは、ビューマネージメント機能の1つとも言える。把持して移動することで他のGUIオブジェクトを隠してしまう可能性を低減している。GUIオブジェクトを小さく表示するためには、例えば、アイコン化する、サムネイル化するなどの処理を行うようにしてもよい。もちろん、GUIオブジェクト自体を小さく表示するだけではなく、大きさを変えずに半透明化することにより他のオブジェクトを隠さないようにすることもできる。また、このような表示形態の変化は、システムが物理タグの移動を認識していることを利用者に伝えることができるため、視覚的フィードバック機能としても働く。
Here, since the
また、物理タグ20,21,22,28はバイブレータを備えることもできる。そのような物理タグは、例えば、電波を用いた無線通信により、物理タグ自体の識別コードだけではなく、バイブレータのオン・オフや振動パターン情報を受信し、バイブレータの制御を行うことができる。そのような物理タグを、表示装置上または周辺に載置された状態でバイブレータにより振動させると、その物理タグの存在感を増強することができる。または、利用者が把持した状態で物理タグを振動させることで、物理タグに対応する情報の状態が変化したことを、ユーザに通知することができる。例えば、上記のように、把持して持ち上げた状態がシステムにより認識されたことを、GUIオブジェクトを小さく表示することで表現するだけ、振動もさせることで、利用者は視覚的フィードバックと触覚的フィードバックを同時に得て、よりシステム状態を把握しやすいユーザ・インタフェースを提供することができる。
In addition, the
図5(a)により説明したように、物理タグ26は、表示装置との設置面(下部)に、プッシュ式のスイッチを備えたものとすることができる。ここに設けられた物理タグのスイッチは、もちろん、接触感知式、赤外線感応方式などでも構わない。物理タグ20,21,22,28は、識別コードを受信または送信したり、超音波や光を発生したりするために内部に電池を備え、常にその電力を消費している。スイッチを設けた物理タグ26を表示装置上または周辺に載置すると、スイッチが反応するため、物理タグ26の電源をオフにしたり、省電力モードにしたりすることができる。これにより、物理タグ26の電力消費を削減することができる。
As described with reference to FIG. 5A, the
物理タグ26が表示装置60上に載置されている間は、利用者の手や別の物理タグなどが、その載置された物理タグと物理タグ計測装置の間に遮蔽物として侵入し、計測が正確に行えなくなる場合がある。しかし、上記のように、電源をオフにした状態や省電力モードにした状態では、物理タグ計測装置70や計算機システム80側では、物理タグ26の位置を更新しないようにすることができる。これにより、表示装置の上に載置されている物理タグ26の位置情報が乱されることがなくなる。もちろん、再び物理タグ26を把持して動かせば、電源がオンとされた状態となり、この物理タグ26の3次元位置計測が行われる。
While the
また、図5(b)により説明したように、物理タグ27は、下部に太陽電池が備えられるように構成されても良い。物理タグ27は、内部に駆動用の電池としてニッケル水素電池やリチウムイオン電池などの二次電池を有するが、このような二次電池と太陽電池とを組み合わせたものとされる。物理タグ27を表示装置の表示画面上に載置すると、表示装置の表示画面上の発光により得られる光エネルギーを太陽電池により電気エネルギーに変換して二次電池に充電する。もちろん、太陽電池により発電した電気は、超音波発信やLED点灯などで直接消費してもよい。
Further, as described with reference to FIG. 5B, the
この場合において、物理タグ27の太陽電池による発電量を増加させるため、例えば、図5(c)に示すように、表示装置の表示画面においては、物理タグ27が載置される位置の計測値とその周辺の輝度を高くして、高輝度領域300として表示される。1つの物理タグに、物理タグ26が備えているスイッチと物理タグ27が備えている太陽電池の両方を備えることも可能である。その場合、その物理タグを表示装置上に載置し太陽電池で充電している間は、その物理タグの位置情報を更新しないという処理も可能となる。
In this case, in order to increase the amount of power generated by the solar battery of the
前述したように、各物理タグ20,21,22,28は、ウィンドウやダイアログボックス、クリップボード、コントロールパネルなどのGUIオブジェクト10,11,12,18と対応付けることができ、対応付けられたGUIオブジェクトを物理タグに近接した状態で表示装置に表示することができる。このため、従来のGUIと同様のインタフェース設計に倣ったタンジブル・ユーザ・インタフェース(TUI)を実現することができるものとなる。これにより、利用者はこれまでのGUIの知識を活用することができ、さらに両手による自然な操作や、実物体のアフォーダンスなどのTUIの利点をそこに付加することができる。
As described above, each
図6は、GUIオブジェクトと物理タグとの対応付けを行う対応登録機能を説明する図である。この例では、物理タグに対応付けられていないGUIオブジェクト101をタッチパネル上で利用者の右手53の指先で押さえた状態(図左)である。この状態で、GUIオブジェクト101に対応付けられていない物理タグ121を利用者の左手54により把持してGUIオブジェクト101の上に載置する(図中)。これにより、この物理タグ121とGUIオブジェクト101を対応付けて、この対応付けをシステムに登録する。この結果、この物理タグ121とGUIオブジェクト101を対応付けられたものとなる(図右)。これは、タッチスクリーンとタグジェスチャの両方を用いた両手操作の一例でもある。
FIG. 6 is a diagram for explaining a correspondence registration function for associating a GUI object with a physical tag. In this example, the
図7は、GUIオブジェクトと物理タグとの対応付けを解除する対応解除機能を説明する図である。図7の操作例は、図6の操作とは逆の操作であるGUIオブジェクトと物理タグとの対応付けを解除する対応解除機能の一実施例を示している。この例では、まず、物理タグ122と対応づけられているGUIオブジェクト102をタッチパネル上で利用者の右手53の指先で押さえ(図左)、利用者の左手54の指先で物理タグ122を把持し持ち上げる(図中)ことで対応付けを解除する。これにより、物理タグ122とGUIオブジェクト102を対応付けは解除されたものとなる(図右)。この場合に、物理タグ122をどの程度持ち上げるかは利用者の嗜好に応じて設定することができる。例えば、約20cm以上、上に1秒以上持ち上げた場合に対応付けを解除するように設定する。
FIG. 7 is a diagram illustrating a correspondence release function for releasing the association between a GUI object and a physical tag. The operation example of FIG. 7 shows an embodiment of the correspondence release function for releasing the association between the GUI object and the physical tag, which is the reverse operation to the operation of FIG. In this example, first, the
図6及び図7により説明した操作例は、紙を壁に貼り付けたり壁から剥がすために、その紙をしっかり押さえて、ピンを刺したり抜いたりする動作をメタファとした操作方法となっており、非常に直感的な操作感が得られる。また、GUIオブジェクトの個数は、物理的な制約は特になく、オペレーションシステムや計算機システムの能力に依存するだけであるが、物理タグの個数は、無限に増やすわけにはいかない。しかし、このような対応登録・解除機能を用いることで、同じタグを違うGUIオブジェクトを操作するときに再利用することができる。 The operation example described with reference to FIGS. 6 and 7 is an operation method using a metaphor as an operation of firmly pressing the paper and inserting or removing the pin in order to attach or remove the paper from the wall. A very intuitive operation feeling can be obtained. In addition, the number of GUI objects is not particularly limited and only depends on the capabilities of the operation system and the computer system, but the number of physical tags cannot be increased indefinitely. However, by using such a correspondence registration / cancellation function, the same tag can be reused when operating a different GUI object.
図8は、GUIオブジェクトピックアップ機能を説明する図である。図8により、GUIオブジェクトピックアップ機能を説明すると、図の左に示すように、複数の物理タグ123,124に対応付けられたGUIオブジェクト103,104が重なり合っている状態においては、利用者は、最上位に表示したいと希望するGUIオブジェクト103に対応付けられた物理タグ123を持ち上げる(図中)ことで、そのGUIオブジェクト103を最上位に表示することができる(図右)。引っ張りあげる動作のメタファを用いており、やはり、直感的に理解しやすい操作技法である。
FIG. 8 is a diagram for explaining the GUI object pickup function. The GUI object pickup function will be described with reference to FIG. 8. In the state where the GUI objects 103 and 104 associated with the plurality of
このように、物理タグの三次元位置の移動軌跡のデータを解析して、物理タグが実際どの程度、表示装置表面を離れたら、システム中で離れたと認識するかについては、利用者の嗜好に応じて変更することができる。例えば、表面から8−10cm程度離れた状態が1秒以上続いたら、システムはその物理タグが表示装置表面から持ち上げられたと認識して、上記のような対応登録、対応解除、GUIオブジェクトピックアップなどの各機能などを実行するように構成する。 In this way, by analyzing the movement trajectory data of the three-dimensional position of the physical tag, how much the physical tag actually leaves the display device surface and recognizes that it is separated in the system depends on the user's preference. It can be changed accordingly. For example, if a state of about 8-10 cm away from the surface continues for more than 1 second, the system recognizes that the physical tag has been lifted from the display device surface, and performs the above-described correspondence registration, correspondence cancellation, GUI object pickup, etc. It is configured to execute each function.
図9は、各GUIオブジェクトが重なり合って見づらくなる状態を回避するためのビューマネージメント機能を説明する図である。複数の物理タグが近接した状態でいかなる処置も施さない場合、各物理タグに対応付けられたGUIオブジェクト同士が重なり合って見づらい状態となる。図9(a)は、このような状態を示している。3つの物理タグが近接した状態で、その対応の3つのウィンドウ211、ウィンドウ212、およびウィンドウ213が重なり合った状態となって、隠れた部分が生じている状態となっている。このような問題を解決するために、図9の(b),(c),(d)に示されるような3種類のつビューマネージメント機能が提供される。これにより、各GUIオブジェクトのウィンドウ211〜213は、重なり合って見づらくなる状態が回避される。
FIG. 9 is a diagram for explaining a view management function for avoiding a state in which GUI objects overlap and are difficult to see. When no treatment is performed in a state where a plurality of physical tags are close to each other, GUI objects associated with the physical tags overlap each other and are difficult to see. FIG. 9A shows such a state. In a state where the three physical tags are close to each other, the corresponding three
図9の(b)に示すように、第1のビューマネージメント機能(図右上)を用いると、各GUIオブジェクトのウィンドウ211〜213が重なり合わないように再配置され、なおかつ、各GUIオブジェクトが対応付けられている物理タグに近接している状態を保って配置されるものとなる。この第1のビューマネージメント機能のGUIオブジェクトの再配置方法は、例えば、全物理タグの計測位置の重心に弾性のある紐やバネで各GUIオブジェクトが繋がれていると仮定し、各GUIオブジェクトが同極の磁石のように振舞って反発するようにシミュレーションすることで実現することができる。
As shown in FIG. 9B, when the first view management function (upper right in the figure) is used, the
また、図9の(c)に示すように、第2のビューマネージメント機能(図右下)を用いることができる。この第2のビューマネージメント機能は、例えば、各GUIオブジェクトのサイズ、GUIオブジェクトの数、表示装置の表示範囲の制約から、第1のビューマネージメント機能を用いても、適切に各GUIオブジェクトを配置できない場合に、物理タグとGUIオブジェクトの関係を直線又は曲線の表示により示して再配置する。第2のビューマネージメント機能では、各GUIオブジェクトが重なり合わないようにし、なおかつ各GUIオブジェクトとそれらに対応付けられている物理タグとの間の対応関係を線や円などの図形によりに表示する。また、利用者は、図9の(d)に示すように、第3のビューマネージメント機能(図左下)を用いることができる。第3のビューマネージメント機能は、それぞれのGUIオブジェクトが重なり合わないようにする再配置が不可能な場合に、それぞれのGUIオブジェクトの描画の透明度を変化させて、それぞれのGUIオブジェクトのウィンドウ211〜213の内容を表示する。これにより、利用者は重なり合っていても、かくGUIオブジェクトの内容を確認できる。
Further, as shown in FIG. 9C, the second view management function (lower right in the figure) can be used. In the second view management function, for example, due to restrictions on the size of each GUI object, the number of GUI objects, and the display range of the display device, even if the first view management function is used, the GUI objects cannot be arranged appropriately. In this case, the relationship between the physical tag and the GUI object is indicated by a straight line or a curved line and rearranged. In the second view management function, the GUI objects are prevented from overlapping each other, and the correspondence relationship between the GUI objects and the physical tags associated with them is displayed as a graphic such as a line or a circle. Further, the user can use the third view management function (lower left in the figure) as shown in FIG. The third view management function changes the transparency of the drawing of each GUI object when rearrangement that prevents the respective GUI objects from overlapping each other is possible, and the
図10は、コンピュータ操作における基本的な操作の1つであるデータのコピーのためのタグジェスチャを説明する図である。TUIの一実施形態を示している。この例では、まず、クリップボード200に対応付けられた物理タグを把持する(図左)。次に、その物理タグをあまり持ち上げずに水平に動かし、ウィンドウ201に対応付けられた物理タグに近づけ、十分に近づいた状態になったとき、ウィンドウ201の内容をクリップボード200にコピーする処理を実行する(図中)。この場合において、ウィンドウ201の内容をすべてコピーする処理を実行してもよいし、ウィンドウ201に表示された内容の一部をタッチパネル上で囲い範囲指定をして部分的にコピーする処理を実行するようにしても良い。
FIG. 10 is a diagram for explaining a tag gesture for copying data, which is one of basic operations in computer operation. 1 illustrates one embodiment of a TUI. In this example, first, a physical tag associated with the
図11は、これもコンピュータ操作における基本的な操作の1つであるデータのペーストのためのタグジェスチャを説明する図である。TUIの一実施形態を示している。この例では、まず、クリップボード200に対応付けられた物理タグを把持する。次に、その物理タグを持ち上げてウィンドウ201に対応付けられた物理タグに近づけるように動かす(図左)。そして、十分に近づいた状態になったとき、ウィンドウ201にクリップボード200の内容をペーストする処理を実行する(図中)。この際、クリップボード200の内容をすべてペーストする処理を実行してもよいし、クリップボード200に蓄えられている内容の一部をタッチパネル上で選択し部分的にペーストする処理を実行するようにしてもよい。例えば、図1のGUIオブジェクト10がこのクリップボード200である場合、利用者は左手50と右手51の両手の操作によりクリップボードの内容にスケッチを追加してから他のGUIオブジェクトにペーストするといった操作技法も容易に発想することができる。
FIG. 11 is a diagram illustrating a tag gesture for pasting data, which is also one of basic operations in computer operation. 1 illustrates one embodiment of a TUI. In this example, first, a physical tag associated with the
ここで、コピーとペーストの違いは持ち上げ方にあるが、どの程度持ち上げたらペーストになるかは利用者の嗜好に応じて設定できるようにしてある。例えば、表示装置60の表示画面の表面から8−10cm程度以上持ち上げながら物理タグを動かしている状態が1秒以上続いたら、ペーストをする状態に移行するということにしてもよい。このようなGUIオブジェクトに対応づけられた物理タグを動かすことによるコピーの操作またペーストの操作は、連続して行うこともできる。また、複数の物理タグを集めておき、これらに対して操作することにより、複数のGUIオブジェクトに対する操作を同時に行うことができる。これらについて説明する。
Here, the difference between copying and pasting is in how to lift it, but how much it is lifted can be set according to the user's preference. For example, when the state where the physical tag is moved while being lifted by about 8-10 cm or more from the surface of the display screen of the
図12は、コピーを連続して実行している例を説明する図であり、図13は、ペーストを連続して実行している例を説明する図である。また、図14は、グループコピー機能を説明する図であり、図15は、グループペースト機能を説明する図である。このように、コピーやペーストを連続して実行することができ、迅速にコピーやペーストを行うことができる。 FIG. 12 is a diagram illustrating an example in which copying is continuously performed, and FIG. 13 is a diagram illustrating an example in which paste is continuously performed. FIG. 14 is a diagram for explaining the group copy function, and FIG. 15 is a diagram for explaining the group paste function. In this way, copying and pasting can be executed continuously, and copying and pasting can be performed quickly.
図14および図15に示すように、グループコピー、グループペースト機能では、複数のコピー元、またはペースト先のウィンドウ(GUIオブジェクト)を片手または両手で一箇所に集めて載置し、それらに対して、図10のコピー操作および図11のペースト操作と同様に、コピー・ペーストのタグジェスチャを施すことで、複数のウィンドウに対するコピー、およびペーストを実現している。 As shown in FIG. 14 and FIG. 15, in the group copy and group paste functions, a plurality of copy source or paste destination windows (GUI objects) are collected and placed in one place with one hand or both hands. Similar to the copy operation of FIG. 10 and the paste operation of FIG. 11, a copy / paste tag gesture is applied to realize copy and paste for a plurality of windows.
図14を参照して説明する。グループコピー機能を実行する場合、まず、GUIオブジェクトのウィンドウ211〜213に対応づけられている物理タグを1箇所に集める(図左)。次に、クリップボードウィンドウ200に対応づけられている物理タグを持ち上げて高さをあまり変えずに、1箇所に集められた複数の物理タグに近づける(図中)。クリップボードウィンドウ200に対応づけられて物理タグとウィンドウ211〜213に対応づけられた物理タグが十分接近すると、クリップボードウィンドウ200に、ウィンドウ211〜213の内容が同時にコピーされる(図右)。
This will be described with reference to FIG. When executing the group copy function, first, the physical tags associated with the
図15を参照して説明する。グループペースト機能を実行する場合には、まず、GUIオブジェクトのウィンドウ211〜213に対応づけられている物理タグを1箇所に集め(図左)、次に、クリップボードウィンドウ200に対応づけられている物理タグを持ち上げて、1箇所に集められた複数の物理タグに近づける(図中)。クリップボードウィンドウ200に対応づけられて物理タグとウィンドウ211〜213に対応づけられた物理タグが十分接近すると、クリップボードウィンドウ200の内容が、ウィンドウ211〜213に同時にペーストされる(図右)。
This will be described with reference to FIG. When executing the group paste function, first, the physical tags associated with the
このように本発明による情報入出力システムを用いることにより、例えば、一人または少数の熟練指示者と多数の現場作業者との間の遠隔作業支援や、一人または少数の指導者と多数の生徒との間の遠隔教育支援などといった遠隔協調作業支援のための直接的で直感的なユーザ・インタフェース環境を提供することができる。具体的には、一人の熟練指示者が、本発明の情報入出力システムを用いると、複数の実物体を複数の現場作業者に見立てたり、現場の地図や作業マニュアルなどのツールを別の実物体に対応させたりすることができる。さらに、現場の移動経路の指示を地図上への描画により表現したり、現場から送られてくる映像に描画を付加して送り返したりすることでわかりやすい指示を実現することができる。 As described above, by using the information input / output system according to the present invention, for example, remote work support between one or a small number of skilled instructors and many field workers, one or a few instructors and a large number of students, It is possible to provide a direct and intuitive user interface environment for remote collaborative work support such as remote education support between the two. Specifically, when one skilled instructor uses the information input / output system of the present invention, a plurality of real objects are regarded as a plurality of field workers, or a tool such as a map on the site or a work manual is separated from another object. It can correspond to the body. Furthermore, it is possible to realize an easy-to-understand instruction by expressing an instruction of a moving route on the site by drawing on a map, or adding a drawing to a video sent from the site and sending it back.
また、本発明による情報入出力システムは、従来のGUIにTUIの要素を付加することができるため、利用者はこれまでのGUIの知識を活用することができ、さらに両手による自然な操作や、実物体のアフォーダンスなどのTUIの利点をそこに付加することができる。つまり、本発明の情報入出力システムを用いれば、GUIを用いたさまざまなアプリケーションをより直感的で直接的に操作することができるように改良することができる。 In addition, since the information input / output system according to the present invention can add a TUI element to a conventional GUI, the user can utilize the knowledge of the GUI so far, and further, a natural operation with both hands, Advantages of TUI such as affordance of real objects can be added thereto. That is, by using the information input / output system of the present invention, it is possible to improve various applications using GUI more intuitively and directly.
Claims (17)
前記物理タグを載置した状態であっても入力操作が可能なタッチパネルを備えた表示装置と、
前記表示装置の表面上に載置された状態の前記物理タグまたは利用者により把持され前記表示装置の表面を離れた状態の前記物理タグの識別情報及び三次元位置情報を取得し、前記物理タグの移動軌跡情報及び停止位置情報を取得する物理タグ計測装置と、
前記物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する情報処理手段と、
前記情報処理手段による処理結果を前記表示装置に表示する表示処理手段と
を具備することを特徴とする情報入出力システム。 Multiple physical tags,
A display device including a touch panel capable of input operation even in a state where the physical tag is mounted;
The physical tag in a state of being placed on the surface of the display device or the physical tag being grasped by a user and separated from the surface of the display device to obtain identification information and three-dimensional position information, and the physical tag A physical tag measuring device for acquiring the movement trajectory information and stop position information of
Information processing means for executing information processing instructed according to a movement trajectory of the physical tag, a positional relationship between a plurality of physical tags, input data by an input operation from a touch panel, or a combination thereof;
An information input / output system comprising: display processing means for displaying a processing result by the information processing means on the display device.
前記表示装置に備えられるタッチパネルは、タッチパネル表面が物体で接触され、タッチパネル表面を伝播する超音波を吸収する前記物体での接触により位置情報が入力される超音波表面弾性波方式のタッチパネルであり、
前記複数の物理タグは、当該物理タグがタッチパネル表面上に載置されても、当該表面を伝播する超音波をあまり吸収せず、当該タッチパネルへの入力操作に悪影響を与えない材質の外部筺体で覆われる
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The touch panel provided in the display device is an ultrasonic surface acoustic wave type touch panel in which the touch panel surface is touched by an object, and position information is input by contact with the object that absorbs ultrasonic waves propagating through the touch panel surface,
The plurality of physical tags are external casings made of a material that does not absorb much ultrasonic waves propagating on the surface even if the physical tag is placed on the surface of the touch panel and does not adversely affect the input operation to the touch panel. An information input / output system characterized by being covered.
タッチパネル表面に接触は、布素材またはゴム素材の指キャップで覆われた指先により行われる
ことを特徴とする情報入出力システム。 The information input / output system according to claim 2,
An information input / output system characterized in that the touch surface is touched by a fingertip covered with a finger cap made of cloth or rubber.
前記表示装置に備えられるタッチパネルは、コイルとコンデンサによるLC共振回路を備えた指キャップを装着した指先をタッチパネル表面に接触させて位置情報を入力する電磁授受作用方式のタッチパネルである
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The touch panel included in the display device is an electromagnetically acting touch panel in which position information is input by bringing a fingertip with a finger cap provided with an LC resonance circuit including a coil and a capacitor into contact with the surface of the touch panel. Information input / output system.
前記物理タグは、自己を識別する識別コードにより制御されて超音波信号を発信する超音波発信器を備え、
前記物理タグ計測装置は、所定時間毎に当該物理タグ計測装置から無線で送信される識別コードにより前記それぞれの物理タグの超音波の発信を制御し、その識別コードに対応する物理タグから発信される超音波を、当該物理タグ計測装置に設けられた複数の受信器により受信して、該当の物理タグの三次元位置を計測し、それぞれの物理タグの識別情報とその三次元位置を獲得する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The physical tag includes an ultrasonic transmitter that is controlled by an identification code for identifying itself and transmits an ultrasonic signal.
The physical tag measuring device controls the transmission of ultrasonic waves of each physical tag by an identification code transmitted wirelessly from the physical tag measuring device every predetermined time, and is transmitted from the physical tag corresponding to the identification code. Is received by a plurality of receivers provided in the physical tag measuring device, and the three-dimensional position of the corresponding physical tag is measured, and the identification information and the three-dimensional position of each physical tag are acquired. An information input / output system characterized by this.
前記物理タグは、自己を識別する識別コードにより制御されて発光する発光ダイオードを備え、
前記物理タグ計測装置は、所定時間毎に前記物理タグ計測装置から無線で送信される識別コードによりそれぞれの物理タグが制御し、その識別コードに対応する物理タグの発光ダイオードを発光させ、当該物理タグ計測装置に設けられた複数の受光器により当該発光ダイオードの発光を観測して三次元位置を計測し、それぞれの物理タグの識別情報と三次元位置を獲得する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The physical tag includes a light emitting diode that emits light controlled by an identification code that identifies the physical tag,
The physical tag measuring device controls each physical tag by an identification code transmitted wirelessly from the physical tag measuring device every predetermined time, causes the light emitting diode of the physical tag corresponding to the identification code to emit light, and Information input / output characterized by measuring the three-dimensional position by observing the light emission of the light emitting diode by a plurality of light receivers provided in the tag measuring device, and acquiring the identification information and the three-dimensional position of each physical tag system.
前記物理タグは、自己を識別する識別コードの点滅パターンに従い発光する発光ダイオードを備え、
前記物理タグ計測装置は、前記物理タグの発光ダイオードが発光する点滅パターンの発光を、当該物理タグ計測装置に設けられた複数の受光器により受光して、前記物理タグの三次元位置を計測し、それぞれの物理タグの識別情報と三次元位置を獲得する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The physical tag includes a light emitting diode that emits light according to a blinking pattern of an identification code that identifies the physical tag,
The physical tag measuring device receives light of a blinking pattern emitted from a light emitting diode of the physical tag by a plurality of light receivers provided in the physical tag measuring device, and measures a three-dimensional position of the physical tag. An information input / output system characterized by acquiring identification information and three-dimensional position of each physical tag.
前記物理タグにはバイブレータが備えられ、
前記物理タグが、前記表示装置上または周辺に載置された状態、または利用者が把持した状態のときにバイブレータを振動させて、当該物理タグの存在または当該物理タグに対応する情報の状態が変化したことを通知する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The physical tag is provided with a vibrator,
When the physical tag is placed on or around the display device or held by a user, the vibrator is vibrated so that the presence of the physical tag or the state of information corresponding to the physical tag is determined. An information input / output system characterized by notification of changes.
前記物理タグには下部にスイッチが備えられ、
前記物理タグが、前記表示装置上または周辺に載置された状態で前記スイッチにより電源オフ状態または省電力モードとする
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The physical tag has a switch at the bottom,
An information input / output system, wherein the physical tag is placed on or around the display device to be in a power-off state or a power saving mode by the switch.
前記物理タグには下部に太陽電池が備えられ、
前記物理タグが、前記表示装置上に載置された状態で当該表示装置の発光により得られる光エネルギーを太陽電池により電気に変換して利用または当該物理タグに設けられた二次電池に充電する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
The physical tag is provided with a solar cell at the bottom,
When the physical tag is placed on the display device, light energy obtained by light emission from the display device is converted into electricity by a solar cell, or used or charged to a secondary battery provided in the physical tag. An information input / output system characterized by this.
前記表示装置は、当該表示装置上に載置された物理タグの計測位置とその周辺の表示領域の輝度を高くし、物理タグに設けられた太陽電池による発電量を増加させる
ことを特徴とする情報入出力システム。 The information input / output system according to claim 10,
The display device is characterized in that the measurement position of a physical tag placed on the display device and the brightness of a display area around the physical tag are increased, and the amount of power generated by a solar cell provided in the physical tag is increased. Information input / output system.
前記表示装置の表示画面上にウィンドウ、ダイアログボックス、クリップボード、コントロールパネルなどのGUIオブジェクトが表示された場合に、
前記情報処理手段により、前記物理タグは前記GUIオブジェクトと対応付けられ、物理タグと対応づけられた前記GUIオブジェクトは、当該物理タグの載置位置に近接して前記表示装置の表示画面上に表示される
ことを特徴とする情報入出力システム。 The information input / output system according to claim 1,
When GUI objects such as windows, dialog boxes, clipboards, and control panels are displayed on the display screen of the display device,
The physical tag is associated with the GUI object by the information processing means, and the GUI object associated with the physical tag is displayed on the display screen of the display device close to the placement position of the physical tag. Information input / output system.
前記GUIオブジェクトと前記物理タグとの対応付けは、物理タグに対応付けられていないGUIオブジェクトを前記タッチパネルの操作により押さえた状態で、更にGUIオブジェクトに対応付けられていない物理タグを当該GUIオブジェクトの上に載置する操作により、対応付けを行い、その対応を登録する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 12,
The GUI object and the physical tag are associated with each other when the GUI object that is not associated with the physical tag is pressed by the operation of the touch panel, and the physical tag that is not associated with the GUI object is further associated with the GUI object. An information input / output system characterized by associating and registering correspondence by an operation to be placed thereon.
前記GUIオブジェクトと前記物理タグとの対応付けの解除は、対応付けを解除するGUIオブジェクトを前記タッチパネルの操作により押さえた状態で、更に当該GUIオブジェクトに対応付けられている物理タグを把持し持ち上げる操作により、当該対応付けを解除し、その対応の登録を解除する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 12,
The cancellation of the association between the GUI object and the physical tag is an operation of further holding and lifting the physical tag associated with the GUI object in a state where the GUI object to be deactivated is pressed by the operation of the touch panel. The information input / output system is characterized by canceling the association and canceling the registration of the correspondence.
GUIオブジェクトに対応付けられている物理タグの複数個が近接して、当該各物理タグに対応付けられたGUIオブジェクト同士が重なり合って見づらくなる状態となった場合に、当該各GUIオブジェクトの表示位置を再配置し、各GUIオブジェクトが重ならない状態で表示する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 12,
When a plurality of physical tags associated with the GUI object come close to each other and the GUI objects associated with the physical tags overlap each other and are difficult to see, the display positions of the GUI objects are changed. An information input / output system which is rearranged and displayed in a state where GUI objects do not overlap.
GUIオブジェクトに対応付けられている物理タグの複数個が近接して、当該各物理タグに対応付けられたGUIオブジェクト同士が重なり合って見づらくなる状態となった場合に、当該各GUIオブジェクトの表示位置を再配置し、各GUIオブジェクトが重ならない状態で表示すると共に、表示された各GUIオブジェクトと対応付けられている物理タグの関係を、表示画面上において当該物理タグの載置位置の表示と対応するGUIオブジェクトとを直線または曲線により結んで表示する
ことを特徴とする情報入出力システム。 The information input / output system according to claim 12,
When a plurality of physical tags associated with the GUI object come close to each other and the GUI objects associated with the physical tags overlap each other and are difficult to see, the display positions of the GUI objects are changed. Rearrange and display each GUI object in a non-overlapping state, and the relationship of the physical tag associated with each displayed GUI object corresponds to the display of the placement position of the physical tag on the display screen An information input / output system characterized by displaying a GUI object by connecting it with a straight line or a curve.
前記表示装置の表示画面上で複数の物理タグに対応付けられたGUIオブジェクトが重なり合っている状態で表示されている場合、最上位に表示したいGUIオブジェクトに対応付けられた物理タグを持ち上げる操作により、当該物理タグに対応付けられているGUIオブジェクトが最上位に表示する
ことを特徴とする情報入出力システム。
The information input / output system according to claim 12,
When GUI objects associated with a plurality of physical tags are displayed in an overlapping state on the display screen of the display device, an operation of lifting the physical tag associated with the GUI object to be displayed at the top level is performed. An information input / output system in which a GUI object associated with the physical tag is displayed at the top.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005207880A JP4742361B2 (en) | 2005-07-15 | 2005-07-15 | Information input / output system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005207880A JP4742361B2 (en) | 2005-07-15 | 2005-07-15 | Information input / output system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010113472A Division JP4925148B2 (en) | 2010-05-17 | 2010-05-17 | Information input / output system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007026121A true JP2007026121A (en) | 2007-02-01 |
JP4742361B2 JP4742361B2 (en) | 2011-08-10 |
Family
ID=37786780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005207880A Expired - Fee Related JP4742361B2 (en) | 2005-07-15 | 2005-07-15 | Information input / output system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4742361B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110493A (en) * | 2007-10-10 | 2009-05-21 | Ricoh Co Ltd | Information processor, information processing method, and program thereof |
KR100930370B1 (en) | 2007-11-30 | 2009-12-08 | 광주과학기술원 | Augmented reality authoring method and system and computer readable recording medium recording the program |
JP2010039612A (en) * | 2008-08-01 | 2010-02-18 | Computer System Kenkyusho:Kk | Reading device and layout design support system |
JP2010146338A (en) * | 2008-12-19 | 2010-07-01 | Sharp Corp | Electronic device, information processing method and nformation processing program |
JP2011013981A (en) * | 2009-07-02 | 2011-01-20 | Canon Inc | Display control apparatus and control method thereof |
JP2011159245A (en) * | 2010-02-04 | 2011-08-18 | Sharp Corp | Input device |
JP2012527024A (en) * | 2009-05-15 | 2012-11-01 | アルカテル−ルーセント | Globe and touch screen used to read information with the touch |
JP2013149023A (en) * | 2012-01-18 | 2013-08-01 | Nikon Corp | Display system, display program, and display method |
JP2013228878A (en) * | 2012-04-25 | 2013-11-07 | Sharp Corp | Display system and display program |
WO2014073137A1 (en) * | 2012-11-06 | 2014-05-15 | パナソニック株式会社 | Information processing terminal device |
US20150089420A1 (en) * | 2013-09-24 | 2015-03-26 | Fujitsu Limited | Information processing apparatus, and information processing method |
JPWO2013069447A1 (en) * | 2011-11-08 | 2015-04-02 | ソニー株式会社 | Sensor device, analysis device, and storage medium |
JPWO2017051782A1 (en) * | 2015-09-25 | 2018-07-19 | ソニー株式会社 | Information processing apparatus and information processing method |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0713690A (en) * | 1993-06-24 | 1995-01-17 | Casio Comput Co Ltd | Data processor |
JPH07175587A (en) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | Information processor |
JPH09319556A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Information processor |
JP2001175374A (en) * | 1999-12-21 | 2001-06-29 | Sony Corp | Information input/output system and information input/ output method |
JP2001265523A (en) * | 2000-03-21 | 2001-09-28 | Sony Corp | Information input/output system, information input/ output method and program storage medium |
JP2002132446A (en) * | 2000-10-25 | 2002-05-10 | Sony Corp | Information input/output system, information input/ output method and program storage medium |
JP2002132437A (en) * | 2000-10-24 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Ultrasonic coordinate input device and interactive board |
JP2003256135A (en) * | 2002-02-28 | 2003-09-10 | Canon Inc | Input indicator for coordinate input device, and coordinate input device |
JP2004164180A (en) * | 2002-11-12 | 2004-06-10 | Sony Corp | Information processor, communication processor and method and computer program |
JP2004164069A (en) * | 2002-11-11 | 2004-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Information control system, information control method, program for the same, recording medium recording that program |
JP2004258899A (en) * | 2003-02-25 | 2004-09-16 | Ricoh Co Ltd | Information input device and information input/output system |
JP2004333160A (en) * | 2003-04-30 | 2004-11-25 | Jsr Corp | Fluid flow passage setting apparatus |
JP2005100050A (en) * | 2003-09-24 | 2005-04-14 | Fuji Xerox Co Ltd | Information display system and method |
WO2005057399A2 (en) * | 2003-12-09 | 2005-06-23 | Reactrix Systems, Inc. | Self-contained interactive video display system |
-
2005
- 2005-07-15 JP JP2005207880A patent/JP4742361B2/en not_active Expired - Fee Related
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0713690A (en) * | 1993-06-24 | 1995-01-17 | Casio Comput Co Ltd | Data processor |
JPH07175587A (en) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | Information processor |
JPH09319556A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Information processor |
JP2001175374A (en) * | 1999-12-21 | 2001-06-29 | Sony Corp | Information input/output system and information input/ output method |
JP2001265523A (en) * | 2000-03-21 | 2001-09-28 | Sony Corp | Information input/output system, information input/ output method and program storage medium |
JP2002132437A (en) * | 2000-10-24 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Ultrasonic coordinate input device and interactive board |
JP2002132446A (en) * | 2000-10-25 | 2002-05-10 | Sony Corp | Information input/output system, information input/ output method and program storage medium |
JP2003256135A (en) * | 2002-02-28 | 2003-09-10 | Canon Inc | Input indicator for coordinate input device, and coordinate input device |
JP2004164069A (en) * | 2002-11-11 | 2004-06-10 | Nippon Telegr & Teleph Corp <Ntt> | Information control system, information control method, program for the same, recording medium recording that program |
JP2004164180A (en) * | 2002-11-12 | 2004-06-10 | Sony Corp | Information processor, communication processor and method and computer program |
JP2004258899A (en) * | 2003-02-25 | 2004-09-16 | Ricoh Co Ltd | Information input device and information input/output system |
JP2004333160A (en) * | 2003-04-30 | 2004-11-25 | Jsr Corp | Fluid flow passage setting apparatus |
JP2005100050A (en) * | 2003-09-24 | 2005-04-14 | Fuji Xerox Co Ltd | Information display system and method |
WO2005057399A2 (en) * | 2003-12-09 | 2005-06-23 | Reactrix Systems, Inc. | Self-contained interactive video display system |
JP2007514242A (en) * | 2003-12-09 | 2007-05-31 | マシュー ベル、 | Built-in interactive video display system |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110493A (en) * | 2007-10-10 | 2009-05-21 | Ricoh Co Ltd | Information processor, information processing method, and program thereof |
KR100930370B1 (en) | 2007-11-30 | 2009-12-08 | 광주과학기술원 | Augmented reality authoring method and system and computer readable recording medium recording the program |
JP2010039612A (en) * | 2008-08-01 | 2010-02-18 | Computer System Kenkyusho:Kk | Reading device and layout design support system |
JP2010146338A (en) * | 2008-12-19 | 2010-07-01 | Sharp Corp | Electronic device, information processing method and nformation processing program |
JP2012527024A (en) * | 2009-05-15 | 2012-11-01 | アルカテル−ルーセント | Globe and touch screen used to read information with the touch |
JP2011013981A (en) * | 2009-07-02 | 2011-01-20 | Canon Inc | Display control apparatus and control method thereof |
US8774436B2 (en) | 2009-07-02 | 2014-07-08 | Canon Kabushiki Kaisha | Display control apparatus and control method thereof |
JP2011159245A (en) * | 2010-02-04 | 2011-08-18 | Sharp Corp | Input device |
JPWO2013069447A1 (en) * | 2011-11-08 | 2015-04-02 | ソニー株式会社 | Sensor device, analysis device, and storage medium |
JP2013149023A (en) * | 2012-01-18 | 2013-08-01 | Nikon Corp | Display system, display program, and display method |
JP2013228878A (en) * | 2012-04-25 | 2013-11-07 | Sharp Corp | Display system and display program |
WO2014073137A1 (en) * | 2012-11-06 | 2014-05-15 | パナソニック株式会社 | Information processing terminal device |
US20150089420A1 (en) * | 2013-09-24 | 2015-03-26 | Fujitsu Limited | Information processing apparatus, and information processing method |
US9753617B2 (en) * | 2013-09-24 | 2017-09-05 | Fujitsu Limited | Information processing apparatus, and information processing method |
JPWO2017051782A1 (en) * | 2015-09-25 | 2018-07-19 | ソニー株式会社 | Information processing apparatus and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4742361B2 (en) | 2011-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4742361B2 (en) | Information input / output system | |
CN106462248B (en) | It is related to the more equipment multi-user sensors for calculating equipment interaction for pen | |
CN105339872B (en) | The method of electronic equipment and the input in identification electronic equipment | |
JP6952559B2 (en) | Handwritten information processing device, handwritten information processing method and program for handwritten information processing | |
CN102362243B (en) | Multi-telepointer, virtual object display device, and virtual object control method | |
CN102799317B (en) | Smart interactive projection system | |
EP3128402A1 (en) | Electric white board and control method thereof | |
CN103729054A (en) | Multi display device and control method thereof | |
CN107402667A (en) | Electronic equipment comprising display | |
JP2017517813A (en) | Sensor correlation for pen and touch-sensitive computing device interaction | |
US20130241832A1 (en) | Method and device for controlling the behavior of virtual objects on a display | |
KR101816721B1 (en) | Sensing Module, GUI Controlling Apparatus and Method thereof | |
US20160048209A1 (en) | Method and apparatus for controlling vibration | |
CN104969148A (en) | Depth-based user interface gesture control | |
WO2010032223A1 (en) | Finger-worn device and interaction methods and communication methods | |
US9886089B2 (en) | Method and apparatus for controlling vibration | |
KR20100003523A (en) | Portable terminal and driving method of the same | |
KR20150024247A (en) | Method and apparatus for executing application using multiple input tools on touchscreen device | |
CN103403661A (en) | Scaling of gesture based input | |
KR101728723B1 (en) | Electric white board display and control method therof | |
CN105453006B (en) | Gesture sensitive display | |
JP4925148B2 (en) | Information input / output system | |
CN107300417A (en) | Detection method, device, storage medium and the terminal of ambient light | |
CN202210265U (en) | Computer device and input device thereof | |
Ghosh et al. | Ringteraction: coordinated thumb-index interaction using a ring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110421 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |