JPH06266498A - Information processor - Google Patents
Information processorInfo
- Publication number
- JPH06266498A JPH06266498A JP5056099A JP5609993A JPH06266498A JP H06266498 A JPH06266498 A JP H06266498A JP 5056099 A JP5056099 A JP 5056099A JP 5609993 A JP5609993 A JP 5609993A JP H06266498 A JPH06266498 A JP H06266498A
- Authority
- JP
- Japan
- Prior art keywords
- display
- input
- user
- pen
- desk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、情報処理装置の操作性
を改善するユーザインタフェースに関する。特に、大画
面入力表示一体型ディスプレイ装置を有する情報処理装
置、または複数のディスプレイ装置を有する情報処理装
置の操作性を向上させるユーザインタフェースに関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a user interface for improving the operability of an information processing device. In particular, the present invention relates to a user interface that improves the operability of an information processing device having a large screen input / display integrated display device or an information processing device having a plurality of display devices.
【０００２】[0002]
【従来の技術】机全面を表示領域および入力領域として
用いる情報処理システムの例として、ピエール・ウェル
ナー(Pierre Wellner)による論文“The Digital Desk C
alculator: Tangible Manipulation on a Desk Top Dis
play", Proceedings of UIST'91, ACM, 1991 に記載の
システムがある。このシステムは、机の上方にコンピュ
ータ制御されたカメラとプロジェクタとを備えている。
プロジェクタは表示用、カメラは入力用に用いられる。
このシステムでは、例えば、机上の紙の文書をカメラで
読み込んで電子的な文書に変換し、これを机上にプロジ
ェクタで表示する、あるいは電子文書をプリンタで印刷
して紙の文書に変換する等の機能を備えた“デジタルデ
スク”を構成している。また、机上での利用者の指によ
る机上の位置や物をポインティングするユーザインタフ
ェースを開示している。さらに、消ゴムなどの現実の小
物を用いて、それと対応付けられた処理が行なえること
を示唆している。2. Description of the Related Art As an example of an information processing system using the entire surface of a desk as a display area and an input area, a paper "The Digital Desk C" by Pierre Wellner
alculator: Tangible Manipulation on a Desk Top Dis
There is a system described in play ", Proceedings of UIST'91, ACM, 1991. This system has a computer-controlled camera and projector above a desk.
The projector is used for display and the camera is used for input.
In this system, for example, a paper document on a desk is read by a camera and converted into an electronic document, which is displayed on a desk by a projector, or an electronic document is printed by a printer and converted into a paper document. It constitutes a "digital desk" with functions. It also discloses a user interface for pointing a position or an object on the desk with the user's finger. Furthermore, it is suggested that the processing associated with it can be performed using an actual accessory such as an eraser.
【０００３】さらに、ウィリアム・ニューマン(william
Newman)およびピエール・ウェルナー(Pierre Wellner)に
よる論文“A Desk Supporting Computer-based Interac
tionwith Paper Documents", 1992, ACMには、指による
指示よりさらに高精度の指示が行えるタブレットを机上
の一部に載置し、このタブレット上をペンで指示するシ
ステムを開示している。In addition, william newman
Newman) and Pierre Wellner's paper “A Desk Supporting Computer-based Interac
tion with Paper Documents ", 1992, ACM discloses a system in which a tablet that can give instructions with higher precision than a finger instruction is placed on a part of a desk and the tablet is indicated with a pen.
【０００４】また、複数のディスプレイを有する情報処
理装置として、日経MAC Macintoshビジネス活用のすべ
て、p59、1992.11 に記載のコンセプト提示がある。こ
のコンセプト提示では、入力表示一体型ディスプレイ装
置を含む複数のディスプレイを有する情報処理装置が提
示されている。本コンセプト提示では、寝かせて使用す
る入力表示一体型ディスプレイ装置と、立てて使用する
ディスプレイ装置を組み合せている。両者の使い分けに
ついては明記されていない。Also, as an information processing apparatus having a plurality of displays, there is a concept presentation described in p59, 1992.11, all of Nikkei MAC Macintosh business utilization. In this concept presentation, an information processing apparatus having a plurality of displays including an input / display integrated display device is presented. In this concept presentation, a display device integrated with an input display that is used by lying down and a display device that is used by standing up are combined. The use of both is not specified.
【０００５】また、特開平４−２４６７２１号公報に
は、複数のディスプレイ装置を接続できるパーソナルコ
ンピュータの装置構成について提示されている。この例
では、装置の構成方法についてのみ言及されており、複
数接続されたディスプレイの使い方については言及して
いない。Further, Japanese Patent Laid-Open No. 4-246721 discloses a device configuration of a personal computer to which a plurality of display devices can be connected. This example only mentions how to configure the device and not how to use multiple connected displays.
【０００６】[0006]
【発明が解決しようとする課題】上記２件の論文に開示
されたデジタルデスクのような従来技術において、その
ユーザインタフェースには、大画面入力表示一体型ディ
スプレイ装置、または複数のディスプレイ装置を使いこ
なすための配慮がなされていなかった。In the prior art such as the digital desk disclosed in the above two papers, a large screen input / display integrated display device or a plurality of display devices are used for the user interface. Was not taken into consideration.
【０００７】すなわち、上記従来技術では、利用者の手
の動きや現実の小物の動きを検出し、ユーザインタフェ
ースとして利用するという考えは提示されているが、利
用者の位置により表示対象（以下、オブジェクトととい
う）の表示位置を決定したり、机上の障害物を避けてオ
ブジェクトの表示位置を決定するという考えは提示され
ていない。つまり、入力表示一体型ディスプレイ装置が
机全体に及ぶほどサイズが大きくなった場合に新たに生
じると考えられる問題について考慮が不十分であるか、
全く考慮されていない。That is, in the above-mentioned prior art, the idea of detecting the movement of the user's hand or the movement of an actual small object and utilizing it as a user interface is presented, but depending on the position of the user, a display target (hereinafter, The idea of deciding the display position of an object) or avoiding obstacles on the desk and deciding the display position of the object is not presented. In other words, whether or not insufficient consideration is given to the problem that may newly occur when the size of the input / display integrated display device becomes large enough to cover the entire desk,
Not considered at all.
【０００８】例えば、大画面入力表示一体型ディスプレ
イ装置の問題点とは、次のようなものである。例えば４
０インチ、すなわち対角約１ｍのディスプレイ装置が手
元に水平に置いてある場合、従来のＣＲＴによるディス
プレイ装置のように少し離れたところから見る場合とは
異なり、オブジェクトを表示する位置と利用者の座って
いる位置との関係によって、そのオブジェクトの表示が
見えにくい場合が生じたり、利用者から離れた位置では
入力操作に支障が出たりするおそれがある。[0008] For example, the problems with the large-screen input / display integrated display device are as follows. Eg 4
When a display device of 0 inch, that is, a diagonal of about 1 m is placed horizontally at hand, unlike the case where the display device is viewed from a little distance like a conventional CRT display device, the position where the object is displayed and the user's Depending on the relationship with the sitting position, the display of the object may be difficult to see, or the input operation may be disturbed at a position away from the user.
【０００９】また、このような大型の入力表示一体型デ
ィスプレイ装置は机上の大部分を占めるため、利用者は
入力表示一体型ディスプレイ装置の上を作業スペースと
して使用すると考えられる。例えば、入力表示一体型デ
ィスプレイ装置の上に、本やノートなどの参考資料など
をのせて作業をすることもあるであろう。したがって、
これらの障害物によって、表示されているオブジェクト
が隠されてしまうおそれがある。Since such a large-sized input / display integrated display device occupies most of the desk, it is considered that the user uses the input / display integrated display device as a work space. For example, it may be possible to put a reference material such as a book or a notebook on the input / display integrated display device to perform the work. Therefore,
These obstacles may obscure the displayed object.
【００１０】このように、上記従来技術では、水平に置
かれた大画面入力表示一体型ディスプレイ装置におい
て、利用者から離れた位置にオブジェクトが提示された
場合は、利用者がオブジェクト表示位置に合わせて身体
を移動するか、オブジェクトを見易い位置に移動するな
どの操作が必要であり、利用者に負荷を強いることにな
ってしまう。As described above, in the above-mentioned conventional technique, when an object is presented at a position distant from the user in a horizontally placed large-screen input / display integrated display device, the user is adjusted to the object display position. Therefore, it is necessary to move the body or move the object to a position where it is easy to see, which imposes a burden on the user.
【００１１】したがって、本発明の目的は、利用者の状
態や机上の状態等に応じて、オブジェクトを提示する位
置を自動的に決定することができる入力表示一体型ディ
スプレイ装置を提供することにある。Therefore, an object of the present invention is to provide an input / display integrated display device capable of automatically determining the position at which an object is presented in accordance with the state of the user, the state of a desk or the like. .
【００１２】また、上記従来技術では、大画面入力表示
一体型ディスプレイ装置の他に、従来のＣＲＴによるデ
ィスプレイ装置のようにほぼ垂直に立ててあるディスプ
レイ装置をも有する情報処理装置での操作性について
も、考慮が不十分であるか、全く考慮されていない。In addition, in the above-mentioned prior art, in addition to the large-screen input / display integrated display device, the operability of the information processing device having a display device which is almost vertically erected like a conventional CRT display device. Is either poorly considered or not considered at all.
【００１３】このような情報処理装置では、利用者にオ
ブジェクトを提示する時に、入力表示一体型ディスプレ
イ装置に表示するのか、垂直に立ててあるディスプレイ
装置に表示するのかを何等かの方法で決定しなければな
らない。この場合、利用者がキーボードを目の前に置い
ているのに、入力表示一体型ディスプレイ装置に表示し
たり、利用者がペンを持っているのに垂直に立ててある
ディスプレイに表示したりしては、利用者にとって非常
に使いにくいシステムとなってしまう。In such an information processing apparatus, when presenting an object to the user, it is determined by some method whether to display the object on the input / display integrated display device or on the display device vertically set up. There must be. In this case, even if the user has the keyboard in front of his / her eyes, it may be displayed on the display device integrated with input display, or may be displayed on the display which is vertically set up even though the user has the pen. As a result, the system becomes very difficult for users to use.
【００１４】本発明の他の目的は、大画面入力表示一体
型ディスプレイ装置および複数のディスプレイ装置を有
する情報処理装置において、操作性の向上のために利用
者の状態や机上の状態に合わせて情報処理装置の動作を
自動的に切り替えることができる情報処理装置を提供す
ることにある。Another object of the present invention is to provide an information processing apparatus having a large-screen input / display integrated display device and a plurality of display devices, in order to improve operability, information is adjusted according to the user's condition or desk condition. An object is to provide an information processing device capable of automatically switching the operation of the processing device.
【００１５】[0015]
【課題を解決するための手段】本発明による情報処理装
置は、表示領域内の複数の位置に選択的に表示対象を表
示可能なディスプレイ、および該ディスプレイの表示面
上に重ねて入力面を有するペン座標入力装置からなり、
入力表示面がほぼ水平に配置される入力表示一体型ディ
スプレイ装置と、利用者に対して表示対象を前記ディス
プレイの表示領域内に提示する際に、前記利用者の状
態、前記入力表示面上の状態および前記ディスプレイの
表示状態のうちの少なくとも一つに基づいて、当該表示
対象を表示する位置を自動的に決定する表示位置決定手
段とを備えたことを特徴とする。An information processing apparatus according to the present invention has a display capable of selectively displaying a display target at a plurality of positions in a display area, and an input surface overlapping the display surface of the display. It consists of a pen coordinate input device,
An input-integrated display device in which an input display surface is arranged substantially horizontally, and a state of the user when presenting a display target to the user in a display area of the display, the input display surface on the input display surface. Display position determining means for automatically determining a display position of the display target based on at least one of the state and the display state of the display.
【００１６】前記表示位置決定手段は、利用者位置に応
じて、その利用者位置に合わせるように、または、入力
表示面上に載置された物体の位置を避けるように、ある
いは、既に表示された表示対象の表示位置を避けるよう
に、新たな表示対象の表示位置を決定する。According to the user position, the display position determining means may match the user position, avoid the position of the object placed on the input display surface, or be already displayed. The display position of the new display target is determined so as to avoid the display position of the display target.
【００１７】前記入力表示一体型ディスプレイ装置に対
して、表示画面が直立した他のディスプレイ装置を備え
る場合、利用者が前記ペン座標入力装置のペンを持って
いるか否かによって、あるいは利用者の前にキーボード
が置かれているか否かによって、表示対象を前記入力表
示一体型ディスプレイ装置に表示するか、あるいは前記
他のディスプレイ装置に表示するかを自動的に決定す
る。In the case where the display device integrated with the input display is provided with another display device whose display screen is upright, it depends on whether or not the user holds the pen of the pen coordinate input device, or in front of the user. Whether the display target is displayed on the input / display integrated display device or the other display device is automatically determined depending on whether or not the keyboard is placed on the display device.
【００１８】さらに、水平の表示面上に載置された物体
を検出する方法として、表示面上を撮像手段により撮像
する際、前記ディスプレイにおける表示対象の表示を一
時的に停止し、該表示停止時に撮像された画像に基づい
て、表示面上に載置された物体を検出する表示面上物体
の検出方法を提供する。Further, as a method of detecting an object placed on a horizontal display surface, when the image is picked up by the image pickup means, the display of the display object on the display is temporarily stopped and the display is stopped. A method for detecting an object on a display surface, which detects an object placed on the display surface based on an image captured at times.
【００１９】[0019]
【作用】本発明の情報処理装置では、ほぼ水平の入力表
示面において利用者に表示対象（情報）を提示する時
に、利用者の状態、入力表示面上の状態およびディスプ
レイの表示状態の少なくとも一つをもとに情報を提示す
る位置を自動的に決定する。In the information processing apparatus according to the present invention, at least one of the state of the user, the state on the input display surface and the display state of the display is presented when the display target (information) is presented to the user on the substantially horizontal input display surface. The position to present the information is automatically determined based on this.
【００２０】また、水平の入力表示面に加え、直立した
表示面をさらに有する場合には、利用者が座標入力のた
めのペンを手にしているのか、あるいはキーボードを操
作しようとしているのかを検出し、いずれかによって、
表示対象表示のために水平の表示面を利用するか、ある
いは直立した表示面を利用するかを自動的に切り換え
る。In addition to the horizontal input display surface, when the display surface is upright, it is detected whether the user is holding a pen for inputting coordinates or operating a keyboard. And by either
Automatically switches between using a horizontal display surface or an upright display surface for displaying the display target.
【００２１】このように、本発明によれば、利用者の状
態等に対応して、利用者から利用しやすい位置に表示対
象を提示することができる。その結果、利用者がその都
度、表示位置を指定する必要がなくなり、操作性のよい
情報処理装置を提供することが可能になる。As described above, according to the present invention, it is possible to present the display target at a position where the user can easily use it in accordance with the state of the user. As a result, the user does not need to specify the display position each time, and it is possible to provide an information processing device with good operability.
【００２２】[0022]
【実施例】図１は、本発明の一実施例である情報処理装
置の機能ブロック図である。ディスプレイ部は、机１０
１とパーティション１０２を組み合せて構成されてい
る。利用者は、椅子１０３に座って本情報処理装置を操
作する。利用者が情報を入力または操作するために、ペ
ン１０４、キーボード１０５、マウス１０６が使用でき
る。1 is a functional block diagram of an information processing apparatus according to an embodiment of the present invention. The display unit is the desk 10
1 and the partition 102 are combined. The user sits on the chair 103 and operates the information processing apparatus. A pen 104, a keyboard 105, and a mouse 106 can be used by a user to input or operate information.
【００２３】図２に、机１０１の上面の断面、およびパ
ーティション１０２の上部の断面を示す。机１０１の上
面には机１０１のほぼ全領域を表示領域とする平面ディ
スプレイ１１１が内蔵されており、その表面には透明な
座標入力装置１１２が装着されている。座標入力装置１
１２は、ペン１０４（図１）の座標を読み取る。直立し
たパーティション１０２の表面には、平面ディスプレイ
１２１が埋め込まれている。平面ディスプレイ１２１の
代わりに、大画面ＣＲＴを用いることも可能である。以
下、ディスプレイ１１１を水平ディスプレイと呼び、デ
ィスプレイ１２１を垂直ディスプレイと呼ぶ。FIG. 2 shows a cross section of the upper surface of the desk 101 and a cross section of the upper portion of the partition 102. On the upper surface of the desk 101, there is built-in a flat display 111 having a display area that is almost the entire area of the desk 101, and a transparent coordinate input device 112 is mounted on the surface thereof. Coordinate input device 1
12 reads the coordinates of the pen 104 (FIG. 1). A flat display 121 is embedded in the surface of the upright partition 102. It is also possible to use a large screen CRT instead of the flat display 121. Hereinafter, the display 111 is called a horizontal display and the display 121 is called a vertical display.
【００２４】図１に戻り、机１０１の上方には、カメラ
１０７が設置されており、机上の状態を撮影している。
カメラ１０７からの映像は、画像処理部１５１に入力さ
れる。画像処理部１５１は、机上の映像から机上に載せ
られた物体の位置を検出したり、利用者の手の動きを認
識したりする。認識した結果は机上監視部１５３へ送ら
れる。机上監視部１５３は、利用者が情報処理装置に対
して何等かの処理を実行したことを検出したら、その情
報を入力処理部１５５に報告する。例えば、利用者が指
で何かを指示したということを検出したら、それに関す
る情報を入力処理部１５５に報告する。また、机上監視
部１５３は、机上に置かれた物体の位置を常に記憶して
おり、他の機能ブロックからの問い合わせに対して、机
上の状態を報告する機能を持つ。Returning to FIG. 1, a camera 107 is installed above the desk 101 and photographs the state on the desk.
The image from the camera 107 is input to the image processing unit 151. The image processing unit 151 detects the position of an object placed on the desk from the image on the desk and recognizes the movement of the user's hand. The recognized result is sent to the desk monitoring unit 153. When the desktop monitoring unit 153 detects that the user has performed some processing on the information processing apparatus, the desk monitoring unit 153 reports the information to the input processing unit 155. For example, if it is detected that the user has instructed something with his / her finger, information about this is reported to the input processing unit 155. The desk monitor 153 always stores the position of an object placed on the desk, and has a function of reporting the state of the desk in response to an inquiry from another functional block.
【００２５】机上監視部１５３が保持する情報は、例え
ば図１０に示すようなテーブルになっている。このテー
ブル１５３１の左欄の各項目は各情報の意味を示し、右
欄はその情報の状態（または値）の保持の仕方を示して
いる。本実施例では、これらの情報として、「利用者の
右手の状態」、「利用者の左手の状態」、「利用者の右
手の座標」、「利用者の左手の座標」、「ペン１０４の
座標」、「キーボード１０５の座標」、「マウス１０６
の座標」、「利用者がペンを使っているか」、「利用者
がキーボードを使っているか」、「机上の障害物の
数」、「机上で障害物が占める領域」が含まれる。The information held by the desk monitor 153 is, for example, a table as shown in FIG. Each item in the left column of this table 1531 shows the meaning of each information, and the right column shows how to hold the state (or value) of the information. In the present embodiment, as these pieces of information, "user's right hand state", "user's left hand state", "user's right hand coordinate", "user's left hand coordinate", and "pen 104's "Coordinates", "Keyboard 105 coordinates", "Mouse 106"
Coordinates, “whether the user is using a pen”, “whether the user is using a keyboard”, “the number of obstacles on the desk”, and “the area occupied by the obstacles on the desk”.
【００２６】利用者の手の状態は、例えば机上にない
（Ｎ）、何かを指している（Ｐ）、これら以外（Ｃ）の
３つの状態に分けて保持している。各種座標は、ディス
プレイ１１１上の表示系の座標を示す２つの整数値で保
持する。また、利用者がペンを使っているか、利用者が
キーボードを使っているか、の情報は、ＹＥＳまたはＮ
Ｏの２つの状態で保持する。机上の障害物の数は、個数
を示す整数値で保持する。机上で障害物が占める領域
は、各障害物を内包する矩形領域の集合として保持す
る。The state of the user's hand is divided into three states, for example, not on the desk (N), pointing to something (P), and other states (C), and held. The various coordinates are held as two integer values indicating the coordinates of the display system on the display 111. If the user is using the pen or the user is using the keyboard, the information is YES or N.
Hold in two states of O. The number of obstacles on the desk is held as an integer value indicating the number. The area occupied by the obstacles on the desk is held as a set of rectangular areas including the obstacles.
【００２７】なお、図１０に示した情報およびその状態
の持ち方は、単なる例示であり、本発明はこれらに制限
されるものではない。It should be noted that the information shown in FIG. 10 and how to hold the information are merely examples, and the present invention is not limited to these.
【００２８】パーティション１０２の上方には、カメラ
１０８が設置されており、利用者の状態を撮影してい
る。カメラ１０８からの映像は、画像処理部１５２に入
力される。画像処理部１５２は、利用者の映像から利用
者の位置や向きを検出し、その結果を利用者監視部１５
４に送る。利用者監視部１５４は、利用者の状態を常に
記憶しており、他の機能ブロックからの問い合わせに対
して、利用者の状態を報告する機能を持つ。A camera 108 is installed above the partition 102 and photographs the state of the user. The image from the camera 108 is input to the image processing unit 152. The image processing unit 152 detects the position and orientation of the user from the video of the user, and the result is detected by the user monitoring unit 15.
Send to 4. The user monitoring unit 154 always stores the user status, and has a function of reporting the user status in response to an inquiry from another functional block.
【００２９】図１１に、利用者監視部１５４が保持する
情報のテーブルを示す。このテーブル１５４１は、図１
０のテーブル１５３１と同様、左欄に情報項目、右欄に
その状態を保持する。この情報として、本実施例では、
「利用者がいるか」、「利用者の頭部の位置」、「利用
者の顔の向き」を記憶している。FIG. 11 shows a table of information held by the user monitoring section 154. This table 1541 is shown in FIG.
Similar to the table 1531 of 0, the left column holds the information item and the right column holds the state. As this information, in this embodiment,
It stores "whether there is a user", "the position of the user's head", and "the orientation of the user's face".
【００３０】利用者がいるかどうかは、ＹＥＳまたはＮ
Ｏの２つの状態で保持し、利用者の頭部の位置は、机の
幅に対し左から何％の位置にあるかで保持し、利用者の
顔の向きは、正面から何度右に傾いているかで保持す
る。Whether there is a user is YES or N
It is held in two states of O, and the position of the user's head is held depending on what percentage of the width of the desk is from the left. The direction of the user's face is from the front to the right several times. Hold by leaning.
【００３１】入力処理部１５５は、利用者の入力、すな
わち、キーボード１０５、マウス１０６、座標入力装置
１１２からの信号、および机上監視部１５３からの入力
を受け取り、それに対応して実行すべき処理手続きを決
定する。起動すべき処理手続きを決定する際には、利用
者からの入力の種類や位置情報の他に、画面に表示され
ているオブジェクト（文書イメージ、アイコン、表、グ
ラフ等）の情報が考慮される。この情報は、表示内容保
持部１６１に記憶されている。表示内容保持部１６１
は、ディスプレイを特定する情報と座標を与えられたと
きに、そこに表示されているオブジェクトの情報を返答
することができる。また、表示内容保持部１６１は、表
示の空き領域を見つけるための情報を提供するため、表
示されているオブジェクトが画面上で占める領域を、矩
形領域の集合として保持しているものとする。The input processing unit 155 receives a user's input, that is, a signal from the keyboard 105, the mouse 106, the coordinate input device 112, and an input from the desk monitoring unit 153, and a processing procedure to be executed correspondingly. To decide. When deciding the processing procedure to be started, information of the objects (document images, icons, tables, graphs, etc.) displayed on the screen is considered in addition to the type of input from the user and position information. . This information is stored in the display content holding unit 161. Display content holding unit 161
When given the information and coordinates that specify the display, can return the information of the object displayed there. Further, the display content holding unit 161 holds the area occupied by the displayed object on the screen as a set of rectangular areas in order to provide information for finding a free area for display.
【００３２】入力処理部１５５が入力に対して選択すべ
き処理手続きは、入力の種類と、入力が起った位置に表
示されていたオブジェクトの属性によって決定できる。
例えば、利用者がペン１０４でディスプレイ１１１上の
ある位置を指示したとすると、それは座標入力装置１１
２（図２）によって検出され、入力処理部１５５に報告
される。入力処理部１５５は、ディスプレイ１１１上で
利用者が指示した位置に何が表示されているのかを表示
内容保持部１６１へ問い合わせ、その結果と、利用者が
ペン１０４で指示したという事実をもとに、起動すべき
処理手続きを決定する。例えば、利用者が指示した位置
に、文書のページイメージが表示されているような場合
は、その文書に編集を加えるような処理手続きが選択さ
れる。The processing procedure that the input processing unit 155 should select for an input can be determined by the type of input and the attribute of the object displayed at the position where the input occurred.
For example, if the user points to a position on the display 111 with the pen 104, the coordinate input device 11
2 (FIG. 2) and reported to the input processing unit 155. The input processing unit 155 inquires of the display content holding unit 161 what is displayed at the position designated by the user on the display 111, and based on the result and the fact that the user has designated with the pen 104. Then, the processing procedure to be started is determined. For example, when the page image of the document is displayed at the position designated by the user, the processing procedure for editing the document is selected.
【００３３】このように、オブジェクトの種類と入力の
種類から、起動すべき処理を決定するために、入力処理
部１５５は入力処理定義データ１５６を参照する。入力
処理定義データ１５６の内容は、情報処理装置が扱うこ
とができる全てのオブジェクトの種類に関する、入力の
種類と起動すべき処理の対応表である。すなわち、図１
６に示すように、各オブジェクトについて、個々の入力
指示の種類に基づいて実行すべき処理手続きを規定して
いる。図の例では、文書アイコンのオブジェクトに関し
て、ダブルクリックの如きマウスボタン押下の操作があ
れば、これに応じてワードプロセッサ（ワープロ）を起
動することが定められている。また、文書アイコンに対
してペンの押下移動があれば、これに応じてそのアイコ
ンの移動が行われるよう規定されている。As described above, the input processing unit 155 refers to the input processing definition data 156 in order to determine the processing to be started from the type of object and the type of input. The content of the input process definition data 156 is a correspondence table of the types of input and the processes to be started, regarding the types of all objects that can be handled by the information processing device. That is, FIG.
As shown in FIG. 6, the processing procedure to be executed for each object is defined based on the type of each input instruction. In the example of the figure, regarding the object of the document icon, if there is an operation of pressing a mouse button such as double-clicking, it is specified that the word processor (word processor) is activated in response to this operation. In addition, if there is a push-down movement of the pen with respect to the document icon, the icon is moved accordingly.
【００３４】入力処理部１５５は、決定した処理手続き
を、処理手続き実行部１５７に通知する。処理手続き実
行部１５７は、入力処理部１５５により指定された処理
手続きを、処理手続き群１５８から引きだして実行す
る。The input processing unit 155 notifies the processing procedure execution unit 157 of the determined processing procedure. The processing procedure execution unit 157 extracts the processing procedure designated by the input processing unit 155 from the processing procedure group 158 and executes it.
【００３５】処理手続き実行部１５７は、実行している
処理手続きの内容に従い、あらかじめ定められた何等か
の処理を進める。以下では、その処理の最中に、利用者
に何等かのオブジェクトを提示する必要が生じた場合に
ついて説明する。The processing procedure execution unit 157 advances some processing which is predetermined according to the contents of the processing procedure being executed. Hereinafter, a case will be described in which it is necessary to present some object to the user during the process.
【００３６】処理手続き実行部１５７は、利用者に提示
しようとするオブジェクトの内容を把握しているので、
それが表示されたときにどれだけの大きさになるかを計
算できる。処理手続き実行部１５７は、表示位置を決定
するために、オブジェクト表示領域の大きさ情報を表示
位置決定部１５９に渡す。Since the processing procedure execution unit 157 grasps the contents of the object to be presented to the user,
You can calculate how big it will be when displayed. The processing procedure execution unit 157 passes the size information of the object display area to the display position determination unit 159 in order to determine the display position.
【００３７】表示位置決定部１５９は、机上監視部１５
３、利用者監視部１５４、表示内容保持部１６１に対し
て、必要な情報を問い合わせ、その情報をもとに表示位
置を決定する。すなわち、利用者の前の見易いあるいは
操作のしやすい位置（水平ディスプレイ１１１上に表示
する場合には机上に障害物がなく、オブジェクトを表示
するための空き領域がある場所）が理想的な表示位置で
ある。また、机上監視部１５３が、利用者がキーボード
１０５を使おうとしていると報告した場合は、キーボー
ド入力が容易であるように、水平ディスプレイ１１１で
はなく、垂直ディスプレイ１２１にオブジェクトを表示
する必要がある。また、机上監視部１５３が、利用者が
ペン１０４を使おうとしていると報告した場合は、ペン
入力で使いやすいように、直立ディスプレイ１２１でな
く、水平ディスプレイ１１１にオブジェクトを表示す
る。しかし、全ての条件を常に同時に満たせるとは限ら
ない。したがって、どの条件を優先するかを決めるため
の情報が必要である。その優先度は、自動配置定義デー
タ１６０として用意されている。この自動配置定義デー
タ１６０の具体例については後述する。The display position determining unit 159 is a desk-top monitoring unit 15
3. The user monitoring unit 154 and the display content holding unit 161 are inquired about necessary information, and the display position is determined based on the information. That is, an ideal display position is a position in front of the user that is easy to see or operate (when displaying on the horizontal display 111, there is no obstacle on the desk and there is an empty area for displaying the object). Is. Further, when the desk monitor 153 reports that the user is going to use the keyboard 105, it is necessary to display the object on the vertical display 121 instead of the horizontal display 111 so that keyboard input is easy. . In addition, when the desktop monitoring unit 153 reports that the user intends to use the pen 104, the object is displayed on the horizontal display 111 instead of the upright display 121 so that the user can easily use the pen input. However, not all conditions can be met at the same time. Therefore, information is needed to determine which conditions take precedence. The priority is prepared as the automatic placement definition data 160. A specific example of the automatic placement definition data 160 will be described later.
【００３８】表示位置決定部１５９は、決定した表示位
置を処理手続きに返答する。処理手続き実行部１５７
は、その表示位置にしたがい、表示制御部１６２へオブ
ジェクトを表示するのための描画指令を発行する。表示
制御部１６２は、受け取った描画指令にしたがい、水平
ディスプレイ１１１または垂直ディスプレイ１２１に描
画を行う。また、処理手続き実行部１５７は、表示した
オブジェクトを表示内容保持部１６１に報告し、表示内
容保持部１６１はそれにしたがい保持している情報を更
新する。The display position determination unit 159 returns the determined display position to the processing procedure. Processing procedure execution unit 157
Issues a drawing command for displaying an object to the display control unit 162 according to the display position. The display control unit 162 draws on the horizontal display 111 or the vertical display 121 according to the received drawing command. Further, the processing procedure execution unit 157 reports the displayed object to the display content holding unit 161, and the display content holding unit 161 updates the held information accordingly.
【００３９】図１に示すような大画面の平面ディスプレ
イの代りに、例えば、“The Digital Desk Calculator:
Tangible Manipulation on a Desk Top Display", Pro
ceedings of UIST'91, ACM, 1991 に記載されるよう
な、情報処理装置の画面を投射型ディスプレイを用いて
机上に投影する方法を用いてもよい。この様子を図３に
示す。情報処理装置の出力は、映像投射装置３０２によ
り机３０１の上に表示される。この場合、机３０１に
は、ペン座標を入力するための座標入力装置は内蔵され
ているが、ディスプレイは内蔵されていない。Instead of a large-screen flat display as shown in FIG. 1, for example, "The Digital Desk Calculator:
Tangible Manipulation on a Desk Top Display ", Pro
A method of projecting the screen of the information processing device on a desk using a projection type display as described in ceedings of UIST'91, ACM, 1991 may be used. This state is shown in FIG. The output of the information processing device is displayed on the desk 301 by the video projection device 302. In this case, the desk 301 has a coordinate input device for inputting pen coordinates, but does not have a display.
【００４０】図４に、情報処理装置全体のハードウェア
ブロック図を示す。中央情報処理装置４０１は、入力機
器インタフェース４０２、ＣＰＵ４０３、主記憶４０
４、ディスプレイメモリ（ＤＭ）４０５および４０６、
ディスプレイインタフェース（ＤＩＦ）４０７および４
０８、二次記憶インタフェース（ＳＩＦ）４０９、二次
記憶装置４１０、画像処理装置（ＧＰ）４１１および４
１３、画像メモリ（ＩＭ）４１２および４１４等からな
る。画像処理装置４１１はカメラ１０７に接続され、画
像処理装置４１３はカメラ１０８に接続される。FIG. 4 shows a hardware block diagram of the entire information processing apparatus. The central information processing device 401 includes an input device interface 402, a CPU 403, and a main memory 40.
4, display memories (DM) 405 and 406,
Display Interface (DIF) 407 and 4
08, secondary storage interface (SIF) 409, secondary storage device 410, image processing device (GP) 411 and 4
13, image memories (IM) 412 and 414 and the like. The image processing device 411 is connected to the camera 107, and the image processing device 413 is connected to the camera 108.
【００４１】図１で説明した、机上監視部１５３、利用
者監視部１５４、入力処理部１５５、処理手続き実行部
１５７、表示位置決定部１５９、表示内容保持部１６
１、表示制御部１６２の一部、は全て主記憶４０４に格
納されたプログラムとして実現され、ＣＰＵ４０３によ
って実行される。また、入力処理定義データ１５６、処
理手続き群１５８、自動配置定義データ１６０は、主記
憶４０４または二次記憶装置４１０に格納され、上記プ
ログラムにより参照または更新される。The desk-top monitoring section 153, the user monitoring section 154, the input processing section 155, the processing procedure execution section 157, the display position determining section 159, and the display content holding section 16 described with reference to FIG.
1. Part of the display control unit 162 is realized as a program stored in the main memory 404, and is executed by the CPU 403. Further, the input processing definition data 156, the processing procedure group 158, and the automatic arrangement definition data 160 are stored in the main memory 404 or the secondary storage device 410, and are referred to or updated by the above program.
【００４２】中央情報処理装置４０１は、入力機器イン
タフェース４０２を介し、各入力機器、すなわち座標入
力装置１１２、キーボード１０５、マウス１０６からの
信号を取り込む。ＣＰＵ４０３は、主記憶４０４に格納
されているプログラムの内容に従い、各入力機器からの
入力を処理し、その結果として、主記憶４０４の内容を
参照または変更したり、ディスプレイメモリ４０５およ
び４０６の内容を参照または変更したり、二次記憶イン
タフェース４０９を介して二次記憶装置４１０に格納さ
れているデータを参照または更新したりする。ディスプ
レイメモリ４０５の内容は、ディスプレイインタフェー
ス４０７により、ディスプレイ１１１に出力される。同
様に、ディスプレイメモリ４０６の内容は、ディスプレ
イインタフェース４０８により、ディスプレイ１２１に
出力される。The central information processing device 401 takes in signals from the respective input devices, that is, the coordinate input device 112, the keyboard 105, and the mouse 106, via the input device interface 402. The CPU 403 processes the input from each input device in accordance with the contents of the program stored in the main memory 404, and as a result, refers to or changes the contents of the main memory 404 or changes the contents of the display memories 405 and 406. Reference or change, or reference or update data stored in the secondary storage device 410 via the secondary storage interface 409. The contents of the display memory 405 are output to the display 111 by the display interface 407. Similarly, the contents of the display memory 406 are output to the display 121 by the display interface 408.
【００４３】図１で説明した、画像処理部１５１は、画
像処理装置４１１により実現される。カメラ１０７で撮
影した机上の様子は、画像処理装置４１１に入力され、
画像メモリ４１２に格納される。ここで、机上の物体を
認識するためには、カメラ１０７で撮影した映像にディ
スプレイ１１１の表示内容が含まれていないほうが都合
がよい。ディスプレイ１１１の表示内容が含まれていな
ければ、表示内容と机上の物体を識別する処理が不要に
なるからである。そのことは、カメラ１０７が撮像する
タイミングに合わせて、ディスプレイ１１１の表示を一
時的に消すようにすれば実現できる。取り込んだ映像を
処理する時間に較べ撮像時間は極めて短いので、撮像の
間の表示が消えていても、利用者に違和感を与えること
はない。カメラ１０７が撮像するタイミングは画像処理
装置４１１が制御しているので、上記の処理は、画像処
理装置４１１とディスプレイインタフェース４０７が同
期をとって行うことができる。The image processing unit 151 described in FIG. 1 is realized by the image processing device 411. The state of the desk taken by the camera 107 is input to the image processing device 411,
It is stored in the image memory 412. Here, in order to recognize the object on the desk, it is convenient that the image captured by the camera 107 does not include the display content of the display 111. This is because if the display content of the display 111 is not included, the process of identifying the display content and the object on the desk becomes unnecessary. This can be realized by temporarily turning off the display on the display 111 at the timing when the camera 107 captures an image. Since the imaging time is extremely short compared to the time for processing the captured video, even if the display during the imaging disappears, the user will not feel discomfort. Since the image processing apparatus 411 controls the timing at which the camera 107 captures an image, the above processing can be performed in synchronization with the image processing apparatus 411 and the display interface 407.
【００４４】机上の物だけの映像が得られたら、画像処
理装置４１１は、例えば、REAL-TIME DETECTION OF POI
NTING ACTION FOR A GLOVE-FREE INTERFACE, M.FUKUMOT
O ET.AL, MVA'92 IAPR Workshop on Machine Vision Ap
plications, 1992 に記載の方法などにより机上での利
用者の手の動きを検出したり、例えば「視覚パターン認
識技術」、pp117〜128、（株）トリケップス、1983 に
記載の方法などにより、机上の物体の属性と動きを認識
したりする。When the image of only the object on the desk is obtained, the image processing device 411 displays, for example, the REAL-TIME DETECTION OF POI.
NTING ACTION FOR A GLOVE-FREE INTERFACE, M.FUKUMOT
O ET.AL, MVA'92 IAPR Workshop on Machine Vision Ap
plications, 1992, etc. to detect the movement of the user's hand on the desk, and for example, the method described in "Visual pattern recognition technology", pp117-128, Trikeps Co., Ltd., 1983. It recognizes the attributes and movements of objects.
【００４５】図１で説明した、画像処理部１５２は、画
像処理装置４１３により実現される。カメラ１０７の場
合と同様に、カメラ１０８で撮影された利用者の様子
は、画像処理装置４１３に入力され、画像メモリ４１４
に格納される。画像処理装置４１３は、例えば、「画像
処理アルゴリズムの最新動向」、pp128〜144、（株）新
技術コミュニケーションズ、1986に記載の方法などによ
り、利用者の位置や身体の向きや動きを認識する。ま
た、ヘッドリーダ：画像による頭部動作の実時間検出、
電子情報通信学会論文誌 D-II Vol.J74-D-II No.3 pp.3
98-406、1991に記載されている方法などにより頭部の動
きを検出することによっても利用者の位置を推定するこ
とができる。The image processing unit 152 described with reference to FIG. 1 is realized by the image processing device 413. Similar to the case of the camera 107, the state of the user photographed by the camera 108 is input to the image processing device 413, and the image memory 414 is input.
Stored in. The image processing apparatus 413 recognizes the position of the user and the direction and movement of the body by, for example, the method described in “Latest Trend of Image Processing Algorithm”, pp128 to 144, New Technology Communications Co., Ltd., 1986. In addition, head reader: real-time detection of head movement by image,
IEICE Transactions D-II Vol.J74-D-II No.3 pp.3
The position of the user can also be estimated by detecting the movement of the head by the method described in 98-406 or 1991.
【００４６】図１２に、本実施例の情報処理装置を使用
している状況における机回りの様子を示す。便宜上、利
用者は図示省略している。垂直ディスプレイ１２１に
は、グラフを示すウィンドウＡ０１、ファイル構成の木
構造を示すウィンドウＡ０２、時計Ａ０３が表示されて
いる。水平ディスプレイ１１１には、文書のページイメ
ージＡ０４が表示されている。FIG. 12 shows the appearance of a desk in a situation where the information processing apparatus of this embodiment is used. For convenience, the user is not shown in the figure. On the vertical display 121, a window A01 showing a graph, a window A02 showing a tree structure of a file structure, and a clock A03 are displayed. A page image A04 of the document is displayed on the horizontal display 111.
【００４７】また、机１０１の上、すなわち水平ディス
プレイ１１１の上には、実際の物体として、花瓶Ａ１
１、ノートＡ１２、ペン１０４、キーボード１０５、マ
ウス１０６が置かれている。このように、大画面入力表
示一体型ディスプレイを用いる場合は、ディスプレイが
什器としての机の上の作業スペースを兼ねているので、
上記のような種々の物が載置されることも考慮しなけれ
ばならない。On the desk 101, that is, on the horizontal display 111, a vase A1 as an actual object is displayed.
1, a notebook A 12, a pen 104, a keyboard 105, and a mouse 106 are placed. In this way, when using a large-screen input display integrated display, the display doubles as a working space on the desk as a furniture,
It must be taken into consideration that various items as described above are placed.
【００４８】図５は、利用者が二次記憶装置４１０に格
納されている電子的な文書を開くときの操作の一例を示
している。この場合、文書は垂直ディスプレイ１２１に
例えばアイコン５０１のような状態で表示されているも
のとする。利用者は、机１０１の上に置いてあるマウス
１０６により、垂直ディスプレイ１２１または水平ディ
スプレイ１１１に表示されているポインタ５０２を動か
し、ポインタ５０２がアイコン５０１の上に重なってい
るときに、マウス１０６のボタンを例えば２回続けて押
し下げる（ダブルクリックする）ことで、文書をページ
イメージの状態に変更してその内容を見ることができる
ものとする。ポインタ５０２は、ディスプレイ１１１と
ディスプレイ１２１に共通であり、それらの境界を意識
せずに、マウスの動きに対応して移動できるものとす
る。FIG. 5 shows an example of an operation when the user opens an electronic document stored in the secondary storage device 410. In this case, it is assumed that the document is displayed on the vertical display 121 in a state such as the icon 501. The user moves the pointer 502 displayed on the vertical display 121 or the horizontal display 111 with the mouse 106 placed on the desk 101, and when the pointer 502 is over the icon 501, the mouse 106 moves. For example, by pressing the button twice (double-clicking) twice in succession, the document can be changed to a page image state and its contents can be viewed. The pointer 502 is common to the display 111 and the display 121, and can be moved corresponding to the movement of the mouse without being aware of the boundary between them.
【００４９】この場合の情報処理装置の動作を、図１の
機能ブロックの動作で説明する。入力処理部１５５は、
利用者がマウス１０６のボタンを操作したことと、その
ときのポインタ５０２の位置を知ることができるので、
まずポインタ５０２の位置に何が表示されているかを表
示内容保持部１６１に問い合わせる。表示内容保持部１
６１は、その位置には文書ファイルを示すアイコンがあ
ると返答するので、入力処理部１５５は、入力処理定義
データ１５６を参照し、文書を開くための処理手続きを
選択し、それを処理手続き実行部１５７に通知する。処
理手続き実行部１５７は、指定された処理手続きを処理
手続き群１５８から引きだして実行を開始する。文書の
表示は、処理手続き実行部１５７が、選択した処理手続
きの内容に従い実行する。The operation of the information processing apparatus in this case will be described with reference to the operation of the functional blocks in FIG. The input processing unit 155
Since the user can operate the button of the mouse 106 and the position of the pointer 502 at that time,
First, the display content holding unit 161 is inquired about what is displayed at the position of the pointer 502. Display content holding unit 1
Since 61 responds that there is an icon indicating the document file at that position, the input processing unit 155 refers to the input processing definition data 156, selects the processing procedure for opening the document, and executes it. Notify the unit 157. The processing procedure execution unit 157 extracts the specified processing procedure from the processing procedure group 158 and starts execution. The display of the document is executed by the processing procedure execution unit 157 according to the content of the selected processing procedure.
【００５０】処理手続き実行部１５７が文書の表示位置
を得るためには、表示位置決定部１５９の機能が使われ
る。以下で、表示位置決定部１５９がどのように表示位
置を決定するかを説明する。The function of the display position determining unit 159 is used for the processing procedure executing unit 157 to obtain the display position of the document. Hereinafter, how the display position determination unit 159 determines the display position will be described.
【００５１】まず、表示位置決定部１５９は、オブジェ
クトの表示を水平ディスプレイ１１１に出力すべきなの
か、垂直ディスプレイ１２１に出力すべきなのかを決定
する。そのためには、例えば、利用者がキーボード１０
５を使っているかどうかの情報を利用できる。その情報
は、前述のように、机上監視部１５３がテーブル１５３
１（図１０）に保持している。表示位置決定部１５９
は、利用者がキーボード１０５を使っているかどうかを
机上管理部１５問い合わせ、利用者がキーボード１０５
を使っている場合は、オブジェクトの表示を垂直ディス
プレイ１２１に出力すべきと判断し、そうでない場合
は、オブジェクトの表示を水平ディスプレイ１１１に出
力すべきと判断する。First, the display position determination unit 159 determines whether the display of the object should be output to the horizontal display 111 or the vertical display 121. For that purpose, for example, the user uses the keyboard 10
Information on whether or not 5 is used is available. As described above, the information is stored in the table 153 by the desk monitoring unit 153.
1 (FIG. 10). Display position determination unit 159
Asks the desk management unit 15 whether the user is using the keyboard 105, and the user uses the keyboard 105.
Is used, it is determined that the display of the object should be output to the vertical display 121, and if not, it is determined that the display of the object should be output to the horizontal display 111.
【００５２】オブジェクトを表示するディスプレイが決
まったら、表示位置決定部１５９は、そのディスプレイ
の表示領域内のどこにオブジェクトを表示するかを決定
する。以下、オブジェクトの表示を水平ディスプレイ１
１１に出力する場合について、表示位置決定のための処
理の流れを説明する。When the display for displaying the object is determined, the display position determining unit 159 determines where in the display area of the display the object is to be displayed. Below, the horizontal display 1
In the case of outputting to 11, the flow of processing for determining the display position will be described.
【００５３】本実施例では、オブジェクト表示位置を決
めるために、「利用者の位置に合わせる」、「机上の障
害物を避ける」、「表示の重なりを防ぐ」、という３つ
の条件を考慮するものとする。これらの条件のうち、ど
れを優先すべきかの情報は、自動配置定義データ１６０
に格納されている。ここで、自動配置定義データ１６０
の内容例を、図１３に示す。In the present embodiment, in order to determine the object display position, three conditions of "adjust to the user's position", "avoid obstacles on the desk", and "prevent overlapping of displays" are considered. And Information on which of these conditions should be given priority is given in the automatic placement definition data 160.
It is stored in. Here, the automatic placement definition data 160
13 shows an example of the contents of the above.
【００５４】図１３に示した自動配置定義データ１６０
のテーブル１６０１は、それぞれの条件と、その条件を
満たせない場合のペナルティ値とを対応付けている。こ
の例では、「Ａ．利用者の位置に合わせる」ことができ
ない場合のペナルティ値を“５”、「Ｂ．机上の障害物
を避ける」ことができない場合のペナルティ値を“１
０”、「Ｃ．表示の重なりを防ぐ」ことができない場合
のペナルティ値を“３”と定めている。これらの条件お
よび対応するペナルティ値は、この例に限定されるもの
ではない。ペナルティ値は、予め固定であってもよい
が、好ましくはシステムまたは利用者が設定変更できる
ようにする。The automatic arrangement definition data 160 shown in FIG.
The table 1601 of 1 correlates each condition with a penalty value when the condition cannot be satisfied. In this example, the penalty value is “5” when “A. Matching to user's position” cannot be achieved, and the penalty value is “1” when “B. Avoiding obstacles on the desk” cannot be achieved.
The penalty value is set to "3" when "0" and "C. Preventing display overlap" cannot be performed. These conditions and corresponding penalty values are not limited to this example. The penalty value may be fixed in advance, but preferably the system or the user can change the setting.
【００５５】図１４に、各条件Ａ，Ｂ，Ｃの個々の条件
および任意の組み合わせに対して、それらのみを満たし
た場合に課されるペナルティ値の合計を示す。例えば、
「Ａ．利用者の位置に合わせる」と、「Ｂ．机上の障害
物を避ける」の条件のみが満たされた場合は、「Ｃ．表
示の重なりを防ぐ」の条件が満たされなかった（判断さ
れなかった）場合に他ならないから、図１３から分かる
ようにペナルティ値の合計は“３”になる。同様に、
「Ｂ．机上の障害物を避ける」のみが満たされた場合
は、「Ａ．利用者の位置に合わせる」および「Ｃ．表示
の重なりを防ぐ」の条件が判断されない場合であるか
ら、ペナルティ値の合計は５＋３すなわち“８”とな
る。FIG. 14 shows the sum of the penalty values imposed for the individual conditions of each of the conditions A, B, and C and for any combination thereof, if only those conditions are satisfied. For example,
If only the conditions of "A. Adjust to user's position" and "B. Avoid obstacles on the desk" are satisfied, the condition of "C. Prevent overlapping of displays" is not satisfied (judgment Since it is none other than the above), the total penalty value becomes "3" as can be seen from FIG. Similarly,
If only "B. Avoid obstacles on the desk" is satisfied, the conditions of "A. Adjust to user's position" and "C. Prevent overlapping of display" are not judged, so the penalty value Is 5 + 3, that is, “8”.
【００５６】表示位置決定部１５９は、ペナルティ値の
合計が少ない組み合わせから順に、表示位置の決定を試
みる。すなわち、まず、条件Ａ，Ｂ，Ｃをすべて満たす
表示位置があるか否かを調べ、あればその表示位置を採
用し、なければ次に条件Ａ，Ｂをともに満たす表示位置
があるか否かを調べる。あればその表示位置を採用し、
なければ次に、条件Ｂ，Ｃをともに満たす表示位置があ
るかを調べる、という風に順次、条件を緩和していく。The display position determining unit 159 tries to determine the display position in order from the combination having the smallest total penalty value. That is, first, it is checked whether or not there is a display position that satisfies all of the conditions A, B, and C, and if there is a display position, that display position is adopted. Find out. If so, adopt that display position,
If not, next, the conditions are gradually relaxed, such as checking whether or not there is a display position that satisfies both conditions B and C.
【００５７】試みるべき条件の組み合わせが与えられた
とき、表示位置決定部１５９は、まず、それぞれの条件
によってオブジェクトの表示に使用できない領域を求め
る。そして、オブジェクトの表示に十分な大きさの領域
が、それらの領域のどれとも重ならないように確保でき
るかどうかを確かめる。確保できれば、その領域をオブ
ジェクトの表示位置とし、確保できなければ、その与え
られた条件を満たす表示位置はないと判断する。When a combination of conditions to be tried is given, the display position determining unit 159 first obtains an area that cannot be used to display an object according to each condition. Then make sure that a region large enough to display the object can be ensured so that it does not overlap any of those regions. If secured, the area is set as the display position of the object. If not secured, it is determined that there is no display position satisfying the given condition.
【００５８】条件によってオブジェクトの表示に使用で
きない領域は、次のようにして求める。まず、条件が
「Ａ．利用者の位置に合わせる」であった場合について
説明する。利用者の位置は、利用者監視部１５４に問い
合わせれば分かる。利用者監視部１５４が、例えば、利
用者の頭部が机の左端から３０％の位置にあると報告し
たとき、表示に使用できない領域は、例えば、図１５の
斜線の部分のように求められる。すなわち、条件Ａを満
たす領域を、利用者の頭部を中心して例えばオブジェク
ト表示の幅の１．５倍の幅の領域と定めると、これ以外
の領域が表示に使用できない領域となる。The area that cannot be used to display the object depending on the conditions is obtained as follows. First, a case where the condition is “A. Match with user's position” will be described. The position of the user can be known by inquiring the user monitoring unit 154. For example, when the user monitoring unit 154 reports that the user's head is 30% from the left end of the desk, the area that cannot be used for display is obtained, for example, as shown by the hatched portion in FIG. . That is, if an area satisfying the condition A is defined as an area having a width 1.5 times the width of the object display centering on the user's head, the other area becomes an area that cannot be used for display.
【００５９】条件が「Ｂ．机上の障害物を避ける」であ
った場合、その条件によってオブジェクトの表示に使え
ない領域は、机上監視部１５３に問い合わせることによ
り分かる。机上監視部１５３は、机上で障害物が占める
領域を矩形領域の集合で保持しているので、その矩形領
域の集合がすなわち、オブジェクトの表示に使用できな
い領域である。When the condition is “B. Avoid an obstacle on the desk”, the area which cannot be used for displaying the object due to the condition can be known by inquiring the desk monitoring unit 153. Since the desktop monitoring unit 153 holds the area occupied by the obstacles on the desk as a set of rectangular areas, the set of rectangular areas is an area that cannot be used for displaying an object.
【００６０】また、条件が「Ｃ．表示の重なりを防ぐ」
であった場合、その条件によってオブジェクトの表示に
使えない領域は、表示内容保持部１６１に問い合わせる
ことにより分かる。表示内容保持部１６１は、表示され
ているオブジェクトが占める領域を矩形領域の集合で保
持しているので、その矩形領域の集合がすなわちオブジ
ェクトの表示に使用できない領域となる。Further, the condition is "C. Prevent display overlap".
If it is, the area that cannot be used to display the object due to the condition can be known by inquiring the display content holding unit 161. Since the display content holding unit 161 holds the area occupied by the displayed object as a set of rectangular areas, the set of rectangular areas is an area that cannot be used for displaying the object.
【００６１】このように、それぞれの条件によってオブ
ジェクト表示に使用できない領域を求めることができ
る。As described above, the area that cannot be used for object display can be obtained according to each condition.
【００６２】以上、オブジェクトを水平ディスプレイ１
１１に表示する場合の処理について説明した。オブジェ
クトを垂直ディスプレイ１２１に表示する場合の処理に
ついても同様の方法で表示位置を決定できる。但し、デ
ィスプレイ１２１は直立しているので、障害物を載せら
れることがないので、障害物を避けるための処理は省略
できる。As described above, the object is displayed horizontally 1
The processing in the case of displaying on 11 has been described. The display position can be determined by the same method for the process of displaying the object on the vertical display 121. However, since the display 121 is upright, no obstacle can be placed on the display 121, and therefore the process for avoiding the obstacle can be omitted.
【００６３】以下では、利用者から見易い（あるいは操
作しやすい）位置を求める方法、机上の障害物を避ける
方法、キーボードを使うかペン入力を使うかを判定する
方法について説明する。In the following, a method for obtaining a position that is easy for the user to see (or operate), a method for avoiding an obstacle on the desk, and a method for determining whether to use the keyboard or the pen input will be described.
【００６４】まず、利用者から見易い位置を求める方法
について説明する。First, a method for obtaining a position that is easy for the user to see will be described.
【００６５】本実施例のような情報処理装置では、入力
表示一体型ディスプレイ装置の表示画面はは机の上面と
同程度の大きさであり、従来のＣＲＴによるディスプレ
イ装置のように少し離れたところから見る場合とは異な
り、利用者の座っている位置や身体の向きによって表示
が見にくくなる位置が生じることがある。したがって、
利用者にオブジェクトを提示する場合は、利用者の座っ
ている位置や身体の向きを考慮して表示位置を決めるこ
とが好ましい。例えば、図６（ａ）のように利用者が机
の左寄りに座っているときには、情報処理装置は利用者
が文書を見易いように、机１０１、すなわち水平ディス
プレイ１１１上の左寄りの位置に表示を出すことが望ま
れる。In the information processing apparatus according to the present embodiment, the display screen of the input / display integrated display device is about the same size as the top surface of the desk, and a little away from the conventional CRT display device. Unlike when viewed from above, the display may be difficult to see depending on the sitting position of the user or the orientation of the body. Therefore,
When presenting the object to the user, it is preferable to determine the display position in consideration of the sitting position and the body direction of the user. For example, when the user is sitting on the left side of the desk as shown in FIG. 6A, the information processing apparatus displays the document on the desk 101, that is, on the horizontal display 111 so that the user can easily see the document. It is desired to put it out.
【００６６】利用者の状態はカメラ１０８で撮影されて
おり、その状態は上述のように画像処理装置４１３、す
なわち画像処理部１５２により認識され、その認識結果
は利用者監視部１５４のテーブル１５４１（図１１）に
より記憶されている。したがって所望の動作は、表示位
置決定部１５９が、文書の表示位置を決定する際に利用
者監視部１５４に利用者の位置を問い合わせ、その結果
によって表示を適切な位置に出すようになっていること
で実現される。The state of the user is photographed by the camera 108, and the state is recognized by the image processing device 413, that is, the image processing unit 152 as described above, and the recognition result is the table 1541 (in the user monitoring unit 154). 11). Therefore, the desired operation is such that the display position determination unit 159 inquires the user monitoring unit 154 about the position of the user when determining the display position of the document, and displays the display at an appropriate position according to the result. It will be realized.
【００６７】例えば、利用者監視部１５４が、利用者の
頭の中心が机１０１の左側から３０％の位置にあると報
告した場合、図６（ｂ）のように文書のページイメージ
の中心が、机１０１の左側から３０％の位置に来るよう
に文書を表示できれば、利用者から見易く、入力操作も
しやすいと推定できる。For example, when the user monitoring unit 154 reports that the center of the user's head is 30% from the left side of the desk 101, the center of the page image of the document is as shown in FIG. 6B. If the document can be displayed at a position of 30% from the left side of the desk 101, it can be estimated that it is easy for the user to see and input operation is easy.
【００６８】次に、机上の障害物を避ける方法について
説明する。Next, a method of avoiding an obstacle on the desk will be described.
【００６９】前述のように、本実施例のような情報処理
装置では、ディスプレイ１１１は机１０１と一体化され
ており、通常の机の上での作業を行うスペースとしても
使用されると考えられる。すなわち利用者は、水平ディ
スプレイ１１１の上にキーボード１０５とマウス１０６
を置いて作業することもありうるし、ノートや辞書やカ
ップなどを載せることもありうる。As described above, in the information processing apparatus according to the present embodiment, the display 111 is integrated with the desk 101, and it is considered that the display 111 is also used as a space for working on a normal desk. . That is, the user has a keyboard 105 and a mouse 106 on the horizontal display 111.
It may be possible to put a notebook on and work, or to put a notebook, a dictionary, a cup, etc.
【００７０】したがって、水平ディスプレイ１１１にオ
ブジェクトを表示する場合は、机上に載せられている物
を避けて表示位置を決定することが望ましい。例えば、
アイコン状態の文書を新たに開こうとした時に、机１０
１の上から見た様子が図７（ａ）のような状態であり、
水平ディスプレイ１１１は図７（ｂ）のような内容を表
示しているとする。この時、机上の物体だけ抜き出す
と、図７（ｃ）のようになる。図７（ｃ）ような映像
は、前述のようにカメラ１０７の撮像するタイミングに
合わせてディスプレイ１１１の表示を一時的に消すこと
で得られる。この映像から画像処理装置４１１、すなわ
ち画像処理部１５１は机上の物体が占める領域を検出で
き、その情報は机上監視部１５３に記憶される。Therefore, when displaying an object on the horizontal display 111, it is desirable to determine the display position while avoiding an object placed on the desk. For example,
When you try to open a new document in the icon state, the desk 10
7 is a state as viewed from above, as shown in FIG.
It is assumed that the horizontal display 111 displays the content as shown in FIG. At this time, if only the object on the desk is extracted, it becomes as shown in FIG. The image as shown in FIG. 7C is obtained by temporarily turning off the display on the display 111 at the timing when the camera 107 captures an image as described above. From this video, the image processing device 411, that is, the image processing unit 151 can detect the area occupied by the object on the desk, and the information is stored in the desk monitoring unit 153.
【００７１】したがって所望の動作は、表示位置決定部
１５９が、文書の表示位置を決定する際に、机上監視部
１５３に障害物の位置を問い合わせ、その結果によって
表示を適切な位置に出すようになっていることで実現さ
れる。図７の例のような場合は、図７（ｄ）に示される
ように、障害物を避けた場所に新たな文書のページイメ
ージを表示すればよいことがわかる。Therefore, the desired operation is such that the display position determining section 159 inquires the desk monitoring section 153 of the position of the obstacle when determining the display position of the document, and displays the display at an appropriate position according to the result. It will be realized by becoming. In the case of the example of FIG. 7, it can be understood that the page image of the new document may be displayed in a place avoiding the obstacle as shown in FIG. 7D.
【００７２】次に、利用者がキーボードを使おうとして
いることを検出する方法について述べる。Next, a method for detecting that the user intends to use the keyboard will be described.
【００７３】本実施例の情報処理装置は、複数のディス
プレイを有しているので、実際には、水平ディスプレイ
１１１に表示すべきなのか、垂直ディスプレイ１２１に
表示すべきなのかを判定する必要がある。本実施例で
は、机上の状態を監視する手段としてカメラ１０７が設
置されているので、その映像を画像処理した結果を用い
て、どちらのディスプレイにオブジェクトを提示すべき
なのかを判定できる。Since the information processing apparatus of this embodiment has a plurality of displays, it is actually necessary to judge whether the horizontal display 111 or the vertical display 121 should display. is there. In the present embodiment, since the camera 107 is installed as a means for monitoring the state on the desk, it is possible to determine which display the object should be presented to by using the result of image processing of the image.
【００７４】例えば、情報処理装置が文書のページイメ
ージを表示するときに、カメラ１０７からの映像を画像
処理して机上の障害物を検出した結果、利用者の手とキ
ーボードが図８（ａ）に示されるような関係になってい
た場合、利用者はキーボードを用いて文書を操作しよう
としていると考えられる。具体的な判定には、例えば、
画像処理の結果として得られる、手の映像の重心位置と
キーボードの映像の重心位置８０４を用いる。キーボー
ドの重心位置８０４が、例えば図８（ｂ）の陰影部分で
示される多角形８０１に入るときに、利用者がキーボー
ドを使って作業をしているものと判定する。多角形８０
１の領域は、例えば、机１０１の手前の辺と、利用者の
左手の映像の重心８０２を通り机１０１の手前の辺と直
交する線と、利用者の右手の映像の重心８０３を通り机
１０１の手前の辺と直交する線と、利用者の左手の映像
の重心８０２と利用者の右手の映像の重心８０３を結ん
だ線分からの前方への距離が３０ｃｍの線とにより囲ま
れる領域である。図８の場合、キーボードの映像の重心
位置８０４は多角形８０１の領域内部にあるので、利用
者がキーボードを使って作業しようとしていると判定で
きる。For example, when the information processing apparatus displays the page image of the document, the image from the camera 107 is subjected to image processing to detect an obstacle on the desk, and as a result, the user's hand and keyboard are shown in FIG. If the relationship is as shown in, it is considered that the user is trying to operate the document using the keyboard. For specific determination, for example,
The center of gravity position of the image of the hand and the center of gravity position 804 of the image of the keyboard obtained as a result of the image processing are used. When the barycentric position 804 of the keyboard enters, for example, the polygon 801 shown by the shaded portion in FIG. 8B, it is determined that the user is working with the keyboard. Polygon 80
The region 1 passes through, for example, the front side of the desk 101, the line passing through the center of gravity 802 of the image of the left hand of the user and the line orthogonal to the front side of the desk 101, and the center of gravity 803 of the image of the right hand of the user. In a region surrounded by a line orthogonal to the front side of 101, a line 30 cm forward from the line segment connecting the center of gravity 802 of the image of the user's left hand and the center of gravity 803 of the image of the user's right hand is there. In the case of FIG. 8, the barycentric position 804 of the image of the keyboard is inside the area of the polygon 801. Therefore, it can be determined that the user is trying to use the keyboard.
【００７５】上記のような方法により、利用者がキーボ
ード１０５を使おうとしていることを検出でき、その情
報は机上監視部１５３に保持される。その情報は表示位
置決定部１５９によって使われ、結果として、情報処理
装置は、利用者がキーボード入力で使いやすいように、
ディスプレイ１２１に文書のページイメージを表示すれ
ばよいと判断できる。By the method as described above, it can be detected that the user intends to use the keyboard 105, and the information is stored in the desk monitor 153. The information is used by the display position determination unit 159, and as a result, the information processing apparatus makes it easy for the user to input the keyboard,
It can be determined that the page image of the document should be displayed on the display 121.
【００７６】次に、利用者がペン入力を使おうとしてい
ることを検出する方法を説明する。Next, a method for detecting that the user intends to use pen input will be described.
【００７７】情報処理装置が文書のページイメージを表
示するときに、カメラ１０７からの映像を、画像処理部
１５１が処理して机上の障害物を検出した結果、図９
（ａ）に示されるように利用者がペン１０４を持ってい
ることが分かった場合、利用者はペン入力で文書を操作
しようとしていると考えられる。具体的な判定には、例
えば、画像処理の結果として得られる、手の映像の重心
位置９０２とペンの映像の重心位置９０３を用いる。ペ
ン１０４の重心位置９０３が、例えば図９（ｂ）の陰影
部分で示される円９０１内に入るときに、利用者がペン
１０４を使って作業をしているものと判定する。すなわ
ち、ペン１０４の映像の重心位置９０３と、ペン１０４
を持つ手の映像の重心位置９０２からの距離が、例えば
８ｃｍ以下の場合である。図９の場合は、ペン１０４の
映像の重心９０３は、円９０１の内部にあるので、利用
者はペン１０４で作業をしようとしていると判定でき
る。When the information processing apparatus displays the page image of the document, the image processing unit 151 processes the image from the camera 107 to detect the obstacle on the desk.
When it is found that the user holds the pen 104 as shown in (a), it is considered that the user is trying to operate the document by pen input. For the specific determination, for example, the barycentric position 902 of the image of the hand and the barycentric position 903 of the image of the pen, which are obtained as a result of the image processing, are used. When the barycentric position 903 of the pen 104 enters, for example, a circle 901 shown by a shaded portion in FIG. 9B, it is determined that the user is working with the pen 104. That is, the center of gravity position 903 of the image of the pen 104 and the pen 104
This is the case where the distance from the center of gravity position 902 of the image of the hand holding is, for example, 8 cm or less. In the case of FIG. 9, the center of gravity 903 of the image of the pen 104 is inside the circle 901, so it can be determined that the user is trying to work with the pen 104.
【００７８】上記のような方法により、利用者がペン１
０４を使おうとしていることを検出でき、その情報は机
上監視部１５３に保持される。その情報は表示位置決定
部１５９によって使われ、結果として、情報処理装置
は、利用者がペン入力しやすい水平ディスプレイ１１１
上の位置に文書のページイメージを表示すればよいと判
断できる。By the above method, the user can use the pen 1
04 can be detected to be used, and the information is stored in the desk monitoring unit 153. The information is used by the display position determining unit 159, and as a result, the information processing apparatus displays the horizontal display 111 that is easy for the user to input with a pen.
It can be determined that the page image of the document should be displayed at the upper position.
【００７９】本実施例では、利用者の位置および方向を
検出する手段として、カメラからの映像を画像処理する
方法を用いたが、机１０１またはパーティション１０２
と椅子１０３の相対位置を検出する手段を用いて利用者
の状態を推定してもよい。また、利用者の頭部または手
の位置を入力する手段が提供されている情報処理装置に
おいては、それらからの情報を用いて利用者の状態を推
定してもよい。そのような位置入力手段としては、位置
測定対象に小型の磁界発生装置を付け、そこから発せら
れる磁界を机などに固定された受信装置で測定し、磁界
の変化から測定対象の３次元位置および方向を推定する
方法がある。また、磁界の代りに超音波を用いる方法も
提案されている。In this embodiment, the method of processing the image from the camera is used as the means for detecting the position and direction of the user, but the desk 101 or the partition 102 is used.
The state of the user may be estimated by using a means for detecting the relative position of the chair 103. Further, in an information processing apparatus provided with a means for inputting the position of the user's head or hand, the state of the user may be estimated using information from them. As such a position input means, a small magnetic field generator is attached to the position measurement target, the magnetic field generated from the position measurement target is measured by a receiver fixed to a desk or the like, and the three-dimensional position of the measurement target and the There is a way to estimate the direction. Also, a method of using ultrasonic waves instead of a magnetic field has been proposed.
【００８０】また、本実施例では、利用者がペンを持っ
ていることを検出する手段として、机上を撮影するカメ
ラからの映像を画像処理する方法を用いたが、画像処理
以外の手法で手とペンの座標を検出する機能が提供され
ていれば、同様のことができる。例えば、上述の磁界や
超音波の変化を読み取る方法などが利用できる。Further, in the present embodiment, as the means for detecting that the user holds the pen, the method of processing the image from the camera for photographing the desk is used, but the method other than the image processing is used. If the function to detect the and pen coordinates is provided, the same thing can be done. For example, the above-described method of reading changes in the magnetic field and ultrasonic waves can be used.
【００８１】また、本実施例では、利用者の前にキーボ
ードが置いてあることを検出する手段として、机上を撮
影するカメラからの映像を画像処理する方法を用いた
が、画像処理以外の手法で手あるいは身体とキーボード
の座標を検出する手段が提供されていれば、同様のこと
ができる。例えば、上述の磁界や超音波の変化を読み取
る方法などが利用できる。Further, in the present embodiment, as a means for detecting that the keyboard is placed in front of the user, the method of image-processing the image from the camera photographing the desk is used, but a method other than the image processing is used. If a means for detecting the coordinates of the hand or body and the keyboard is provided by, the same can be done. For example, the above-described method of reading changes in the magnetic field and ultrasonic waves can be used.
【００８２】[0082]
【発明の効果】本発明の情報処理装置によれば、利用者
に情報を提示する時に、利用者の状態や机上の状態をも
とに情報を提示する位置を自動的に決定することができ
る。これにより、大画面入力表示一体型ディスプレイ装
置や複数ディスプレイ装置を有する情報処理装置におい
て、利用者の状態や机上の状態にかかわらず、利用者が
利用しやすい位置に情報を提示することができ、操作性
のよいユーザインタフェースを得ることができる。According to the information processing apparatus of the present invention, when presenting information to the user, the position to present the information can be automatically determined based on the state of the user or the state of the desk. . As a result, in an information processing device having a large-screen input / display integrated display device or a plurality of display devices, it is possible to present information to a position where the user can easily use it, regardless of the user's condition or desk condition. A user interface with good operability can be obtained.
【図１】本発明の一実施例である情報処理装置の概観お
よび機能を示す説明図、FIG. 1 is an explanatory diagram showing an overview and functions of an information processing apparatus that is an embodiment of the present invention,
【図２】図１の机１０１の上面およびパーティション１
０２上部の断面図、2 is a top view of a desk 101 and a partition 1 of FIG.
02 Cross-section of the upper part,
【図３】投射型ディスプレイを用いた他の実施例の大画
面入力表示一体型ディスプレイの概観図、FIG. 3 is a schematic view of a large screen input display integrated display of another embodiment using a projection display.
【図４】図１の情報装置全体のハードウェアブロック構
成図、4 is a hardware block configuration diagram of the entire information device of FIG. 1,
【図５】実施例において利用者が電子的な文書を開く操
作の一例を示す説明図、FIG. 5 is an explanatory diagram showing an example of an operation of a user opening an electronic document in the embodiment.
【図６】実施例において利用者の位置を考慮したオブジ
ェクト表示の一例を示す説明図、FIG. 6 is an explanatory diagram showing an example of object display in consideration of a user's position in the embodiment;
【図７】実施例において机上の障害物の位置を考慮した
オブジェクト表示の一例を示す説明図、FIG. 7 is an explanatory diagram showing an example of object display in consideration of the position of an obstacle on a desk in the embodiment.
【図８】実施例において利用者がキーボードを使ってい
る場合を示す説明図、FIG. 8 is an explanatory diagram showing a case where a user uses a keyboard in the embodiment,
【図９】実施例において利用者がペンを持っている場合
を示す説明図、FIG. 9 is an explanatory diagram showing a case where the user holds a pen in the embodiment,
【図１０】実施例において机上監視部が保持する情報の
説明図、FIG. 10 is an explanatory diagram of information held by the desk monitor in the embodiment,
【図１１】実施例において利用者監視部が保持する情報
の説明図、FIG. 11 is an explanatory diagram of information held by the user monitoring unit in the embodiment,
【図１２】実施例の情報処理装置の使用例の説明図、FIG. 12 is an explanatory diagram of a usage example of the information processing apparatus of the embodiment,
【図１３】実施例における自動配置定義データの一例を
示す説明図、FIG. 13 is an explanatory diagram showing an example of automatic placement definition data according to the embodiment;
【図１４】実施例における条件の組み合わせに対するペ
ナルティ計算の一例の説明図、FIG. 14 is an explanatory diagram of an example of penalty calculation for a combination of conditions according to the embodiment;
【図１５】実施例においてオブジェクト表示に使用でき
ない領域を求める方法の一例の説明図、FIG. 15 is an explanatory diagram of an example of a method of obtaining an area that cannot be used for object display in the embodiment.
【図１６】実施例における入力処理定義データの一例を
示す説明図、FIG. 16 is an explanatory diagram showing an example of input processing definition data according to the embodiment.
１０１…ディスプレイおよびペン座標検出装置を内蔵し
た机、１０２…ディスプレイを内蔵したパーティショ
ン、１０３…利用者が座る椅子、１０４…机１０１に内
蔵されている座標入力装置が座標を読み取るペン、１０
５…キーボード、１０６…マウス、１０７…机上の状態
を撮影するカメラ、１０８…利用者の状態を監視するカ
メラ、１５１…机上の状態を認識する画像処理部、１５
２…利用者の状態を認識する画像処理部、１５３…机上
監視部、１５４…利用者監視部、１５５…入力処理部、
１５６…入力処理定義データ、１５７…処理手続き実行
部、１５８…処理手続き群、１５９…表示位置決定部、
１６０…自動配置定義データ、１６１…表示内容保持
部、１６２…ディスプレイ表示部、１１１…机１０１に
内蔵されているディスプレイ、１１２…机１０１に内蔵
されているペン座標入力装置、１２１…パーティション
１０２に内蔵されているディスプレイ、３０１…映像投
射装置、４０１…中央情報処理装置、４０２…周入力機
器インタフェース、４０３…ＣＰＵ、４０４…主記憶、
４０５…ディスプレイメモリ、４０６…ディスプレイメ
モリ、４０７…ディスプレイインタフェース、４０８…
ディスプレイインタフェース、４０９…二次記憶インタ
フェース、４１０…二次記憶装置、４１１…画像処理装
置、４１３…画像処理装置、４１２…画像メモリ、４１
４…画像メモリ、５０１…文書アイコン、５０２…ポイ
ンタ、８０１…利用者がキーボードを使っているかどう
かを判定するための多角形、８０２…利用者の左手の映
像の重心位置、８０３…利用者の右手の映像の重心位
置、８０４…キーボードの映像の重心位置、９０１…利
用者がペンを使っているかどうかを判定するための円、
９０２…利用者の右手の映像の重心位置、９０３…ペン
の映像の重心位置。101 ... Desk with built-in display and pen coordinate detection device, 102 ... Partition with built-in display, 103 ... Chair on which user sits, 104 ... Pen for reading coordinates by coordinate input device built into desk 101, 10
5 ... Keyboard, 106 ... Mouse, 107 ... Camera for photographing the state on the desk, 108 ... Camera for monitoring the state of the user, 151 ... Image processing unit for recognizing the state on the desk, 15
2 ... Image processing unit for recognizing user state, 153 ... Desk monitoring unit, 154 ... User monitoring unit, 155 ... Input processing unit,
156 ... Input process definition data, 157 ... Process procedure executing unit, 158 ... Process procedure group, 159 ... Display position determining unit,
160 ... Automatic arrangement definition data, 161 ... Display content holding unit, 162 ... Display display unit, 111 ... Display built in desk 101, 112 ... Pen coordinate input device built in desk 101, 121 ... Partition 102 Built-in display, 301 ... Image projection device, 401 ... Central information processing device, 402 ... Circular input device interface, 403 ... CPU, 404 ... Main memory,
405 ... Display memory, 406 ... Display memory, 407 ... Display interface, 408 ...
Display interface, 409 ... Secondary storage interface, 410 ... Secondary storage device, 411 ... Image processing device, 413 ... Image processing device, 412 ... Image memory, 41
4 ... Image memory, 501 ... Document icon, 502 ... Pointer, 801 ... Polygon for determining whether or not the user is using the keyboard, 802 ... Center of gravity of the image of the user's left hand, 803 ... Center of gravity of image of right hand, 804 ... Center of gravity of image of keyboard, 901 ... Circle for determining whether the user is using a pen,
902 ... the center of gravity of the image of the right hand of the user, 903 ... the center of gravity of the image of the pen.
フロントページの続き (72)発明者 三浦 雅樹 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 横田 登志美 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 郡司 圭子 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 相坂 一夫 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 沼田 徹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 坂尾 秀樹 神奈川県川崎市麻生区王禅寺1099 株式会 社日立製作所システム開発研究所内Front page continuation (72) Inventor Masaki Miura 1-1-1, Omika-cho, Hitachi City, Ibaraki Hitachi Ltd. Hitachi Research Laboratory (72) Inventor Toshimi Yokota 7-1-1, Omika-cho, Hitachi City, Ibaraki Prefecture Hitachi, Ltd., Hitachi Research Laboratory (72) Inventor, Keiko Gunji, 7-1, 1-1, Omika-cho, Hitachi City, Ibaraki Prefecture Hitachi Ltd., Hitachi Research Laboratory, (72) Inventor, Kazuo Aizaka 1-280, Higashi Koikeku, Kokubunji, Tokyo Address: Central Research Laboratory of Hitachi, Ltd. (72) Toru Numata 292 Yoshida-cho, Totsuka-ku, Yokohama, Kanagawa, Japan Address: Hitachi, Ltd. Microelectronics Equipment Development Laboratory (72) Hideki Sakai Aso, Kawasaki, Kanagawa 1099 Wozenji, Ward, Hitachi Ltd. System Development Laboratory
Claims (12)
象を表示可能なディスプレイ、および該ディスプレイの
表示面上に重ねて入力面を有するペン座標入力装置から
なり、入力表示面がほぼ水平に配置される入力表示一体
型ディスプレイ装置と、 利用者に対して表示対象を前記ディスプレイの表示領域
内に提示する際に、前記利用者の状態、前記入力表示面
上の状態および前記ディスプレイの表示状態のうちの少
なくとも一つに基づいて、当該表示対象を表示する位置
を自動的に決定する表示位置決定手段と、 を備えたことを特徴とする情報処理装置。1. A display comprising a display capable of selectively displaying an object to be displayed at a plurality of positions in a display area, and a pen coordinate input device having an input surface overlaid on the display surface of the display. A display device integrated with an input display arranged horizontally, and a state of the user, a state on the input display surface and a state of the display when presenting a display target to the user in a display area of the display. An information processing apparatus, comprising: a display position determining unit that automatically determines a position for displaying the display target based on at least one of the display states.
体型ディスプレイ装置に対する前記利用者の位置を検出
する利用者位置検出手段を有し、前記表示対象を提示す
る表示として、前記検出された利用者の位置に近接した
位置を決定することを特徴とする請求項１記載の情報処
理装置。2. The display position determining means has a user position detecting means for detecting the position of the user with respect to the input / display integrated display device, and the detected position is a display for presenting the display target. The information processing apparatus according to claim 1, wherein a position close to the position of the user is determined.
撮像する撮像手段と、該撮像手段により撮像された画像
を処理する画像処理手段とにより構成したことを特徴と
する請求項２記載の情報処理装置。3. The user position detecting means comprises image pickup means for picking up an image of the user and image processing means for processing an image picked up by the image pickup means. Information processing equipment.
上に載置された物体を検出する物体検出手段を有し、前
記物体検出手段により検出された物体の位置を避けるよ
うに前記表示対象の表示位置を決定することを特徴とす
る請求項１記載の情報処理装置。4. The display position determining means has an object detecting means for detecting an object placed on the input display surface, and the display is determined so as to avoid the position of the object detected by the object detecting means. The information processing apparatus according to claim 1, wherein the display position of the target is determined.
像する撮像手段と、該撮像手段により撮像された画像を
処理する画像処理手段とにより構成し、前記撮像手段に
よる撮像時に前記表示対象の表示を一時的に停止する表
示制御手段をさらに備えたことを特徴とする請求項４記
載の情報処理装置。5. The object detection means comprises image pickup means for picking up the input display surface and image processing means for processing an image picked up by the image pickup means, and the display object is picked up by the image pickup means. 5. The information processing apparatus according to claim 4, further comprising display control means for temporarily stopping the display of.
上に表示された表示対象の表示位置情報を保持する位置
情報保持手段を有し、前記表示位置決定手段は、前記位
置情報保持手段により保持された表示対象の表示位置を
避けるように前記表示対象の表示位置を決定することを
特徴とする請求項１記載の情報処理装置。6. The display position determining means includes position information holding means for holding display position information of a display target displayed on the input display surface, and the display position determining means includes the position information holding means. 2. The information processing apparatus according to claim 1, wherein the display position of the display target is determined so as to avoid the display position of the display target held by.
態、前記入力表示面上の状態および前記ディスプレイの
表示状態に関して複数の判断条件を用意し、該複数の判
断条件およびそれらの組み合わせに対して優先順位を付
して、該優先順位に従い、順次、前記表示対象を表示す
べき位置を探索する請求項１記載の情報処理装置。7. The display position determining means prepares a plurality of judgment conditions regarding the user's condition, the condition on the input display surface, and the display condition of the display, and sets the plurality of judgment conditions and their combinations. The information processing apparatus according to claim 1, wherein a priority order is given to the search target, and a position where the display target is to be displayed is sequentially searched according to the priority order.
して、表示画面が直立した他のディスプレイ装置と、 利用者が前記ペン座標入力装置のペンを持っているか否
かを検出するペン検出手段とをさらに備え、 前記表示位置決定手段は、前記ペン検出手段の検出結果
に基づき、前記利用者がペンを持っていると認識された
場合、前記入力表示一体型ディスプレイ装置に前記表示
対象を表示することを特徴とする請求項１記載の情報処
理装置。8. A display device in which the display screen is upright with respect to the input / display integrated display device, and pen detection means for detecting whether or not a user holds the pen of the pen coordinate input device. Further, the display position determination means displays the display target on the input / display integrated display device when it is recognized that the user has a pen based on the detection result of the pen detection means. The information processing apparatus according to claim 1, wherein:
して、表示画面が直立した他のディスプレイ装置と、 利用者とキーボードの相対位置を検出するキーボード位
置検出手段とをさらに備え、 前記表示位置決定手段は、前記キーボード検出手段の検
出結果に基づき、前記利用者の前にキーボードが置かれ
ていると認識された場合、前記他のディスプレイ装置に
前記表示対象を表示することを特徴とする請求項１また
は８記載の情報処理装置。9. The display position determination means further comprises: another display device having a display screen upright with respect to the input / display integrated display device; and keyboard position detecting means for detecting a relative position between a user and a keyboard. The means displays the display target on the other display device when it is recognized that a keyboard is placed in front of the user based on the detection result of the keyboard detection means. 1. The information processing device according to 1 or 8.
表示面上に重ねて入力面を有するペン座標入力装置から
なり、入力表示面がほぼ水平に配置される入力表示一体
型ディスプレイ装置と、 該入力表示一体型ディスプレイ装置に対して、表示画面
が直立した他のディスプレイ装置と、 利用者が前記ペン座標入力装置のペンを持っていること
を検出するペン検出手段と、 前記利用者に対して表示対象を提示する際に、該ペン検
出手段の検出結果に基づき、前記利用者がペンを持って
いると認識された場合、前記入力表示一体型ディスプレ
イ装置に表示対象を表示する表示位置決定手段と、 を備えたことを特徴とする情報処理装置。10. An input / display integrated display device comprising a display and a pen coordinate input device having an input surface overlaid on the display surface of the display, wherein the input display surface is arranged substantially horizontally, and the input display unit. Another display device whose display screen is upright with respect to the body type display device, a pen detection unit that detects that the user holds the pen of the pen coordinate input device, and a display target for the user. When presenting, when it is recognized that the user has a pen based on the detection result of the pen detection means, a display position determination means for displaying a display target on the input / display integrated display device, An information processing device characterized by being provided.
表示面上に重ねて入力面を有するペン座標入力装置から
なり、入力表示面がほぼ水平に配置される入力表示一体
型ディスプレイ装置と、 該入力表示一体型ディスプレイ装置に対して、表示画面
が直立した他のディスプレイ装置と、 利用者とキーボードの相対位置を検出するキーボード位
置検出手段と、 前記利用者に対して表示対象を提示する際に、前記キー
ボード検出手段の検出結果に基づき、前記利用者の前に
キーボードが置かれていると認識された場合、前記他の
ディスプレイ装置に前記表示対象を表示する表示位置決
定手段と、 を備えたことを特徴とする情報処理装置。11. An input / display integrated display device comprising a display and a pen coordinate input device having an input surface overlaid on the display surface of the display, the input display integrated display device having the input display surface arranged substantially horizontally, and the input display unit. Another display device in which the display screen is upright with respect to the body type display device, keyboard position detection means for detecting the relative position of the user and the keyboard, and the keyboard when presenting the display target to the user. A display position determining unit that displays the display target on the other display device when it is recognized that a keyboard is placed in front of the user based on the detection result of the detection unit. Information processing device.
対象を表示可能なディスプレイ、および該ディスプレイ
の表示面上に重ねて入力面を有するペン座標入力装置か
らなり、入力表示面がほぼ水平に配置される入力表示一
体型ディスプレイ装置において、前記ディスプレイの使
用時に前記表示面上に載置された物体を検出する方法で
あって、 前記表示面上を撮像手段により撮像する際、 電気ディスプレイにおける前記表示対象の表示を一時的
に停止し、 該表示停止時に撮像された画像に基づいて前記表示面上
に載置された物体を検出する、 ことを特徴とする表示面上物体の検出方法。12. A display comprising a display capable of selectively displaying an object to be displayed at a plurality of positions in a display area, and a pen coordinate input device having an input surface overlaid on the display surface of the display, wherein the input display surface is almost the same. A method for detecting an object placed on the display surface when using the display in a horizontally arranged input display integrated display device, comprising: an electric display when an image is taken by the image pickup means. In the method of detecting an object on the display surface, the display of the display object in step 1 is temporarily stopped, and an object placed on the display surface is detected based on an image captured when the display is stopped. .
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05609993A JP3378604B2 (en) | 1993-03-16 | 1993-03-16 | Information processing device |
| US08/213,030 US5436639A (en) | 1993-03-16 | 1994-03-15 | Information processing system |
| EP94104123A EP0626636B1 (en) | 1993-03-16 | 1994-03-16 | User interface for an information processing system |
| DE69428229T DE69428229T2 (en) | 1993-03-16 | 1994-03-16 | User interface for information processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05609993A JP3378604B2 (en) | 1993-03-16 | 1993-03-16 | Information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06266498A true JPH06266498A (en) | 1994-09-22 |
| JP3378604B2 JP3378604B2 (en) | 2003-02-17 |
Family
ID=13017664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05609993A Expired - Fee Related JP3378604B2 (en) | 1993-03-16 | 1993-03-16 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3378604B2 (en) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0744650A (en) * | 1993-07-29 | 1995-02-14 | Casio Comput Co Ltd | Information recognizing device |
| JPH09319556A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Information processor |
| JP2000056896A (en) * | 1998-08-13 | 2000-02-25 | Nec Corp | Pointing device |
| JP2000236329A (en) * | 1999-02-16 | 2000-08-29 | Canon Inc | Electronic conference system and its controlling method |
| JP2006350927A (en) * | 2005-06-20 | 2006-12-28 | Fuji Xerox Co Ltd | Information processor, information processing method, and computer program |
| JP2007086875A (en) * | 2005-09-20 | 2007-04-05 | Fuji Xerox Co Ltd | Multilayer work support device, multilayer work support method, and program |
| JP2008033190A (en) * | 2006-07-31 | 2008-02-14 | Sharp Corp | Display device, control method and program |
| JP2008033844A (en) * | 2006-07-31 | 2008-02-14 | Sharp Corp | Display device, control method and program |
| US7379622B2 (en) | 1999-12-27 | 2008-05-27 | Ricoh Company, Ltd. | Information-inputting device inputting contact point of object on recording surfaces as information |
| JP2008521048A (en) * | 2004-11-24 | 2008-06-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Placemat for interactive display table |
| JP2008152766A (en) * | 2007-11-16 | 2008-07-03 | Casio Comput Co Ltd | Method of recording hand-written information, and projection recording apparatus |
| JP2010108185A (en) * | 2008-10-29 | 2010-05-13 | Aisin Aw Co Ltd | System, method, and program for controlling display |
| JP2011193474A (en) * | 2000-10-24 | 2011-09-29 | Sony Corp | Information processing apparatus, and electronic apparatus |
| JP2013149023A (en) * | 2012-01-18 | 2013-08-01 | Nikon Corp | Display system, display program, and display method |
| JP2013214180A (en) * | 2012-04-02 | 2013-10-17 | Sharp Corp | Display device |
| JP2013250680A (en) * | 2012-05-30 | 2013-12-12 | Sharp Corp | Information display device, information input/output device having the same information display device, information input/output system having the same information input/output device and display method |
| US8639188B2 (en) | 2000-10-24 | 2014-01-28 | Sony Corporation | Information processing apparatus and information processing method having communication function |
| JP2014032523A (en) * | 2012-08-02 | 2014-02-20 | Sharp Corp | Desk type display device |
| JP2014215977A (en) * | 2013-04-30 | 2014-11-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
| WO2016063404A1 (en) * | 2014-10-23 | 2016-04-28 | 富士通株式会社 | Input/output device, input/output method, and input/output program |
| JP2018082220A (en) * | 2016-11-14 | 2018-05-24 | コニカミノルタ株式会社 | Image processing system, mobile terminal device, and program |
-
1993
- 1993-03-16 JP JP05609993A patent/JP3378604B2/en not_active Expired - Fee Related
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0744650A (en) * | 1993-07-29 | 1995-02-14 | Casio Comput Co Ltd | Information recognizing device |
| JPH09319556A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Information processor |
| JP2000056896A (en) * | 1998-08-13 | 2000-02-25 | Nec Corp | Pointing device |
| US6297804B1 (en) | 1998-08-13 | 2001-10-02 | Nec Corporation | Pointing apparatus |
| JP2000236329A (en) * | 1999-02-16 | 2000-08-29 | Canon Inc | Electronic conference system and its controlling method |
| USRE42794E1 (en) | 1999-12-27 | 2011-10-04 | Smart Technologies Ulc | Information-inputting device inputting contact point of object on recording surfaces as information |
| US7379622B2 (en) | 1999-12-27 | 2008-05-27 | Ricoh Company, Ltd. | Information-inputting device inputting contact point of object on recording surfaces as information |
| US10798759B2 (en) | 2000-10-24 | 2020-10-06 | Sony Corporation | Information processing apparatus and information processing method having communication function |
| US8639188B2 (en) | 2000-10-24 | 2014-01-28 | Sony Corporation | Information processing apparatus and information processing method having communication function |
| US10390375B2 (en) | 2000-10-24 | 2019-08-20 | Sony Corporation | Information processing apparatus and information processing method having communication function |
| US9510379B2 (en) | 2000-10-24 | 2016-11-29 | Sony Corporation | Information processing apparatus and information processing method having communication function |
| JP2011193474A (en) * | 2000-10-24 | 2011-09-29 | Sony Corp | Information processing apparatus, and electronic apparatus |
| JP2008521048A (en) * | 2004-11-24 | 2008-06-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Placemat for interactive display table |
| JP4661387B2 (en) * | 2005-06-20 | 2011-03-30 | 富士ゼロックス株式会社 | Information processing apparatus, information processing method, and computer program |
| JP2006350927A (en) * | 2005-06-20 | 2006-12-28 | Fuji Xerox Co Ltd | Information processor, information processing method, and computer program |
| JP2007086875A (en) * | 2005-09-20 | 2007-04-05 | Fuji Xerox Co Ltd | Multilayer work support device, multilayer work support method, and program |
| US7877699B2 (en) | 2005-09-20 | 2011-01-25 | Fuji Xerox Co., Ltd. | Multilayered task supporting apparatus and method for supporting multilayered task |
| JP2008033190A (en) * | 2006-07-31 | 2008-02-14 | Sharp Corp | Display device, control method and program |
| JP2008033844A (en) * | 2006-07-31 | 2008-02-14 | Sharp Corp | Display device, control method and program |
| JP2008152766A (en) * | 2007-11-16 | 2008-07-03 | Casio Comput Co Ltd | Method of recording hand-written information, and projection recording apparatus |
| JP2010108185A (en) * | 2008-10-29 | 2010-05-13 | Aisin Aw Co Ltd | System, method, and program for controlling display |
| JP2013149023A (en) * | 2012-01-18 | 2013-08-01 | Nikon Corp | Display system, display program, and display method |
| JP2013214180A (en) * | 2012-04-02 | 2013-10-17 | Sharp Corp | Display device |
| JP2013250680A (en) * | 2012-05-30 | 2013-12-12 | Sharp Corp | Information display device, information input/output device having the same information display device, information input/output system having the same information input/output device and display method |
| JP2014032523A (en) * | 2012-08-02 | 2014-02-20 | Sharp Corp | Desk type display device |
| JP2014215977A (en) * | 2013-04-30 | 2014-11-17 | キヤノン株式会社 | Image processing device, image processing method, and program |
| WO2016063404A1 (en) * | 2014-10-23 | 2016-04-28 | 富士通株式会社 | Input/output device, input/output method, and input/output program |
| JPWO2016063404A1 (en) * | 2014-10-23 | 2017-06-29 | 富士通株式会社 | I / O device, I / O method, and I / O program |
| JP2018082220A (en) * | 2016-11-14 | 2018-05-24 | コニカミノルタ株式会社 | Image processing system, mobile terminal device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3378604B2 (en) | 2003-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3378604B2 (en) | Information processing device | |
| EP0626636B1 (en) | User interface for an information processing system | |
| CN110471596B (en) | Split screen switching method and device, storage medium and electronic equipment | |
| KR100783552B1 (en) | Input control method and device for mobile phone | |
| EP2575013B1 (en) | Pen system and method for performing input operations to mobile device via the same | |
| JP2020530631A (en) | Interaction locating methods, systems, storage media, and smart devices | |
| JP5193275B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| US20110242038A1 (en) | Input device, input method, and computer program for accepting touching operation information | |
| US20030025678A1 (en) | Apparatus with touch screen and method for displaying information through external display device connected thereto | |
| US20140300542A1 (en) | Portable device and method for providing non-contact interface | |
| WO2006036069A1 (en) | Information processing system and method | |
| US7250942B2 (en) | Display apparatus and method of controlling display apparatus | |
| KR20140105328A (en) | Mobile terminal for controlling icon displayed on touch screen and method therefor | |
| KR20140104709A (en) | Method for synthesizing images captured by portable terminal, machine-readable storage medium and portable terminal | |
| AU2014219558A1 (en) | Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor | |
| EP3550419B1 (en) | Mobile terminal device and method for controlling display of mobile terminal device | |
| US5249296A (en) | Information processing apparatus for controlling window positions | |
| US20140184572A1 (en) | Information processing apparatus and method for controlling the same | |
| JPWO2014034031A1 (en) | Information input device and information display method | |
| US10037132B2 (en) | Enlargement and reduction of data with a stylus | |
| CN112825040B (en) | User interface display method, device, equipment and storage medium | |
| US9261996B2 (en) | Mobile terminal including touch screen supporting multi-touch input and method of controlling the same | |
| JP3357760B2 (en) | Character / graphic input editing device | |
| US20200257396A1 (en) | Electronic device and control method therefor | |
| JP2021036401A (en) | Display device, display method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071206 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081206 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081206 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |