JP2008287323A - Information input display device - Google Patents

Information input display device Download PDF

Info

Publication number
JP2008287323A
JP2008287323A JP2007129082A JP2007129082A JP2008287323A JP 2008287323 A JP2008287323 A JP 2008287323A JP 2007129082 A JP2007129082 A JP 2007129082A JP 2007129082 A JP2007129082 A JP 2007129082A JP 2008287323 A JP2008287323 A JP 2008287323A
Authority
JP
Japan
Prior art keywords
display
information
input
proximity
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007129082A
Other languages
Japanese (ja)
Other versions
JP4849412B2 (en
Inventor
Kenichi Ogawa
健一 小川
Yuichi Okano
祐一 岡野
Takaki Yagisawa
喬樹 八木澤
Tsutomu Matsubara
勉 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007129082A priority Critical patent/JP4849412B2/en
Publication of JP2008287323A publication Critical patent/JP2008287323A/en
Application granted granted Critical
Publication of JP4849412B2 publication Critical patent/JP4849412B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that, a conventional information input display device detects approach and contact of a finger to a display screen and only zooms an image, but it is difficult to identify zoomed items in a display screen with many items, and there may cause an erroneous operation in inputting data. <P>SOLUTION: Approach/contact of a finger to a display screen is detected by an input/display means, coordinate values of the approach/contact position of the finger and information on the approach/contact are obtained from an approach/contact operation discrimination means, additional information showing a zoom area and relating to a display area is acquired by an additional information generation means, and the zoom area and the additional information are zoomed by an operation screen display control means. In changing data, an input operation screen is displayed by the contact of the finger, current display information is temporarily stored in a storage means by a control means, and when a new data value is inputted, the information stored in the storage means is replaced with the new data value. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、数値制御工作機械等の各種産業用のプログラマブル表示器や情報携帯端末、ナビゲーションなどの操作機能付きの表示装置に関するものである。   The present invention relates to a programmable display for various industries such as a numerically controlled machine tool, an information portable terminal, and a display device with an operation function such as navigation.

携帯端末は、人間が携帯するため小形であることが要求され、装置が小型になることに伴い表示画面の面積も小さくなり、表示できる情報量も少なくなってしまう。この表示情報量の減少を防ぐために表示文字や数字を小さくすることで、小型画面であっても従来の携帯端末と同等の情報量を表示可能となる。また、携帯型端末であっても表示画像を閲覧するだけでなく、利用者が情報を入力するための手段が必要となり、小型軽量化するためキーボードやマウスなどの入力装置は用いず、指やペンにより直接表示画面に触れるような入力手段が備えられている。携帯型端末では表示する情報量の問題を解決するために高解像度化された小型画面に高密度に入力用のボタンが配置される場合が多い。利用者が指でこれらのボタンから目的とするボタンを選択することが困難な場面が多々発生し、誤入力される場面が多い。
また、数値制御による工作機械をはじめとする各種産業用のプログラマブル表示器やナビゲーションシステムに用いられる非携帯型の据え置き型を含む表示装置に於いても設置場所の占有する面積を抑えるために表示画面の面積を小さくする場合には同様の問題が発生する。
これらの問題を解決するために、以下の従来技術がある。
(1)特開平10-269022「通信機能付き携帯型情報端末」
携帯型端末上で稼動するアプリケーション表示画面において、利用者の指等が接近すると、接近感知装置がこれを検知し、接近した座標周辺の画像を拡大する。これにより誤入力を防ぐ。
The portable terminal is required to be small because it is carried by a human, and as the device becomes smaller, the area of the display screen is reduced and the amount of information that can be displayed is reduced. By reducing the display characters and numbers in order to prevent this decrease in the amount of display information, an information amount equivalent to that of a conventional portable terminal can be displayed even on a small screen. Moreover, even for a portable terminal, it is necessary not only to view a display image but also to have a means for a user to input information. To reduce the size and weight, an input device such as a keyboard or a mouse is not used. Input means for touching the display screen directly with a pen is provided. In a portable terminal, in order to solve the problem of the amount of information to be displayed, input buttons are often arranged at a high density on a small screen with high resolution. There are many scenes where it is difficult for the user to select a desired button from these buttons with a finger, and there are many scenes where an erroneous input is made.
In order to reduce the area occupied by the installation location of display devices, including non-portable stationary displays used in various industrial programmable displays such as machine tools with numerical control and navigation systems. The same problem occurs when reducing the area.
In order to solve these problems, there are the following conventional techniques.
(1) Japanese Patent Laid-Open No. 10-269022 “Portable information terminal with communication function”
When the user's finger or the like approaches on the application display screen that runs on the portable terminal, the approach detection device detects this and enlarges the image around the approached coordinates. This prevents erroneous input.

(2)特開2002-311820「情報処理装置」
表示画面上で2本の指が近づくと縮小画像を表示し、2本の指が遠ざかると拡大画像を表示する。これにより、利用者に使い勝手の良い、画像の拡大縮小が行える装置を実現する。
(2) JP 2002-311820 "Information processing device"
When two fingers approach on the display screen, a reduced image is displayed, and when two fingers move away, an enlarged image is displayed. As a result, an apparatus capable of enlarging and reducing the image, which is convenient for the user, is realized.

(3)特開2001-14024「プラントの監視制御装置」
プラント制御装置において、オペレータがプラントの監視画面を表示する表示部に接近したことを検出し、オペレータが接触しようとするデータ表示部上の接触点付近の画面を拡大、または表示色を変更して表示する。これにより、制御情報の選択を容易にし、誤操作を防止する。
(3) Japanese Patent Laid-Open No. 2001-14024 “Plant Monitoring and Control Device”
In the plant control device, it is detected that the operator has approached the display unit that displays the plant monitoring screen, and the screen near the contact point on the data display unit that the operator wants to touch is enlarged or the display color is changed. indicate. This facilitates selection of control information and prevents erroneous operation.

特開平10-269022号公報「通信機能付き携帯型情報端末」Japanese Patent Laid-Open No. 10-269022 “Portable Information Terminal with Communication Function” 特開2002-311820号公報「情報処理装置」JP 2002-311820 A "Information Processing Device" 特開2001-14024号公報「プラントの監視制御装置」Japanese Patent Laid-Open No. 2001-14024 “Plant Monitoring and Control Device”

従来の技術では、表示画面上への指の近接・接触を検知し、その周辺画像を拡大表示する点について開示されているが、指等が近接・接触した部分を単純に拡大表示するだけでは以下のような問題点がある。
例えば、一覧表のような多数の項目が集積した表示画面では一部を拡大表示するのみでは、利用者はどの部分が拡大されているかを判別することが困難となり、確実な操作が難しい。
In the conventional technology, it has been disclosed that the proximity / contact of the finger on the display screen is detected and the surrounding image is enlarged and displayed. There are the following problems.
For example, on a display screen in which a large number of items such as a list are collected, it is difficult for the user to determine which part is enlarged by only displaying a part of the enlarged display, and a reliable operation is difficult.

また、従来技術のようにデータを入力する際に、表示画面を自動的に拡大するだけでは、データ入力操作の使い勝手が必ずしも良いとはいえない。   Further, when data is input as in the prior art, it is not always easy to use the data input operation simply by automatically enlarging the display screen.

また、従来技術のように単純に指が接触した場合に、画像を拡大し、指が離れた場合に画像拡大を終了するのみでは、利用者が意図せずに指を表示画面から離してしまったために拡大表示が終了してしまうなどの動作となり、必ずしも使い勝手が良くなかった。   In addition, when the finger is simply touched as in the prior art, the image is magnified, and when the finger is removed, the image is unintentionally left, and the user unintentionally removes the finger from the display screen. As a result, the enlarged display is terminated and the operation is not necessarily good.

また、従来技術のように単純に指が接触した場合に、画像を拡大するのみでは、例えば複数領域が拡大される画面の場合、操作によっては複数の領域が同時に拡大されてしまい、操作に支障をきたすなどの問題が起きる可能性があった。   In addition, when the finger is simply touched as in the prior art, if the image is enlarged only, for example, in the case of a screen in which a plurality of areas are enlarged, the plurality of areas may be enlarged simultaneously depending on the operation, which hinders the operation. Could cause problems.

この発明に係る情報入力表示装置は、
表示機能と入力機能を兼ね備え、表示画面の所定位置に対する利用者の指の近接または接触を検知する入力・表示手段と、
入力・表示手段の検知により、利用者の指の近接または接触位置の座標値と、近接か接触かの判別情報を取得する近接/接触動作判別手段と、
近接/接触動作判別手段からの座標値と近接情報とにより、その座標値を中心に所定の範囲の拡大表示領域を決定すると共にその領域内の情報に関連する付加情報を取得する付加情報生成手段と、
付加情報生成手段により取得された拡大表示領域と付加情報を入力・表示手段に拡大して表示し、利用者の指が拡大表示画面の情報内容の変更を希望する位置に接触したことによる近接/接触動作判別手段からの座標値と接触情報により、入力操作画面を入力・表示手段に表示する操作画面表示制御手段と
拡大表示画面の情報内容変更を希望する位置に利用者の指が接触したことによる位置近接/接触動作判別手段からの座標値と接触情報により、現時点の接触位置における表示情報を一時保管する格納手段と、
利用者により入力操作画面から新たな情報が入力されたとき、格納手段に保管された先の表示情報を新たな情報に置き換える制御手段とを備える。
An information input display device according to the present invention includes:
An input / display unit that has a display function and an input function, and detects the proximity or contact of the user's finger to a predetermined position on the display screen;
Proximity / contact operation discrimination means for acquiring the proximity value or contact position coordinate value of the user's finger and discrimination information of proximity or contact by detection of the input / display means,
Based on the coordinate value and proximity information from the proximity / contact operation determination means, an additional information generation means for determining an enlarged display area of a predetermined range centering on the coordinate value and acquiring additional information related to information in the area When,
The enlarged display area and additional information acquired by the additional information generating means are enlarged and displayed on the input / display means, and the proximity / proximity due to the user's finger touching the position where the information content of the enlarged display screen is desired to be changed / Based on the coordinate value and contact information from the contact movement determination means, the user's finger has touched the position where the user wants to change the information content on the operation screen display control means for displaying the input operation screen on the input / display means and the enlarged display screen. Storage means for temporarily storing display information at the current contact position based on the coordinate value and contact information from the position proximity / contact operation determination means by;
And control means for replacing the previous display information stored in the storage means with new information when new information is input from the input operation screen by the user.

この発明による情報入力表示装置によれば、拡大表示した領域の近傍に、この領域内の情報に関連する付加情報を表示することで、どの部分が拡大されているのか、また拡大表示された情報の性格は何かを知見することが可能であり、拡大表示された情報を変更する必要があるときは変更希望の情報表示位置への指の操作により操作画面表示制御手段が入力操作画面を表示するので、この入力操作画面を操作して表示情報を変更することができ、操作性の向上と誤入力防止が実現できる。   According to the information input display device of the present invention, the additional information related to the information in this area is displayed in the vicinity of the enlarged area, which part is enlarged, and the enlarged information is displayed. It is possible to know what is the nature of the operation screen, and when it is necessary to change the enlarged information, the operation screen display control means displays the input operation screen by operating the finger to the information display position desired to be changed Therefore, the display information can be changed by operating this input operation screen, and operability can be improved and erroneous input can be prevented.

実施の形態1.
図1はこの発明の実施の形態1を示す構成図である。
図1において、入力・表示手段1は表示機能と入力機能を兼ね備え、例えば指等の近接や接触が検知可能なタッチパネルから成るものである。具体的には静電容量型パネル(導体である指が近づくと静電容量の変化を検出して近接する指の位置を検出可能)と感圧型パネル(指等が接触すると圧力がかかった場所を検知し、指が接触した位置を検出可能)を重ねる等して構成する。これにより、指の近接と接触が検出できる。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の近接点位置から行/列情報を取得する。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing Embodiment 1 of the present invention.
In FIG. 1, an input / display unit 1 has a display function and an input function, and is composed of, for example, a touch panel capable of detecting the proximity and contact of a finger or the like. Specifically, a capacitive panel (capacity change can be detected when a finger that is a conductor approaches) and a pressure-sensitive panel (a place where pressure is applied when a finger or the like touches) And the position where the finger touches can be detected). Thereby, the proximity and contact of the finger can be detected.
The proximity / contact movement determination unit 2 acquires row / column information from the proximity point position of the finger detected by the input / display unit 1.

付加情報生成手段3は、近接/接触動作判別手段2が取得した指の近接点位置の行/列情報を基にその近接点の行/列の前後一定範囲の行と列の情報を取得する。この実施の形態では具体的には近接/接触動作判別手段2で求めた行の前後2つ分と列の左右1つ分のセルの情報と、そのセルの情報に関連する行と列のタイトル等の付加情報を取得する。
操作画面表示制御手段6は、付加情報生成手段3が求めた行列情報と共に拡大入力画面を入力・表示手段1に表示するように指示する。また指の操作状況によっては(−、+)などの数値変更入力のための入力操作画面を表示する。
The additional information generation unit 3 acquires row and column information in a certain range before and after the row / column of the proximity point based on the row / column information of the proximity point position of the finger acquired by the proximity / contact movement determination unit 2. . Specifically, in this embodiment, cell information for two rows before and after the row and one column left and right obtained by the proximity / contact movement determination means 2 and the titles of the rows and columns related to the information of the cells. Additional information such as
The operation screen display control means 6 instructs the input / display means 1 to display an enlarged input screen together with the matrix information obtained by the additional information generation means 3. Further, depending on the operation state of the finger, an input operation screen for inputting a numerical value change such as (−, +) is displayed.

拡大画像が表の場合、例えば何行目の何列目かの情報および行と列のタイトルを付加情報として、これらを含め例えば図2(A)に示すように5x3の領域を拡大した図2(B)に示す画面を表示する。この拡大する表の領域は5x3の範囲に限られるものでなく、3x3や1x5あるいは5x1でもよいことは論をまたない。
操作状況判別手段4は、装置の操作履歴を記憶し、現在如何なる操作状況にあるかを判別する。
制御手段7は、上記各手段のデータの入出力および処理の実行を管理する。
格納手段5は、制御手段7の指示により処理時に必要な情報の格納や、予め定められた指の近接、あるいは接触に関した拡大表示などの動作内容が格納される。
図2(C)は入力操作画面を追加表示した画面の説明図である。図2(B)、図2(C)の拡大された表示画面において、テンキーが入力操作画面であり、「動作」や「ジョブ」および何行目かを示す「003」、「004」、「005」、「006」、「007」や何列目かを示す「B」、「C」、「D」が付加情報を表す。
In the case where the enlarged image is a table, for example, information on what number of rows and columns and titles of rows and columns are used as additional information, and these are included, for example, FIG. 2 in which a 5 × 3 area is enlarged as shown in FIG. The screen shown in (B) is displayed. The area of the expanding table is not limited to the 5x3 range, and it is obvious that it may be 3x3, 1x5, or 5x1.
The operation status determination unit 4 stores the operation history of the apparatus and determines what operation status is currently in progress.
The control means 7 manages the input / output of data and the execution of processing of each means.
The storage unit 5 stores information necessary for processing according to an instruction from the control unit 7 and operation contents such as enlarged display related to a predetermined finger approach or contact.
FIG. 2C is an explanatory diagram of a screen additionally displaying an input operation screen. In the enlarged display screens of FIG. 2 (B) and FIG. 2 (C), the numeric keypad is the input operation screen, and “Operation”, “Job”, and “003”, “004”, “ “005”, “006”, “007” and “B”, “C”, “D” indicating the number of columns represent additional information.

次に図1、図2、図3を参照して動作の説明をする。
ここでは、入力・表示手段1は図2(A)に示す表を表示しているものとし、表中の005-Cのセル「20」に利用者が指を近づけたとする。
入力・表示手段1に利用者の指が近づくと、入力・表示手段1は指の近接を検知する(図3S21)。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の近接点位置から行/列情報を取得する(図3S22)。即ち、行番号=005、列番号=Cを取得する。
付加情報生成手段3は、近接/接触動作判別手段2の行/列情報から近接点の行の前後一定範囲の行情報および列の左右一定範囲の列情報を取得する(図3S23)。具体的にはS22で求めた行の前後2つ分のセルの情報と列の左右1つ分のセルの情報、即ち、行=002と004および006と007の情報および列=BとDの情報を取得する。
Next, the operation will be described with reference to FIG. 1, FIG. 2, and FIG.
Here, it is assumed that the input / display unit 1 displays the table shown in FIG. 2A, and the user brings his / her finger close to cell “20” of 005-C in the table.
When the user's finger approaches the input / display unit 1, the input / display unit 1 detects the proximity of the finger (S21 in FIG. 3).
The proximity / contact operation determination unit 2 acquires row / column information from the proximity point position of the finger detected by the input / display unit 1 (S22 in FIG. 3). That is, row number = 005 and column number = C are acquired.
The additional information generation unit 3 acquires row information in a certain range before and after the row at the proximity point and column information in a certain left and right range of the column from the row / column information of the proximity / contact operation determination unit 2 (S23 in FIG. 3). Specifically, the cell information for the two rows before and after the row obtained in S22 and the cell information for the left and right columns of the column, that is, the row = 002 and 004 and the information of 006 and 007 and the column = B and D Get information.

操作画面表示制御手段6は、付加情報生成手段3が求めた行/列情報、即ち、行=002と004および006と007の情報および列=BとDの情報と付加情報、ならびに近接/接触動作判別手段2が取得した行番号=005、列番号=Cの情報とから入力・表示手段1に近接点位置(行番号=005、列番号=Cの位置)を中心にして図2(B)のように拡大入力画面を表示する(図3S24)。具体的には、どこの行と列を拡大表示しているかが分かるように行番号002〜007と列記号B〜D、さらにそのセル内の数値が何を意味するか分かるような行と列のタイトル「動作」と「ジョブ」の付加情報を含めた5x3の領域を拡大した画面を表示する。   The operation screen display control means 6 is the row / column information obtained by the additional information generating means 3, that is, the information of rows = 002 and 004 and 006 and 007, the information of columns = B and D and the additional information, and the proximity / contact. Based on the information of the row number = 005 and the column number = C acquired by the motion discriminating means 2, the input / display means 1 is centered on the proximity point position (the position of the row number = 005, the column number = C). ) To display an enlarged input screen (S24 in FIG. 3). Specifically, row numbers 002 to 007 and column symbols B to D so that you can see which rows and columns are enlarged, and rows and columns that indicate what the numbers in the cells mean Displays a screen with an enlarged 5x3 area that includes additional information on the title "Action" and "Job".

次に拡大表示した部分のデータ(情報内容)を変更するなどの置き換え操作について同じく図2、図3を参照にして説明する。
利用者が拡大表示されたタッチパネル等の入力・表示手段1に表示されたデータの変更を必要とする部分に指が接触すると、入力・表示手段1が指の接触を検知する(図3S25)。
近接/接触動作判別手段2は、入力・表示手段1が検知した接触点位置から接触点座標を取得し制御手段7に通知する。
制御手段7は、S24で表示した拡大入力画面上での行列情報を取得し、格納手段5へ情報を格納する(S26)。例えば指がセル004−Cに接触した場合は、行=004、列=Cの情報“10”を取得し、格納手段5に格納する。
操作画面表示制御手段6は、入力数値変更のためのテンキー表示の入力操作画面を図2(C)のように表示する。(S27)。
利用者が数値を変更するため入力操作画面から変更希望の数値を入力すると、制御手段7は、格納手段5に格納された行=004、列=Cの情報をテンキーにより入力された数値(データ)に置き換える(S28)。
Next, a replacement operation such as changing the data (information content) of the enlarged display will be described with reference to FIGS.
When the user touches a portion of the input / display unit 1 such as a touch panel that is displayed in an enlarged manner and requires the data to be changed, the input / display unit 1 detects the touch of the finger (S25 in FIG. 3).
The proximity / contact operation determination unit 2 acquires the contact point coordinates from the contact point position detected by the input / display unit 1 and notifies the control unit 7 of the contact point coordinates.
The control means 7 acquires the matrix information on the enlarged input screen displayed in S24 and stores the information in the storage means 5 (S26). For example, when the finger touches the cell 004 -C, information “10” of row = 004 and column = C is acquired and stored in the storage unit 5.
The operation screen display control means 6 displays a numeric keypad input operation screen for changing the input numerical value as shown in FIG. (S27).
When the user inputs a numerical value to be changed from the input operation screen in order to change the numerical value, the control means 7 stores the information of row = 004 and column = C stored in the storage means 5 by using the numeric keypad (data ) (S28).

この入力操作画面はテンキーの表示画面ではなく、(+、−)の表示画面であってもよい。(+、−)表示の場合は、(+)を入力すると、制御手段7は、格納手段5に格納された行=004、列=Cの情報に予め定められた数値だけ増加させた数値をセル004−Cのデータに置き換え、(−)を入力すると、制御手段7は、格納手段5に格納された行=004、列=Cの情報に予め定められた数値だけ減少させた数値をセル004−Cのデータに置き換える。   This input operation screen may be a (+, −) display screen instead of the numeric keypad display screen. In the case of (+, −) display, when (+) is input, the control means 7 increases a numerical value obtained by incrementing a predetermined numerical value in the information of row = 004 and column = C stored in the storage means 5. When the data of the cell 004-C is replaced and (−) is input, the control means 7 sets the value obtained by reducing the numerical value set in advance in the information of row = 004, column = C stored in the storage means 5 to the cell. Replace with 004-C data.

なお、上記実施の形態では、行と列がそれぞれ複数あるものの一部分(5x3)を拡大表示するものに付いて説明したが、これは図6(A)、図6(B)に示すように行のみ前後1つ分のセルの情報を拡大表示する3x1でもよい。図6(B)は拡大表示部とデータ値の変更が可能なように入力操作画面を表示したものである。さらに、図7(A)のようにデータの列が1つのみの場合でも図7(B)のように拡大することにより効果を発揮することは云うまでもない。
またさらに、上記実施の形態では、付加情報として行と列のタイトル、即ち「動作」と「ジョブ」を表示したものを説明したが、図7(B)に示すようにセル内の情報が何を意味するかが分かれば、行のタイトル「動作」のみを表示するようにしても良い。
In the above-described embodiment, the description has been given with respect to the enlarged display of a part (5 × 3) of a plurality of rows and columns, as shown in FIGS. 6 (A) and 6 (B). Alternatively, 3x1 may be used to enlarge and display cell information for one cell before and after. FIG. 6B shows the input operation screen so that the enlarged display portion and the data value can be changed. Furthermore, it goes without saying that even when there is only one data column as shown in FIG. 7A, the effect is exhibited by enlarging as shown in FIG. 7B.
Furthermore, in the above-described embodiment, the row and column titles, that is, “operation” and “job” are displayed as additional information. However, as shown in FIG. May be displayed, only the title “action” of the line may be displayed.

以上により拡大した入力画面に行列の情報を付加して表示することで、どの部分が拡大されているのかを容易に確認することができ、また、拡大表示された情報を変更するときは変更希望の情報表示位置への指の操作により入力操作画面が表示されるので、この入力操作画面を操作して表示情報を変更することができ、操作性の向上と誤入力防止が実現できる。   By adding and displaying matrix information on the enlarged input screen as described above, you can easily check which part is enlarged, and if you want to change the enlarged information, change it. Since the input operation screen is displayed by operating the finger at the information display position, the display information can be changed by operating the input operation screen, and operability can be improved and erroneous input can be prevented.

実施の形態2.
次に表において、セル内の入力値を変更する異なる実施の形態について操作を例に説明する。
まず、数値入力欄に対して数値を変更入力する場合について、図1、図4を使って動作を説明する。
入力・表示手段1に利用者の指が図12(A)に示すように近づくと、入力・表示手段1は指の近接を検知する(図4S31)。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の近接点位置から座標情報を取得し、制御手段7に座標情報を通知する。制御手段7は通知された座標情報から、この座標情報が数値変更入力の操作をする操作画面を表示する対象領域か否かを判断する(S32)。
Embodiment 2. FIG.
Next, in the table, different embodiments for changing an input value in a cell will be described by taking an operation as an example.
First, the operation of changing and inputting a numerical value in the numerical value input field will be described with reference to FIGS.
When the user's finger approaches the input / display unit 1 as shown in FIG. 12A, the input / display unit 1 detects the proximity of the finger (S31 in FIG. 4).
The proximity / contact operation determination unit 2 acquires coordinate information from the proximity point position of the finger detected by the input / display unit 1 and notifies the control unit 7 of the coordinate information. The control means 7 determines from the notified coordinate information whether this coordinate information is a target area for displaying an operation screen for performing a numerical value change input operation (S32).

操作画面表示の領域である場合、制御手段7からの情報により操作画面表示制御手段6は入力・表示手段1に近接点位置を中心に所定範囲を拡大表示すると共に、第1の入力操作画面の表示をする(S33)。
第1の入力操作画面は、具体的には、例えば変更希望の数値入力領域の近傍に、数値を簡単に変更できる+、−ボタンを図12(B)に示すように表示する。
なお、利用者の指が、数値変更入力の操作をする操作画面を表示する対象領域(操作画面表示対象領域)から離れ入力・表示手段1が近接を検知できなくなると第1の入力操作画面は消去され、次の操作の実行が可能になる。現在表示されている操作画面を1度消去の動作をしてから次の操作を実行可能にしないと利用者の指が表示画面上をブレ、意図しないのにブレる度毎にブレた先に対応する画面が表示される不具合を防止するためである。
In the case of the operation screen display area, the operation screen display control means 6 enlarges and displays a predetermined range centering on the proximity point position on the input / display means 1 based on the information from the control means 7 and also displays the first input operation screen. Displayed (S33).
Specifically, the first input operation screen displays, for example, in the vicinity of a numerical input area desired to be changed, a + button and a − button that can easily change a numerical value as shown in FIG.
If the user's finger is away from the target area (operation screen display target area) for displaying the operation screen for performing the numerical value change input operation and the input / display means 1 cannot detect proximity, the first input operation screen is displayed. It is erased and the next operation can be executed. If the current operation screen is erased once and the next operation cannot be executed, the user's finger will shake on the display screen. This is to prevent a problem that the corresponding screen is displayed.

利用者の指が第1の入力操作画面に接触すると、入力・表示手段1は指の接触を検知する(S34)。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の接触位置から座標情報を取得し、制御手段7に座標情報を通知する。制御手段7は通知された接触座標情報をもとに第1あるいは第2の入力操作画面上か否かを判断する(S35)。
利用者の指の接触位置が第1の入力操作画面(+、−)上の場合、制御手段7は処理を実行する(S36)。具体的には+が押された場合は図12(C)に示すように数値を大きくする。また、−が押された場合は数値を小さくする。
S35で指の接触位置が第1の入力操作画面上でない場合はS37へ進む。
When the user's finger touches the first input operation screen, the input / display unit 1 detects the touch of the finger (S34).
The proximity / contact operation determination unit 2 acquires coordinate information from the finger contact position detected by the input / display unit 1 and notifies the control unit 7 of the coordinate information. The control means 7 determines whether it is on the first or second input operation screen based on the notified contact coordinate information (S35).
When the contact position of the user's finger is on the first input operation screen (+, −), the control means 7 executes processing (S36). Specifically, when + is pressed, the numerical value is increased as shown in FIG. If-is pressed, the numerical value is decreased.
If the finger touch position is not on the first input operation screen in S35, the process proceeds to S37.

制御手段7は、利用者の指の接触座標値が、数値変更入力の操作をする操作画面を表示する対象領域(操作画面表示対象領域)か否かを判断する(S37)。
利用者の指の接触座標値が、図13(A)に示すように操作画面表示対象領域上の場合、制御手段7からの情報により操作画面表示制御手段6は入力・表示手段1に表示されている第1の入力操作画面を閉じて、第2の入力操作画面の表示を入力・表示手段1に行う(S38)。具体的には、第2の入力操作画面としてテンキーパネルを図13(B)に示すように表示する。
次に利用者の指が第2の入力操作画面に接触すると、入力・表示手段1は指の接触を検知する(S34)。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の接触位置から座標情報を取得し、制御手段7に座標情報を通知する。制御手段7は通知された接触座標情報をもとに第1あるいは第2の入力操作画面上か否かを判断する(S35)。
利用者の指の接触位置が第2の入力操作画面上の場合、制御手段7は処理を実行する(S36)。
具体的には、操作画面表示対象領域上の数値をテンキー入力の値に置き換える。
The control means 7 determines whether or not the contact coordinate value of the user's finger is a target area (operation screen display target area) for displaying an operation screen for performing a numerical value change input operation (S37).
When the contact coordinate value of the user's finger is on the operation screen display target area as shown in FIG. 13A, the operation screen display control means 6 is displayed on the input / display means 1 based on information from the control means 7. The first input operation screen is closed, and the second input operation screen is displayed on the input / display means 1 (S38). Specifically, a numeric keypad panel is displayed as the second input operation screen as shown in FIG.
Next, when the user's finger touches the second input operation screen, the input / display unit 1 detects the touch of the finger (S34).
The proximity / contact operation determination unit 2 acquires coordinate information from the finger contact position detected by the input / display unit 1 and notifies the control unit 7 of the coordinate information. The control means 7 determines whether it is on the first or second input operation screen based on the notified contact coordinate information (S35).
When the contact position of the user's finger is on the second input operation screen, the control means 7 executes processing (S36).
Specifically, the numerical value on the operation screen display target area is replaced with the value of the numeric keypad input.

以上は、表におけるセル内の入力値が数値である場合を説明したが、セル内の入力値が文字情報である場合は、第1の入力操作画面として、セル内の文字情報と同じカテゴリの文字列による複数の選択肢を表示する。例えば、変更を希望する入力値が「東京第一」の場合、利用者は指を「東京第一」の表示位置に図9(A)のように近接させる。すると数値変更の場合と同様に入力・表示手段1、近接/接触動作判別手段2、制御手段7、操作画面表示制御手段6が、処理を実行して、図9(B)のような第1の入力操作画面として選択可能な複数の文字列情報が表示される。この第1の入力操作画面内に変更希望の文字列情報、例えば「鎌倉」があれば、図9(C)のようにその文字列情報「鎌倉」に指を接触させて入力情報を図9(D)のように「鎌倉」に変更する。   The above describes the case where the input value in the cell in the table is a numerical value. However, when the input value in the cell is character information, the first input operation screen has the same category as the character information in the cell. Display multiple choices by string. For example, when the input value desired to be changed is “Tokyo 1”, the user brings his / her finger close to the display position of “Tokyo 1” as shown in FIG. Then, the input / display unit 1, the proximity / contact operation determination unit 2, the control unit 7, and the operation screen display control unit 6 execute the process in the same manner as in the case of changing the numerical value, and execute the first process as shown in FIG. A plurality of character string information that can be selected as the input operation screen is displayed. If there is character string information to be changed in the first input operation screen, for example, “Kamakura”, the character information “Kamakura” is brought into contact with the character string information “Kamakura” as shown in FIG. Change to “Kamakura” as in (D).

この第1の入力操作画面内に変更希望の文字列情報がない場合、利用者は指を図9(B)のように「東京第一」の表示位置に接触させる。すると数値変更の場合と同様に入力・表示手段1、近接/接触動作判別手段2、制御手段7、操作画面表示制御手段6が、処理を実行して、図10(A)のように第2の操作画面として文字入力が可能なキーボードが表示される。利用者は、第2の操作画面のこのキーボードにより希望する情報、例えば、「ふじさわ」を入力し、漢字変換して図10(B)のように「東京第一」を「藤沢」に変更する。   When there is no character string information to be changed in the first input operation screen, the user touches the display position of “Tokyo Daiichi” as shown in FIG. 9B. Then, the input / display unit 1, the proximity / contact operation determination unit 2, the control unit 7, and the operation screen display control unit 6 execute the process as in the case of changing the numerical value, and execute the second process as shown in FIG. A keyboard for inputting characters is displayed as the operation screen. The user inputs the desired information, for example, “Fujisawa” using this keyboard on the second operation screen, converts the kanji and changes “Tokyo Daiichi” to “Fujisawa” as shown in FIG. 10 (B). To do.

なお、図9(A)における等分な3箇所で分断された3重輪の中心を人差し指で指している絵は指が画面に近接する動作を分かり易く説明するためでのものあり、図9(B)、(C)で人差し指で指している絵は指が画面に接触する動作を分かり易く説明するためのものであって、実際の画面上に表示されるものではない。   Note that the picture in which the index finger is pointing at the center of the triple ring divided at three equal parts in FIG. 9A is for easy understanding of the movement of the finger close to the screen. The pictures pointed with the index finger in (B) and (C) are for explaining the operation of the finger touching the screen in an easy-to-understand manner, and are not displayed on the actual screen.

以上により、指の近接・接触状況を自動的に判断して、狭い表示領域で、複数の操作画面を特別な操作負荷なしに提示可能とし、使い勝手が向上する。   As described above, the proximity / contact state of the finger is automatically determined, and a plurality of operation screens can be presented in a narrow display area without any special operation load, thereby improving usability.

実施の形態3.
次に、指を近接させた情報を拡大表示する操作方法は、小さな的に正確に指を近づける必要があり操作が難しいので、ジェスチャ認識技術(公知技術)により、小さな画面上の選択肢を正確に指示する方法として、簡単な身振りで操作する方法を検知する機能を備え、簡単な身振りでの操作が実行された場合には身振りの操作を優先して採用する実施の形態について説明する。
図1、図5、図11を参照して動作を説明する。
入力・表示手段1に利用者の指が近づくと、入力・表示手段1は指の近接を検知する(図5S41)。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の近接点位置から座標情報を取得し、制御手段7に座標情報を通知する。制御手段7は通知された座標情報が処理対象の領域か否かを判断する(S42)。
処理対象領域の場合、制御手段7からの情報により操作画面表示制御手段6は指の動きの情報を元に動作を判別する(S43)。
本実施の形態では、操作画面表示制御手段6は具体的には以下の3つの動作を判別する。
動作A:図11の「一覧」「設定」「計算」・・・等の表示切替タブの真上から指を近づけた場合。
動作B:図11(B)に示すように画面外から表示切替タブの領域上を上から下に指を空過(入力・表示装置と小さな間隔、即ち近接位置を保って移動させる)させた場合。
動作C:図11(B)に示す動作と逆に表示切替タブの領域上を下から上に指を空過させた場合。
Embodiment 3 FIG.
Next, since the operation method for enlarging and displaying information with the finger close to the screen requires a small and accurate approach to the finger and the operation is difficult, the gesture recognition technology (known technology) is used to accurately select a small screen option. As an instruction method, an embodiment will be described in which a function of detecting a method of operating with a simple gesture is provided, and when an operation with a simple gesture is executed, the gesture operation is preferentially adopted.
The operation will be described with reference to FIGS.
When the user's finger approaches the input / display unit 1, the input / display unit 1 detects the proximity of the finger (S41 in FIG. 5).
The proximity / contact operation determination unit 2 acquires coordinate information from the proximity point position of the finger detected by the input / display unit 1 and notifies the control unit 7 of the coordinate information. The control means 7 determines whether or not the notified coordinate information is an area to be processed (S42).
In the case of the processing target area, the operation screen display control means 6 determines the movement based on the information of the finger movement based on information from the control means 7 (S43).
In the present embodiment, the operation screen display control means 6 specifically determines the following three operations.
Action A: When a finger is brought close to the display switching tab such as “list”, “setting”, “calculation”, etc. in FIG.
Action B: As shown in FIG. 11 (B), the finger was passed over the display switching tab area from the top to the bottom from outside the screen (moved while keeping a small distance from the input / display device, that is, close position). If.
Action C: When the finger is passed over the area of the display switching tab from the bottom up, contrary to the action shown in FIG.

動作の判別は例えば以下のようにして実現可能である。
近接点が検知された最初の点が、拡大対象領域部(図11(A)「設定」の部分)の場合、動作Aと判断する。
近接点が検出された最初の点が、図11の「計算」部分であり、近接点の移動方向が図11(B)に示すように上から下に向かっていて最終の点が「0.0Hz」の場合に動作Bと判断する。
近接点が検出された最初の点が、「0.0Hz」部分であり、近接点の移動方向が下から上に向かっていて最終の点が「計算」の場合に動作Cと判断する。
The determination of the operation can be realized as follows, for example.
When the first point at which the proximity point is detected is the enlargement target area (the “setting” portion in FIG. 11A), it is determined as the operation A.
The first point at which the proximity point is detected is the “calculation” portion of FIG. 11, the movement direction of the proximity point is from top to bottom as shown in FIG. 11B, and the final point is “0.0 Hz. "Is determined to be operation B.
The first point at which the proximity point is detected is the “0.0 Hz” portion, and when the movement direction of the proximity point is from bottom to top and the final point is “calculation”, it is determined as operation C.

例えば利用者が動作Aを行った場合、近接/接触動作判別手段2がこれを判別し制御手段7に通知する。制御手段7は、格納手段5に格納された「近接中のみ拡大表示フラグ」を1に設定する(S44)。
同様に、動作Bの場合は、制御手段7は格納手段5に格納された「常に表示するフラグ」を1に設定する(S45)。
動作Cの場合は、制御手段7は格納手段5に格納された「常に表示するフラグ」を0に設定する(S46)。
For example, when the user performs the operation A, the proximity / contact operation determination unit 2 determines this and notifies the control unit 7 of it. The control unit 7 sets the “enlarged display flag only during proximity” stored in the storage unit 5 to 1 (S44).
Similarly, in the case of operation B, the control means 7 sets “always display flag” stored in the storage means 5 to 1 (S45).
In the case of operation C, the control means 7 sets “always display flag” stored in the storage means 5 to 0 (S46).

次に、操作画面表示制御手段6は、格納手段5に格納された表示用のフラグを元に、入力・表示手段1に操作画面表示を行う(S47)。
具体的には、近接中のみ拡大表示フラグが1の場合は、指が近接中の間、表示切替タブを拡大表示し、指を離したら、拡大表示された情報を消去する。また、常に拡大表示するフラグが1の場合は、近接中か否かに関わらず表示切替タブを図11(C)に示すように拡大表示する。また、常に拡大表示するフラグが0の場合は、拡大表示を終了する。
Next, the operation screen display control means 6 displays the operation screen on the input / display means 1 based on the display flag stored in the storage means 5 (S47).
Specifically, when the enlarged display flag is 1 only during proximity, the display switching tab is enlarged while the finger is in proximity, and the enlarged information is erased when the finger is released. When the always enlarged display flag is 1, the display switching tab is enlarged and displayed as shown in FIG. If the flag for always enlarging display is 0, the enlarging display ends.

図11において、身振りで操作が可能な対象には丸印プラスを対象の欄外すぐ隣に記し、次の操作が可能な対象には黒色△印でその方向を示している。白抜き丸印プラスは現表示の逆の表示をする操作を示す。
具体的には、図11(A)、図11(B)では動作Bにより、表示切替タブの拡大表示が可能なことを示し、図11(C)では動作Cにより、拡大表示されている表示切替タブがもとの大きさに戻ることを示している。
なお、矢印の先の円内は、分かり易くするために矢印元の円内の記号を拡大表示したものである。
また、図11(B)の等分な3箇所で分断された3重輪の中心を人差し指で指している絵は人差し指で指している箇所を空過させる動作を分かり易く説明するためであり、この絵
柄が画面に表示されるものではない。
In FIG. 11, an object that can be operated by gestures is marked with a circle plus right next to the target area, and a target that can be operated next is indicated by a black triangle mark. The white circle plus indicates an operation for displaying the reverse of the current display.
Specifically, FIGS. 11A and 11B show that the display switching tab can be enlarged by operation B, and FIG. 11C shows the enlarged display by operation C. It shows that the switching tab returns to the original size.
In the circle at the end of the arrow, the symbols in the circle at the arrow origin are enlarged and displayed for easy understanding.
In addition, the picture in which the center of the triple wheel divided at three equal parts in FIG. 11 (B) is pointing with the index finger is for easy understanding of the operation of passing the part pointed with the index finger. This pattern is not displayed on the screen.

以上、指の動作により操作画面の表示方法を制御することにより、使い勝手の向上が図れる。   As described above, the usability can be improved by controlling the display method of the operation screen by the operation of the finger.

実施の形態4.
次に操作の必要がない状況で、意図せず誤動作等により指示された対象が画面に拡大表示されると、操作効率が低下するので、“拡大する/しない”の条件を付与し、必要な状況でのみ、拡大表示を行う操作制御方式の実施の形態につき、図11に示すような表示切替タブと数値入力領域A、B の操作を例にとり、図1、図8を参照して動作を説明する。
格納手段5には図8に示すように、操作状況に応じた条件下において、指の動作に関した拡大表示などの動作内容が予め格納されているものとする。
利用者が数値を変更しようとして数値入力領域Aに指を近づけると、入力・表示手段1は指の近接を検知する。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の近接点位置から座標情報を取得し、制御手段7に座標情報を通知する。制御手段7は通知された座標情報から指の近接した領域が領域Aか否かを判別し、領域Aの場合、制御手段7は格納手段5に格納されている図8のデータを参照する。
Embodiment 4 FIG.
Next, in a situation where there is no need for operation, if an object that was inadvertently specified due to a malfunction or the like is enlarged and displayed on the screen, the operation efficiency will be reduced. In the embodiment of the operation control method for performing the enlarged display only in the situation, the operation of the display switching tab and the numerical value input areas A and B as shown in FIG. explain.
As shown in FIG. 8, it is assumed that the storage 5 stores in advance operation contents such as an enlarged display related to the operation of the finger under a condition corresponding to the operation state.
When the user attempts to change the numerical value, when the finger is brought close to the numerical value input area A, the input / display unit 1 detects the proximity of the finger.
The proximity / contact operation determination unit 2 acquires coordinate information from the proximity point position of the finger detected by the input / display unit 1 and notifies the control unit 7 of the coordinate information. The control means 7 determines whether or not the area close to the finger is the area A from the notified coordinate information. In the case of the area A, the control means 7 refers to the data of FIG. 8 stored in the storage means 5.

操作状況判別手段4が、現時点の操作状況を判別する。例えば入力・表示手段1に表示切替タブが拡大表示されている場合、制御手段7は、図8のデータを基に、領域Aは如何なる指の操作でも拡大表示されない。
利用者が表示切替タブの中から何れの表示をするかを選択し、その選択されたタブに関連する情報が画面に表示され、利用者の操作により表示切替タブが元の状態に戻ると利用者の指の領域Aへの近接で、制御手段7は操作画面表示制御手段6に領域Aの拡大表示を指示し、操作画面表示制御手段6は入力・表示手段1に領域Aを拡大表示する。
この領域Aにおけるデータの値を設定し直す時は入力操作画面も表示され、この入力操作画面を用いて領域Aのデータ値を設定し直す。
これにより、表示切替タブが拡大されている場合には、意図せずに指が領域Aに近接した際に不用意な拡大処理を行わず(同時に複数の拡大画面が表示されるのを防ぐ)、利用者が確実に操作を行う指示を出した場合、即ち指の操作で、表示切替タブが元の状態に戻った場合のみ、領域Aの拡大を行うよう制御する。このように構成することで使い勝手が向上する。
The operation status determination unit 4 determines the current operation status. For example, when the display switching tab is enlarged and displayed on the input / display unit 1, the control unit 7 does not display the region A in an enlarged manner by any finger operation based on the data in FIG.
The user selects which of the display switching tabs to display, information related to the selected tab is displayed on the screen, and is used when the display switching tab returns to the original state by the user's operation When the person's finger approaches the area A, the control means 7 instructs the operation screen display control means 6 to enlarge the area A, and the operation screen display control means 6 enlarges and displays the area A on the input / display means 1. .
When the data value in the area A is reset, an input operation screen is also displayed, and the data value in the area A is reset using the input operation screen.
As a result, when the display switching tab is enlarged, inadvertent enlargement processing is not performed when the finger approaches the area A unintentionally (a plurality of enlarged screens are prevented from being displayed at the same time). Control is performed so that the area A is enlarged only when the user gives an instruction to perform the operation reliably, that is, when the display switching tab returns to the original state by a finger operation. Constructing in this way improves usability.

さらに、利用者が数値入力領域Aで数値を変更後、関連度の高い数値入力領域Bで数値の変更入力を行う場合を考える。
利用者の指が領域Bに近接すると、入力・表示手段1は指の近接を検知する。
近接/接触動作判別手段2は、入力・表示手段1が検知した指の近接点位置から座標情報を取得し、制御手段7に座標情報を通知する。制御手段7は通知された座標情報から指の近接点位置が領域Bか否かを判別する。領域Bの場合、制御手段7は操作状況判別手段4の内容(領域Aの数値が変更されたという内容)を基に、格納手段5に格納されている図8のデータを参照し、領域Bの拡大表示を行うよう制御する。即ち、操作画面表示制御手段6に指示し、領域Bへの指の近接で拡大表示を行う。
操作状況判別手段4の内容が、領域Aの数値が変更されていない場合は、領域Bへの指の近接であっても領域Bの拡大表示は行われない。
Further, consider a case where the user changes the numerical value in the numerical value input area A and then inputs the numerical value in the numerical input area B having a high degree of relevance.
When the user's finger approaches the area B, the input / display unit 1 detects the proximity of the finger.
The proximity / contact operation determination unit 2 acquires coordinate information from the proximity point position of the finger detected by the input / display unit 1 and notifies the control unit 7 of the coordinate information. The control means 7 determines whether or not the proximity point position of the finger is the region B from the notified coordinate information. In the case of the area B, the control means 7 refers to the data of FIG. 8 stored in the storage means 5 based on the contents of the operation status determination means 4 (content that the numerical value of the area A has been changed). Control to perform zoom display. That is, the operation screen display control means 6 is instructed to perform enlarged display when the finger approaches the area B.
When the value of the operation status determination means 4 is not changed in the area A, the enlarged display of the area B is not performed even if the finger is close to the area B.

これにより、例えば特定の数値を変更後、関連度の高い数値を変更する場合等において、必要性が高い場合のみ拡大表示を行うよう制御することができ、使い勝手の向上が図れる。   Thereby, for example, when a numerical value with a high degree of association is changed after changing a specific numerical value, it can be controlled to perform enlarged display only when necessity is high, and usability can be improved.

実施の形態5.
指の動きに合わせて拡大表示部が移動することで意図した指示位置から実際の操作位置がずれる誤操作を、操作中の拡大表示部(別ウインドウ)の動きを制限することによって防ぎ、かつ、拡大表示部に表示される表示内容を指の動きに合わせてスクロール制御する実施の形態について説明する。
Embodiment 5. FIG.
By moving the enlarged display unit in accordance with the movement of the finger, an erroneous operation in which the actual operation position deviates from the intended indication position can be prevented by restricting the movement of the enlarged display unit (in a separate window) during operation, and enlargement An embodiment will be described in which the display content displayed on the display unit is scroll-controlled according to the movement of the finger.

ここでは、入力・表示手段1は図14(A)に示すソフトキーボード操作画面を表示しているものとする。
利用者の指が入力・表示手段1に表示されているソフトキーボード操作画面の例えば“ぬ”に近づくと、入力・表示手段1は指の近接を検知すし、近接/接触動作判別手段2が、入力・表示手段1が検知した指の近接点位置の座標情報を取得する。
付加情報生成手段3は、近接/接触動作判別手段2の近接点位置の座標値から、この座標値を中心に所定範囲の領域情報を取得する。具体的にはこの実施の形態では近接点位置の垂直・水平軸で前後2つ分、図14(B)の破線で囲まれる領域が拡大表示される範囲とする。
操作画面表示制御手段6は、付加情報生成手段3が求めた拡大表示領域の情報を入力して入力・表示手段1に拡大表示領域を拡大表示する(図14(A)および図14(C))。
付加情報生成手段3は、利用者の指移動による入力・表示手段1の近接点位置の移動や、近接/接触動作判別手段2の取得する近接点位置の座標値が移動しても、この移動した座標値が最初に定められた領域内にあるときは表示領域の範囲を変更せず、図14(B)に示される拡大表示によって隠される領域を図15に示すようにスクロール表示する。
Here, it is assumed that the input / display unit 1 displays the soft keyboard operation screen shown in FIG.
When the user's finger approaches, for example, "Nu" on the soft keyboard operation screen displayed on the input / display unit 1, the input / display unit 1 detects the proximity of the finger, and the proximity / contact operation determination unit 2 The coordinate information of the proximity point position of the finger detected by the input / display unit 1 is acquired.
The additional information generating unit 3 acquires area information within a predetermined range from the coordinate value of the proximity point position of the proximity / contact movement determination unit 2 with the coordinate value as the center. Specifically, in this embodiment, an area surrounded by a broken line in FIG. 14B is enlarged and displayed for two front and rear on the vertical and horizontal axes of the proximity point position.
The operation screen display control means 6 inputs the information of the enlarged display area obtained by the additional information generating means 3 and enlarges and displays the enlarged display area on the input / display means 1 (FIGS. 14A and 14C). ).
The additional information generating unit 3 moves the proximity point position of the input / display unit 1 by the user's finger movement or the coordinate value of the proximity point position acquired by the proximity / contact operation determination unit 2 moves. When the coordinate value is within the initially determined area, the range of the display area is not changed, and the area hidden by the enlarged display shown in FIG. 14B is scroll-displayed as shown in FIG.

利用者の指が入力・表示手段1において図16に示すように拡大表示部の領域外に出ると、付加情報生成手段3は、利用者の指移動による入力・表示手段1の近接点位置の移動検知や、近接/接触動作判別手段2の取得する近接点位置の座標値の移動が最初に定められた表示領域外になるので表示領域を図16に示すように移動する。   When the user's finger goes out of the enlarged display area as shown in FIG. 16 in the input / display unit 1, the additional information generating unit 3 displays the position of the proximity point of the input / display unit 1 by the user's finger movement. Since the movement detection and the movement of the coordinate value of the proximity point position acquired by the proximity / contact movement determination means 2 are outside the display area initially determined, the display area is moved as shown in FIG.

以上のように、作業者の指が拡大表示部の領域内部で指を動かしている間に限り、表示領域を固定し指の動きに合わせてスクロール表示する。指が拡大表示領域部の外側に達すると、その地点を新たな指示地点として拡大表示部を移相する。これによって拡大表示部で隠されている領域の全ての項目を、拡大表示部で表示可能になり一覧性が確保される。
このように拡大表示部の動きを制限することで、操作中の指の動きによって拡大表示部が動き、指示地点がずれることが無くなるため、誤操作が減り、操作効率の向上と確実な操作が期待できる。
この実施の形態は特にカーナビゲーションなど操作機能付きの表示装置で地図情報を表示する場合は効果を発揮する。
As described above, the display area is fixed and scroll-displayed in accordance with the movement of the finger only while the operator's finger moves the finger within the area of the enlarged display section. When the finger reaches the outside of the enlarged display area portion, the enlarged display portion is phase-shifted with that point as a new designated point. As a result, all items in the area hidden by the enlarged display section can be displayed by the enlarged display section, and the listability is ensured.
By restricting the movement of the enlarged display portion in this way, the enlarged display portion does not move due to the movement of the finger during operation, and the designated point is not shifted, so that erroneous operations are reduced, and operational efficiency is improved and reliable operation is expected. it can.
This embodiment is particularly effective when displaying map information on a display device with an operation function such as car navigation.

この発明の情報入力表示装置は数値制御による工作機械等の各種産業用のプログラマブル表示器やナビゲーションシステムなど操作機能付きの表示装置に適用され、これら機器の操作性向上が図れる。   The information input display device of the present invention is applied to a display device having an operation function such as a programmable display for various industries such as a machine tool by numerical control and a navigation system, and the operability of these devices can be improved.

この発明の実施の形態1を示す構成図である。It is a block diagram which shows Embodiment 1 of this invention. 実施の形態1における拡大前・拡大後の表示画面例の説図である。6 is an explanatory diagram of an example of a display screen before and after enlargement in Embodiment 1. FIG. 実施の形態1における動作フロー図である。FIG. 3 is an operation flowchart in the first embodiment. 実施の形態2における動作フロー図である。FIG. 10 is an operation flowchart in the second embodiment. 実施の形態3における動作フロー図である。FIG. 10 is an operation flowchart in the third embodiment. 実施の形態1における別な拡大前・拡大後の表示画面例の説明図である。10 is an explanatory diagram of another display screen example before and after enlargement in Embodiment 1. FIG. 実施の形態1におけるさらに別な拡大前・拡大後の表示画面例の説明図である。FIG. 11 is an explanatory diagram of another display screen example before and after enlargement in the first embodiment. 実施の形態4で格納手段に予め格納された指の近接・接触状況に応じた拡大表示の動作内容説明図である。FIG. 16 is an operation explanation diagram of an enlarged display according to the proximity / contact state of a finger stored in advance in a storage unit in the fourth embodiment. 実施の形態2による第1の入力操作画面で文字列入力値を変更する動作説明図ある。FIG. 10 is an operation explanatory diagram for changing a character string input value on the first input operation screen according to the second embodiment. 実施の形態2による第2の入力操作画面で文字列入力値を変更する動作説明図ある。FIG. 10 is an operation explanatory diagram for changing a character string input value on the second input operation screen according to the second embodiment. 実施の形態3における動作説明用の表示画面例の説明図である。FIG. 10 is an explanatory diagram of an example of a display screen for explaining operations in the third embodiment. 実施の形態2における指の近接動作説明用の表示画面例の説明図である。FIG. 10 is an explanatory diagram of a display screen example for explaining the approaching operation of a finger in the second embodiment. 実施の形態2における指の接触動作説明用の表示画面例の説明図である。10 is an explanatory diagram of a display screen example for explaining a finger contact operation in Embodiment 2. FIG. 実施の形態5における入力・表示手段の表示画面例の説明図であり、拡大表示部によって拡大される領域と隠される領域の説明図である。It is explanatory drawing of the example of a display screen of the input and the display means in Embodiment 5, and is explanatory drawing of the area | region expanded and hidden by the expansion display part. 拡大表示部領域内のスクロール表示の説明図である。It is explanatory drawing of the scroll display in an enlarged display part area | region. 指の拡大表示部外移動による拡大表示部の位置移動の説明図である。It is explanatory drawing of the position movement of the enlarged display part by the movement outside the enlarged display part of a finger | toe.

符号の説明Explanation of symbols

1;入力・表示手段、2;近接/接触動作判別手段、3;付加情報生成手段、4;操作状況判別手段、5;格納手段、6;操作画面表示制御手段、7;制御手段。   DESCRIPTION OF SYMBOLS 1; Input / display means, 2; Proximity / contact operation determination means, 3; Additional information generation means, 4; Operation status determination means, 5; Storage means, 6; Operation screen display control means, 7;

Claims (6)

表示機能と入力機能を兼ね備え、表示画面の所定位置に対する利用者の指の近接または接触を検知する入力・表示手段と、
入力・表示手段の検知により、利用者の指の近接または接触位置の座標値と、近接か接触かの判別情報を取得する近接/接触動作判別手段と、
近接/接触動作判別手段からの座標値と近接情報とにより、その座標値を中心に所定の範囲の拡大表示領域を決定すると共にその領域内の情報に関連する付加情報を取得する付加情報生成手段と、
付加情報生成手段により取得された拡大表示領域と付加情報を入力・表示手段に拡大して表示し、利用者の指が拡大表示画面の情報変更を希望する位置に接触したことによる近接/接触動作判別手段からの座標値と接触情報により、入力操作画面を入力・表示手段に表示する操作画面表示制御手段と、
拡大表示画面の情報変更を希望する位置に利用者の指が接触したことによる位置近接/接触動作判別手段からの座標値と接触情報により、現時点の接触位置における表示情報を一時保管する格納手段と、
利用者により入力操作画面から新たな情報が入力されたとき、格納手段に保管された先の表示情報を新たな情報に置き換える制御手段とを
備えたことを特徴とする情報入力表示装置。
An input / display unit that has a display function and an input function, and detects the proximity or contact of the user's finger to a predetermined position on the display screen;
Proximity / contact operation discrimination means for acquiring the proximity value or contact position coordinate value of the user's finger and discrimination information of proximity or contact by detection of the input / display means,
Based on the coordinate value and proximity information from the proximity / contact operation determination means, an additional information generation means for determining an enlarged display area of a predetermined range centering on the coordinate value and acquiring additional information related to information in the area When,
Enlarged display area and additional information acquired by the additional information generation means are enlarged and displayed on the input / display means, and the proximity / contact operation when the user's finger touches the desired position on the enlarged display screen. An operation screen display control means for displaying an input operation screen on the input / display means based on the coordinate value and the contact information from the discrimination means;
Storage means for temporarily storing the display information at the current contact position based on the coordinate value and the contact information from the position proximity / contact operation determining means when the user's finger touches the position where the information change of the enlarged display screen is desired ,
An information input display device comprising: a control unit that replaces previous display information stored in the storage unit with new information when new information is input from the input operation screen by the user.
操作画面表示制御手段は、近接/接触動作判別手段からの座標値と近接情報により、座標値が情報の変更入力操作が可能な領域のときは、付加情報生成手段からの拡大表示領域と付加情報を入力・表示手段に拡大して表示すると共に、複数の選択肢が表示される第1の入力操作画面を入力・表示手段に表示し、さらに近接/接触動作判別手段から情報の変更入力操作が可能な領域の座標値と接触情報を入手したときは、付加情報生成手段からの拡大表示領域と付加情報を入力・表示手段に拡大して表示すると共に、キー入力により変更情報が入力可能な第2の入力操作画面を入力・表示手段に表示する構成にされたことを特徴とする請求項1に記載の情報入力表示装置。   The operation screen display control means uses the coordinate value and the proximity information from the proximity / contact movement determination means, and when the coordinate value is an area where the information change input operation is possible, the enlarged display area and the additional information from the additional information generation means. Is enlarged and displayed on the input / display means, and the first input operation screen on which a plurality of options are displayed is displayed on the input / display means, and the information change input operation can be performed from the proximity / contact operation determining means. When the coordinate value and the contact information of the correct area are obtained, the enlarged display area and the additional information from the additional information generating means are enlarged and displayed on the input / display means, and the change information can be input by key input. The information input display device according to claim 1, wherein the input operation screen is displayed on an input / display unit. 操作画面表示制御手段は、近接/接触動作判別手段からの座標値と近接情報を入手したとき、近接位置の座標値が変化しないときは、その座標値を入手している間その近接位置を中心とした所定領域を拡大表示し、
座標値が所定の方向に変化して所定領域を通過するときは、次の表示信号を入手するまで所定領域を拡大表示し、
座標値が所定の方向と逆の方向に変化して所定領域を通過するときは、拡大表示中の所定領域を消去する構成にされたことを特徴とする請求項1に記載の情報入力表示装置。
When the operation screen display control means obtains the coordinate value and proximity information from the proximity / contact movement determination means, and the coordinate value of the proximity position does not change, the proximity position is centered while obtaining the coordinate value. The predetermined area is enlarged and displayed.
When the coordinate value changes in a predetermined direction and passes through the predetermined area, the predetermined area is enlarged and displayed until the next display signal is obtained,
2. The information input display device according to claim 1, wherein when the coordinate value changes in a direction opposite to the predetermined direction and passes through the predetermined area, the predetermined area during the enlarged display is erased. .
数値入力の変更を可能とする領域Aと、この領域Aの数値変更入力により数値変更の必要が生じる可能性のある領域Bを有する表示画面であるとき、格納手段には操作状況に応じた条件下において、指の近接、あるいは接触に関した拡大表示動作内容が予め格納されており、
制御手段は、作業者の指の動作と動作位置の座標値とを入力して、動作位置の座標値から領域Aか領域Bを判別し、この判別した領域と、指の動作情報と、操作状況判別手段殻の現時点における捜査状況の情報を基に、格納手段の動作内容を参照して拡大表示動作を制御する構成にされたことを特徴とする請求項1に記載の情報入力表示装置。
When the display screen has an area A that allows numerical value change and an area B that may require numerical value change due to the numerical value change input in this area A, the storage means has a condition according to the operation status. Below, the details of the enlarged display operation related to the proximity or contact of the finger are stored in advance.
The control means inputs the motion of the operator's finger and the coordinate value of the motion position, and discriminates the region A or the region B from the coordinate value of the motion position, the discriminated region, the finger motion information, and the operation 2. The information input display device according to claim 1, wherein the information display apparatus is configured to control an enlarged display operation by referring to the operation content of the storage means based on information on the current state of the investigation of the situation determination means shell.
付加情報生成手段は、近接/接触動作判別手段2の近接点位置の座標値から、この座標値を中心に所定範囲の領域情報を取得し、利用者の指移動による近接/接触動作判別手段の取得する近接点位置の座標値移動が、この領域内にあるときは表示領域の範囲を変更せず、拡大表示によって隠される領域をスクロール表示し、利用者の指が拡大表示部の領域外に出て、近接/接触動作判別手段の取得する近接点位置の座標値の移動が上記表示領域外になると表示領域が移動するように、制御手段を介して操作画面表示制御手段により入力・表示手段に拡大表示させる構成にされたことを特徴とする請求項1に記載の情報入力表示装置。   The additional information generation means acquires area information within a predetermined range centering on this coordinate value from the coordinate value of the proximity point position of the proximity / contact action determination means 2, and the proximity / contact action determination means by the user's finger movement. When the coordinate value movement of the proximity point to be acquired is within this area, the display area is not changed, the area hidden by the enlarged display is scrolled, and the user's finger is outside the area of the enlarged display section. The input / display means is operated by the operation screen display control means via the control means so that the display area moves when the movement of the coordinate value of the proximity point position obtained by the proximity / contact action determination means is outside the display area. The information input display device according to claim 1, wherein the information input display device is configured to be enlarged and displayed. 操作画面表示制御手段は、入力・表示手段の画面に表示中の情報で拡大表示が可能な対象に拡大表示可能マークを表示するとともに近接検知可能な離間隙で指の移動操作が可能な方向を示すマークを拡大表示可能マークの近傍に表示させる構成にされたことを特徴とする請求項3に記載の情報入力表示装置。   The operation screen display control means displays an enlargement displayable mark on an object that can be enlarged and displayed by the information being displayed on the input / display means screen, and indicates a direction in which the finger can be moved with a gap that allows proximity detection. The information input display device according to claim 3, wherein the mark to be displayed is configured to be displayed in the vicinity of the enlarged displayable mark.
JP2007129082A 2007-05-15 2007-05-15 Information input display device Expired - Fee Related JP4849412B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007129082A JP4849412B2 (en) 2007-05-15 2007-05-15 Information input display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007129082A JP4849412B2 (en) 2007-05-15 2007-05-15 Information input display device

Publications (2)

Publication Number Publication Date
JP2008287323A true JP2008287323A (en) 2008-11-27
JP4849412B2 JP4849412B2 (en) 2012-01-11

Family

ID=40147011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007129082A Expired - Fee Related JP4849412B2 (en) 2007-05-15 2007-05-15 Information input display device

Country Status (1)

Country Link
JP (1) JP4849412B2 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116823A (en) * 2007-11-09 2009-05-28 Canon Inc Display device, method, and program
JP2010108314A (en) * 2008-10-30 2010-05-13 Pentel Corp Input device
JP2011034502A (en) * 2009-08-05 2011-02-17 Sony Corp Display device, display method, and program
WO2011027665A1 (en) * 2009-09-02 2011-03-10 日本電気株式会社 Display device
CN102109952A (en) * 2009-12-25 2011-06-29 索尼公司 Information processing apparatus, information processing method, and program
CN102470806A (en) * 2009-07-31 2012-05-23 本田技研工业株式会社 Operation system for vehicle
JP2012181712A (en) * 2011-03-02 2012-09-20 Konica Minolta Business Technologies Inc Image forming device, setting method and setting program
JP5126726B1 (en) * 2012-06-19 2013-01-23 株式会社デザイン・クリエィション Graphic processing apparatus, graphic processing method, and program
US8390590B2 (en) 2009-07-09 2013-03-05 Seiko Epson Corporation Information input apparatus and information input method
JP2013054647A (en) * 2011-09-06 2013-03-21 Toshiba Tec Corp Medical support system and server device
WO2013080425A1 (en) * 2011-12-01 2013-06-06 パナソニック株式会社 Input device, information terminal, input control method and input control program
WO2014024363A1 (en) * 2012-08-09 2014-02-13 パナソニック株式会社 Display control device, display control method and program
JP5558646B2 (en) * 2012-03-26 2014-07-23 三菱電機株式会社 Sequence program design support device
US8988380B2 (en) 2012-12-28 2015-03-24 Panasonic Intellectual Property Corporation Of America Display apparatus, display method, and display program
JP2015089390A (en) * 2013-11-05 2015-05-11 パナソニックIpマネジメント株式会社 Operation device and washing machine
US9292185B2 (en) 2013-03-08 2016-03-22 Panasonic Intellectual Property Corporation Of America Display device and display method
CN106257393A (en) * 2015-06-16 2016-12-28 株式会社迪思科 Touch-panel device
US9600139B2 (en) 2008-12-17 2017-03-21 Samsung Electronics Co., Ltd. Electronic device and method for implementing user interfaces associated with touch screens
KR101775437B1 (en) * 2015-12-28 2017-09-06 삼성전자 주식회사 Electronic apparatus implementing user interface and method thereof
US9772757B2 (en) 2012-04-23 2017-09-26 Panasonic Intellectual Property Corporation Of America Enlarging image based on proximity of a pointing object to a display screen
CN115997215A (en) * 2020-09-01 2023-04-21 三菱电机楼宇解决方案株式会社 Electrical pattern management device, electrical pattern management system, and electrical pattern management method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246682A (en) * 1991-02-01 1992-09-02 Komatsu Ltd Multi-screen display setting method
JPH1153116A (en) * 1997-07-29 1999-02-26 Internatl Business Mach Corp <Ibm> Information processor with touch panel and control method therefor
JP2001175375A (en) * 1999-12-22 2001-06-29 Casio Comput Co Ltd Portable information terminal and storage medium
JP2005107045A (en) * 2003-09-29 2005-04-21 Casio Comput Co Ltd Photographed image projector, image processing method for the same, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246682A (en) * 1991-02-01 1992-09-02 Komatsu Ltd Multi-screen display setting method
JPH1153116A (en) * 1997-07-29 1999-02-26 Internatl Business Mach Corp <Ibm> Information processor with touch panel and control method therefor
JP2001175375A (en) * 1999-12-22 2001-06-29 Casio Comput Co Ltd Portable information terminal and storage medium
JP2005107045A (en) * 2003-09-29 2005-04-21 Casio Comput Co Ltd Photographed image projector, image processing method for the same, and program

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116823A (en) * 2007-11-09 2009-05-28 Canon Inc Display device, method, and program
JP2010108314A (en) * 2008-10-30 2010-05-13 Pentel Corp Input device
US9600139B2 (en) 2008-12-17 2017-03-21 Samsung Electronics Co., Ltd. Electronic device and method for implementing user interfaces associated with touch screens
US8390590B2 (en) 2009-07-09 2013-03-05 Seiko Epson Corporation Information input apparatus and information input method
CN102470806A (en) * 2009-07-31 2012-05-23 本田技研工业株式会社 Operation system for vehicle
EP2460694A1 (en) * 2009-07-31 2012-06-06 Honda Motor Co., Ltd. Operation system for vehicle
EP2460694A4 (en) * 2009-07-31 2013-01-23 Honda Motor Co Ltd Operation system for vehicle
JP2011034502A (en) * 2009-08-05 2011-02-17 Sony Corp Display device, display method, and program
CN102483668A (en) * 2009-09-02 2012-05-30 日本电气株式会社 Display device
JPWO2011027665A1 (en) * 2009-09-02 2013-02-04 日本電気株式会社 Display device
WO2011027665A1 (en) * 2009-09-02 2011-03-10 日本電気株式会社 Display device
JP5675622B2 (en) * 2009-09-02 2015-02-25 レノボ・イノベーションズ・リミテッド(香港) Display device
KR101442931B1 (en) 2009-09-02 2014-09-23 닛본 덴끼 가부시끼가이샤 Display device
US9753637B2 (en) 2009-12-25 2017-09-05 Sony Corporation Information processing apparatus, information processing method, and program
CN102109952A (en) * 2009-12-25 2011-06-29 索尼公司 Information processing apparatus, information processing method, and program
JP2012181712A (en) * 2011-03-02 2012-09-20 Konica Minolta Business Technologies Inc Image forming device, setting method and setting program
US9058557B2 (en) 2011-03-02 2015-06-16 Konica Minolta, Inc. Image forming apparatus, setting method, and non-transitory computer-readable recording medium encoded with setting program
JP2013054647A (en) * 2011-09-06 2013-03-21 Toshiba Tec Corp Medical support system and server device
WO2013080425A1 (en) * 2011-12-01 2013-06-06 パナソニック株式会社 Input device, information terminal, input control method and input control program
JP5558646B2 (en) * 2012-03-26 2014-07-23 三菱電機株式会社 Sequence program design support device
US9772757B2 (en) 2012-04-23 2017-09-26 Panasonic Intellectual Property Corporation Of America Enlarging image based on proximity of a pointing object to a display screen
JP5126726B1 (en) * 2012-06-19 2013-01-23 株式会社デザイン・クリエィション Graphic processing apparatus, graphic processing method, and program
JP2014035695A (en) * 2012-08-09 2014-02-24 Panasonic Corp Display control device, display control method, and program
US9665216B2 (en) 2012-08-09 2017-05-30 Panasonic Intellectual Property Corporation Of America Display control device, display control method and program
WO2014024363A1 (en) * 2012-08-09 2014-02-13 パナソニック株式会社 Display control device, display control method and program
US8988380B2 (en) 2012-12-28 2015-03-24 Panasonic Intellectual Property Corporation Of America Display apparatus, display method, and display program
US9292185B2 (en) 2013-03-08 2016-03-22 Panasonic Intellectual Property Corporation Of America Display device and display method
JP2015089390A (en) * 2013-11-05 2015-05-11 パナソニックIpマネジメント株式会社 Operation device and washing machine
CN106257393A (en) * 2015-06-16 2016-12-28 株式会社迪思科 Touch-panel device
JP2017004454A (en) * 2015-06-16 2017-01-05 株式会社ディスコ Touch panel device
KR101775437B1 (en) * 2015-12-28 2017-09-06 삼성전자 주식회사 Electronic apparatus implementing user interface and method thereof
CN115997215A (en) * 2020-09-01 2023-04-21 三菱电机楼宇解决方案株式会社 Electrical pattern management device, electrical pattern management system, and electrical pattern management method

Also Published As

Publication number Publication date
JP4849412B2 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
JP4849412B2 (en) Information input display device
JP4093823B2 (en) View movement operation method
EP3355167A1 (en) Method and apparatus for providing character input interface
US20100295806A1 (en) Display control apparatus, display control method, and computer program
KR101391080B1 (en) Apparatus and method for inputting character
EP2154603A2 (en) Display apparatus, display method, and program
US20120218201A1 (en) User-Friendly Process for Interacting with Information Content on Touchscreen Devices
JP5664147B2 (en) Information processing apparatus, information processing method, and program
JP6016555B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP2005044026A (en) Instruction execution method, instruction execution program and instruction execution device
JP5556398B2 (en) Information processing apparatus, information processing method, and program
KR101636665B1 (en) Programmable display device and screen operation processing program therefor
JP2008243128A (en) Touch panel device
KR20060118811A (en) Apparatus and method for displaying input panel without hiding the title of input fields
KR20100028465A (en) The letter or menu input method which follows in drag direction of the pointer
US20160202892A1 (en) Graphical user interface providing virtual super-zoom functionality
JP2010205146A (en) Input device
JP6041742B2 (en) Touch panel display controller
JP4786292B2 (en) Information processing apparatus, hierarchical information output method, and program
EP1376324A2 (en) Information processing apparatus and character input assisting method for use in the same
US8731824B1 (en) Navigation control for a touch screen user interface
JP2012146017A (en) Electronic blackboard system, electronic blackboard system control method, program and recording medium therefor
JP2001195170A (en) Portable electronic equipment, input controller and storage medium
JP2018106434A (en) User interface apparatus and electronic device
JP4143529B2 (en) Information input device, information input method, computer program, and computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111011

R150 Certificate of patent or registration of utility model

Ref document number: 4849412

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees