JP6235349B2 - Display device with touch operation function - Google Patents
Display device with touch operation function Download PDFInfo
- Publication number
- JP6235349B2 JP6235349B2 JP2014005943A JP2014005943A JP6235349B2 JP 6235349 B2 JP6235349 B2 JP 6235349B2 JP 2014005943 A JP2014005943 A JP 2014005943A JP 2014005943 A JP2014005943 A JP 2014005943A JP 6235349 B2 JP6235349 B2 JP 6235349B2
- Authority
- JP
- Japan
- Prior art keywords
- pen
- finger
- mode
- touch
- touch operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
Description
この発明は、タッチ操作機能付表示装置に関し、より詳細には指およびペンによるタッチ操作を識別できるタッチ入力デバイスを有しかつ電子ペンを接続可能な表示装置に関する。 The present invention relates to a display device with a touch operation function, and more particularly to a display device having a touch input device that can identify a touch operation with a finger and a pen and to which an electronic pen can be connected.
近年、スマートフォンやタブレット型の情報処理装置（いわゆるタブレット端末やタブレットＰＣ等）が知られている。あるいはさらに大画面の表示装置であって、一体型あるいはデスクトップコンピュータ本体に接続され例えばデスク上に置かれてユーザの指によるタッチ操作を受付ける表示装置（以下、タッチディスプレイともいう）が知られている。これらの装置は表示画面上で指によるフリック（ページめくり）、スクロール、ピンチ（ズーム）や回転などの操作を行う態様が一般的である。このような指による操作をこの明細書で「指タッチ操作」と呼ぶ。 In recent years, smartphones and tablet-type information processing apparatuses (so-called tablet terminals and tablet PCs) are known. Alternatively, a display device with a larger screen, which is an integrated type or connected to a desktop computer main body and is placed on a desk, for example, and receives a touch operation by a user's finger (hereinafter also referred to as a touch display) is known. . These devices generally have a mode of performing operations such as flicking (page turning), scrolling, pinching (zooming) and rotation with a finger on a display screen. Such a finger operation is referred to as a “finger touch operation” in this specification.
指タッチ操作は道具を用いず操作ができ簡便な操作方法である。しかし、細かな位置指定には適していない。これに対して例えば手書き文字入力やフリーハンドの描画には細い先端部を有するペン状のものを用いた操作（以下、この明細書で「ペンタッチ操作」と呼ぶ）が適している。紙とペンを用いた筆記方法に近い操作方法である。
また、単に細い先端形状を有するだけでなく操作指示を与える操作ボタンや筆圧センサなどを有する電子ペンを接続可能なものもある。
The finger touch operation is a simple operation method that can be operated without using a tool. However, it is not suitable for detailed position designation. On the other hand, for example, an operation using a pen-shaped object having a thin tip (hereinafter referred to as a “pen touch operation” in this specification) is suitable for handwritten character input and freehand drawing. This is an operation method similar to a writing method using paper and a pen.
In addition, some electronic pens not only have a thin tip shape but also can be connected with an operation button for giving an operation instruction, a pen pressure sensor, or the like.
指タッチ操作とペンタッチ操作とはそれぞれに向き不向きがあり、いずれか一つが他を完全に置換できるものでなくむしろ補完的な関係にあるといえる。例えば、ペンタッチ操作は、座標の入力、その入力座標に基づく、線、文字などの入力に適している。一方、指タッチ操作はページ捲り、図形の拡大縮小に適している。 The finger touch operation and the pen touch operation are not suitable for each direction, and it can be said that one of them does not completely replace the other but rather has a complementary relationship. For example, the pen touch operation is suitable for inputting coordinates and inputting lines and characters based on the input coordinates. On the other hand, the finger touch operation is suitable for page turning and figure enlargement / reduction.
指タッチ操作やペンタッチ操作を受付けるタッチ入力デバイスとして従来は、静電容量方式のタッチパネルが多用されている。静電容量方式のタッチパネルは抵抗膜方式や赤外線方式をはじめとする他の方式に比べて安価な構成でマルチタッチを検出できるという利点がある。 Conventionally, a capacitive touch panel has been widely used as a touch input device that accepts a finger touch operation or a pen touch operation. The capacitive touch panel has an advantage that multi-touch can be detected with an inexpensive configuration as compared with other systems such as a resistive film system and an infrared system.
電子ペンと指とを対等に使い分けて並行して使用することができる電子ペンシステムが提案されている（例えば、特許文献１参照）。それによると、制御装置は、位置検出装置から位置検出情報を取得した際に、その位置検出情報が電子ペンおよび指のいずれによるものかを判別する指示物判別部と、電子ペンによるタッチ操作に応じて所定のペン入力処理を行なう第１の制御部と、指のタッチ操作に応じて所定の指入力処理を行なう第２の制御部とを備え、第１の制御部のペン入力処理と第２の制御部の指入力処理とを並行して実行させるようにする。
上記文献には電子ペンによるタッチ操作と指のタッチ操作の２つの操作モードを入力することについては記載されているものの、電子ペンの接続を検出したときの処理と操作モードとの関係については示されていない。
There has been proposed an electronic pen system that can use an electronic pen and a finger on an equal basis in parallel (see, for example, Patent Document 1). According to this, when the position detection information is acquired from the position detection device, the control device performs an indicator determination unit for determining whether the position detection information is from an electronic pen or a finger, and touch operation by the electronic pen. A first control unit that performs a predetermined pen input process in response, and a second control unit that performs a predetermined finger input process in response to a finger touch operation. The finger input processing of the second control unit is executed in parallel.
Although the above document describes inputting two operation modes, that is, a touch operation with an electronic pen and a touch operation with a finger, the relationship between processing when an electronic pen connection is detected and the operation mode is shown. It has not been.
また、タッチモードの切換に関して、指より小さい接触領域のパッシブペンによるパッシブな接触方法に存在する接触検知の感度不足を補うためのアクティブな信号を放射するアクティブペン（電子ペン）に対応し、タッチパネルを制御するタッチパネル制御システムが提案されている（例えば特許文献２参照）。
詳細には、アクティブペンのボタンあるいはソフトウェアインターフェイスによりパッシブペン（ペン先が尖った汎用のスタイラスペン）とアクティブペンのユーザによる手動切替えに対応した制御システムである。当該制御システムは、デフォルト設定ではパッシブペンとしてのタッチモードであるパッシブタッチモードを選択し、アクティブタッチペンがタッチパネルに接触しようとすると、アクティブペンとしてのタッチモードであるアクティブタッチモードに自動的に切替える。さらに、アクティブタッチペンがタッチパネルから離れた後、所定時間が経過したときにパッシブタッチモードの設定へ自動的に戻す。
In addition, regarding touch mode switching, the touch panel supports an active pen (electronic pen) that emits an active signal to compensate for the lack of sensitivity of touch detection existing in the passive touch method with a passive pen in a contact area smaller than a finger. There has been proposed a touch panel control system for controlling (see, for example, Patent Document 2).
Specifically, the control system supports manual switching by a user of a passive pen (a general-purpose stylus pen with a pointed pen) and an active pen by a button or software interface of the active pen. The control system selects a passive touch mode that is a touch mode as a passive pen by default, and automatically switches to an active touch mode that is a touch mode as an active pen when the active touch pen attempts to touch the touch panel. Furthermore, after the active touch pen leaves the touch panel, it automatically returns to the passive touch mode setting when a predetermined time has elapsed.
ペンを用いてユーザがタッチディスプレイに手書き文字入力する場合、紙とペンを用いる従来の筆記方法に近い操作方法が自然である。その場合、タッチディスプレイにペン先と掌や手首とが同時にタッチする状態が生じる。
特に小さな文字を入力する場合、我々は掌や手首をタッチディスプレイ上に置いてペンを安定させた状態でペン先を移動させて軌跡を描く。そうするとタッチパネルは、掌や手首のタッチとペン先のタッチとを同時に検出することになる。この操作はマルチタッチによるズームや回転等の操作との判別がむずかしい。
When a user inputs handwritten characters on a touch display using a pen, an operation method close to a conventional writing method using paper and a pen is natural. In that case, a state occurs in which the pen tip, the palm, and the wrist touch the touch display at the same time.
In particular, when inputting small characters, we place the palm or wrist on the touch display and move the pen tip in a stable state to draw a locus. Then, the touch panel simultaneously detects the touch of the palm or wrist and the touch of the pen tip. This operation is difficult to distinguish from operations such as zoom and rotation by multi-touch.
そこで、ペンタッチ操作と指タッチ操作とを受付ける指・ペンモードのほかに、指タッチ操作を受付けてペンタッチ操作を無視する指専用モード、ペンタッチを受付けて指タッチ操作を無視するペン専用モードの各種タッチモードを設けるものがある。ユーザは自らの意志で何れか一つのタッチモードを選択し、必要に応じてタッチモードを切替えて入力を行う。例えば、細かな文字の手書き入力を行うとき、ユーザはペン専用モードを選択したうえで電子ペンやペン先が尖った汎用のスタイラスペンを用いて文字を書けばよい。一方、文字入力の必要がないときは簡便な指タッチ操作を行うべく指専用モードまたは指・ペンモードを選択すればよい。 Therefore, in addition to the finger / pen mode that accepts pen touch operations and finger touch operations, various types of touches are available: finger-only mode that accepts finger touch operations and ignores pen touch operations, and pen-only mode that accepts pen touches and ignores finger touch operations. Some provide a mode. The user selects any one touch mode at his / her own will, and performs input by switching the touch mode as necessary. For example, when performing handwritten input of fine characters, the user may select a pen-only mode and then write the characters using an electronic pen or a general-purpose stylus with a pointed tip. On the other hand, when it is not necessary to input characters, the finger only mode or the finger / pen mode may be selected to perform a simple finger touch operation.
しかし、これらのタッチモードを設けたことに伴って、ユーザに違和感を与えないようにタッチモードを制御することが課題になる。さらに、操作に用いるペンとして汎用のスタイラスペンだけではなく電子ペンが使用可能なものは、電子ペンの操作ボタンによる操作指示をいつ有効にしていつ無効にするかについてもユーザに違和感を与えない制御が課題になる。
この発明は、以上のような事情を考慮してなされたものであって、入力操作に係るモードおよび電子ペンによる入力をユーザに違和感を与えないように制御できるタッチ操作機能付表示装置を提供するものである。
However, with the provision of these touch modes, it becomes a problem to control the touch modes so as not to give the user a sense of incongruity. Furthermore, not only a general-purpose stylus pen but also an electronic pen that can be used as a pen for operation does not give a sense of incongruity to the user as to when and when to invalidate operation instructions using the operation buttons of the electronic pen Becomes an issue.
The present invention has been made in view of the above circumstances, and provides a display device with a touch operation function capable of controlling a mode related to an input operation and an input with an electronic pen so as not to give the user a sense of incongruity. Is.
この発明は、ペンタッチ操作および指タッチ操作を識別可能に検出するタッチ入力デバイスと、前記タッチ入力デバイスによる検出がペンタッチ操作か指タッチ操作かを判定する処理を行いかつペンタッチ操作を無視する指専用モード、指タッチ操作を無視するペン専用モードおよびペンタッチ操作と指タッチ操作とを受付ける指・ペンモードのユーザによる選択を受付ける処理部と、操作用の電子ペンが接続されたときにその電子ペンからの信号を受けるペン接続部とを備え、前記電子ペンは前記タッチ入力デバイスを介したペンタッチ操作のほかに前記ペン接続部を介した操作指示を入力し得るものであり、前記処理部は、指・ペンモードが選択されかつ指タッチ操作を受付けている期間および指専用モードが選択されている期間は前記電子ペンによる入力を無視し、ペン専用モード中および指・ペンモード中に前記電子ペンが接続された後は前記電子ペンによる入力を受付けるが、指専用モード中は前記電子ペンが接続されても前記電子ペンによる入力の無視を継続することを特徴とするタッチ操作機能付表示装置を提供する。 The present invention relates to a touch input device that detects a pen touch operation and a finger touch operation in an identifiable manner, and a finger only mode that performs a process of determining whether the detection by the touch input device is a pen touch operation or a finger touch operation and ignores the pen touch operation , A pen-only mode that ignores finger touch operations, and a processing unit that accepts selection by the user in the finger / pen mode that accepts pen touch operations and finger touch operations, and an electronic pen for operation when connected to the electronic pen A pen connection unit that receives a signal, and the electronic pen can input an operation instruction through the pen connection unit in addition to a pen touch operation through the touch input device. The period when the pen mode is selected and the finger touch operation is accepted and the period when the finger only mode is selected Ignores input from child pens and accepts input from the electronic pen after the electronic pen is connected during the pen-only mode and the finger / pen mode, but even if the electronic pen is connected during the finger-only mode Provided is a display device with a touch operation function, characterized by continuing to ignore input by the electronic pen.
この発明において、処理部は指・ペンモードが選択されかつ指タッチ操作を受付けている期間および指専用モードが選択されている期間は前記電子ペンによる入力を無視し、ペン専用モード中および指・ペンモード中に前記電子ペンが接続された後は前記電子ペンによる入力を受付けるが、指専用モード中は前記電子ペンが接続されても前記電子ペンによる入力の無視を継続するので、入力操作に係るモードおよび電子ペンによる入力をユーザに違和感を与えないように制御できる。 In the present invention, the processing unit ignores the input by the electronic pen during the period in which the finger / pen mode is selected and the finger touch operation is accepted and the period in which the finger only mode is selected. After the electronic pen is connected during the pen mode, the input by the electronic pen is accepted. However, during the finger only mode, the input by the electronic pen is ignored even if the electronic pen is connected. It is possible to control the mode and the input with the electronic pen so as not to give the user a feeling of strangeness.
特に近年の情報処理装置はいわゆるプラグ・アンド・プレイの機能が普及し、電子ペン等の入力機器が接続されるとその接続に応答して入力操作を切替えることは当然のこととしてユーザに受け入れられるものと予想される。しかし、モード選択の操作はユーザの意図が明白であるのに対して、機器の接続はユーザがその機器の即時使用を意図したものが明白であるとまではいえず、単に準備のための接続であるかもしれない。このような一種の曖昧さを伴う事象についてはユーザに違和感を与えない制御が好ましいところ、この発明によれば入力操作に係るモードおよび電子ペンによる入力がユーザに違和感を与えないように制御される。 In particular, information processing apparatuses in recent years have a so-called plug and play function, and when an input device such as an electronic pen is connected, it is natural that a user can switch an input operation in response to the connection. Expected. However, while the user's intention is clear in the mode selection operation, it cannot be said that the connection of the device is obvious that the user intends to use the device immediately. May be. It is preferable to control such a kind of ambiguity that does not give the user a sense of incongruity. According to the present invention, the mode related to the input operation and the input with the electronic pen are controlled so as not to give the user a sense of incongruity. .
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
（実施の形態１）
まず、この発明のタッチ操作機能付表示装置の外観例と使用例について述べる。
図１は、この発明のタッチ操作機能付表示装置の一例を示す外観図である。（ａ）は表示面に対して正面、左側方および上方から見た三面図であり、（ｂ）はフラップが立てられて水平面におかれた状態を示す側面図である。
Hereinafter, the present invention will be described in more detail with reference to the drawings. In addition, the following description is an illustration in all the points, Comprising: It should not be interpreted as limiting this invention.
(Embodiment 1)
First, an appearance example and a usage example of the display device with a touch operation function of the present invention will be described.
FIG. 1 is an external view showing an example of a display device with a touch operation function according to the present invention. (A) is a three-view figure seen from the front, left side, and upper direction with respect to a display surface, (b) is a side view which shows the state which put the flap in the horizontal surface.
図１に示すように、表示装置１１は、表示部１３とそれを囲むベゼル１５、背面カバー１７を備えており、背面カバー１７の一部には格納式のフラップ１９が形成されている。フラップ１９を背面カバー１７から起こして立てると、図１（ｂ）に示すように表示部１３の奥側が手前側よりも高い状態で水平面に置くことができる。
また、右側面には電源／メニューボタン２１が配置されており、電源オフ状態のときに押されると電源オン状態に遷移する。電源オン状態にあるときベゼル１５の右下隅にある電源ランプ２３が点灯する。電源オン状態のときに約２秒長押しされると電源オフ状態に遷移する。電源オフ状態になると電源ランプ２３が消灯する。
さらに、電源オン状態で電源／メニューボタン２１が短い期間（約１秒以内）押されると、表示装置１１の設定を行うためのメニュー画面（図６参照）が表示部１３に表示される。メニュー画面が表示された状態で短い期間押されると、メニュー画面が消える。
As shown in FIG. 1, the display device 11 includes a display unit 13, a bezel 15 surrounding the display unit 13, and a back cover 17, and a retractable flap 19 is formed on a part of the back cover 17. When the flap 19 is raised from the back cover 17 and stood up, as shown in FIG. 1B, the back side of the display unit 13 can be placed on a horizontal plane in a state higher than the near side.
Further, a power / menu button 21 is arranged on the right side surface, and when pressed in the power-off state, the power-on state is changed. When the power is on, the power lamp 23 at the lower right corner of the bezel 15 is turned on. When pressed for about 2 seconds in the power-on state, the power-off state is entered. When the power is turned off, the power lamp 23 is turned off.
Further, when the power / menu button 21 is pressed for a short period (within about 1 second) in the power-on state, a menu screen (see FIG. 6) for setting the display device 11 is displayed on the display unit 13. If pressed for a short time with the menu screen displayed, the menu screen disappears.
表示装置１１は、表示内容を制御し記憶するコンピュータ本体を内蔵したいわゆるタブレット端末あるいは配信されるコンテンツを受信する受信部を内蔵したスマートテレビであってもよいし、外部のコンピュータ本体に有線あるいは無線で接続されたコンピュータディスプレイであってもよい。 The display device 11 may be a so-called tablet terminal with a built-in computer main body that controls and stores display contents, or a smart TV with a built-in receiving unit for receiving distributed content, or may be wired or wirelessly connected to an external computer main body. It may be a computer display connected by.
図２は、図１の表示装置１１の使用状態の一例を示す説明図である。図２に示す使用状態は、伝統的なデスクトップコンピュータの周辺機器としての使用形態である。ただし、タッチ操作機能付のディスプレイ装置としての使用形態である。コンピュータ本体３１、キーボード３３、マウス３５と組合せて用いられ、オペレータがデスクに向かって座った状態で見やすいようにスタンド３７にセットされ、表示面が垂直からやや後方に傾いた角度にある。 FIG. 2 is an explanatory diagram showing an example of a usage state of the display device 11 of FIG. The usage state shown in FIG. 2 is a usage form as a peripheral device of a traditional desktop computer. However, it is a usage form as a display device with a touch operation function. It is used in combination with the computer main body 31, keyboard 33, and mouse 35, and is set on a stand 37 so that the operator can easily see it while sitting at the desk, and the display surface is inclined slightly backward from the vertical.
図３は、図１の表示装置１１の異なる使用状態の一例を示す説明図である。図３に示すように、例えばテーブルを介して対面する相手との間に表示装置１１を略水平な状態で置いて資料等を表示させ、指タッチでズームやページ送り等の操作を行いつつ説明を行う使い方である。 FIG. 3 is an explanatory diagram showing an example of different usage states of the display device 11 of FIG. As shown in FIG. 3, for example, the display device 11 is placed in a substantially horizontal state with an opponent facing through a table to display materials and the like, and the operation such as zooming and page turning is performed by finger touch. It is a usage to do.
図４は、図３に示すような略水平な状態にある表示装置１１にペン４１を用いて操作を行う様子を示す説明図である。ペン４１は、電子ペンであってもよいし汎用のスタイラスペンであってもよい。手書き文字入力を行う場合ユーザは、手４３の手首や掌を表示部上に置いた状態でペン４１のペン先を表示部上で移動させる。このときタッチパネルはタッチ面積の大きい手４３とタッチ面積の小さいペン４１のタッチを同時に検出する。手書き文字入力を正しく検出するためには、手４３のタッチを無視してペン４１のタッチを検出することが必要である。 FIG. 4 is an explanatory diagram showing a state where the pen 41 is used to operate the display device 11 in a substantially horizontal state as shown in FIG. The pen 41 may be an electronic pen or a general-purpose stylus pen. When inputting handwritten characters, the user moves the pen tip of the pen 41 on the display unit with the wrist or palm of the hand 43 placed on the display unit. At this time, the touch panel simultaneously detects the touch of the hand 43 having a large touch area and the pen 41 having a small touch area. In order to correctly detect handwritten character input, it is necessary to ignore the touch of the hand 43 and detect the touch of the pen 41.
図５は、図１に示す表示装置１１の電気的構成を示すブロック図である。図５に示すように、表示装置１１は、タッチ入力デバイスとしての静電容量型のタッチパネル５１、液晶表示パネルを用いた表示部１３、ペン４１からの信号が接続されるペン接続部５５および複数のマイクロコンピュータなどで構成される処理部６３を含む。 FIG. 5 is a block diagram showing an electrical configuration of the display device 11 shown in FIG. As illustrated in FIG. 5, the display device 11 includes a capacitive touch panel 51 as a touch input device, a display unit 13 using a liquid crystal display panel, a pen connection unit 55 to which a signal from a pen 41 is connected, and a plurality of display units. A processing unit 63 composed of a microcomputer or the like.
図５に示すペン４１は、ペン先の尖った単なるスタイラスペンではなく表示装置１１へ信号を送る電子ペンである。ペン接続部５５の具体的態様としてはＵＳＢ（Universal Serial Bus）の規格に基づいて表示装置１１と信号をやり取りするものである。ただし、ペン接続部５５の態様はＵＳＢに限らず、他の規格や独自のものであってもよい。さらに、有線に限らず、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の規格に基づく無線による接続であってもよい。また、図５にペン４１の詳細を図示していないが、ペン４１は、ユーザの操作指示を受付けるための操作ボタンを有しており、その操作ボタンが受付けた操作の信号は、ペン接続部５５を介して処理部６３に伝達される。 A pen 41 shown in FIG. 5 is not a simple stylus pen with a sharp tip but an electronic pen that sends a signal to the display device 11. As a specific mode of the pen connection unit 55, signals are exchanged with the display device 11 based on the USB (Universal Serial Bus) standard. However, the mode of the pen connection unit 55 is not limited to USB, and may be other standards or unique. Further, the connection is not limited to a wired connection, but may be a wireless connection based on a standard such as Bluetooth (registered trademark). Although details of the pen 41 are not shown in FIG. 5, the pen 41 has an operation button for receiving a user operation instruction, and an operation signal received by the operation button is a pen connection unit. The data is transmitted to the processing unit 63 via 55.
処理部６３は、タッチ入力制御部５３、操作処理部５７、ユーザーインターフェイス処理部５９および映像処理部６１からなる。
タッチ入力制御部５３は、タッチパネル５１を制御してタッチ入力の検出を行う。
操作処理部５７は、タッチ入力制御部５３により検出されたタッチ操作とペン接続部５５が受けた操作指示に基づいて入力操作に係る処理を行う。入力操作の内容に応じてソース機器６５およびユーザーインターフェイス処理部５９に操作を知らせる。
ユーザーインターフェイス処理部５９は、表示装置１１の設定や操作モードに関する処理を行う。
The processing unit 63 includes a touch input control unit 53, an operation processing unit 57, a user interface processing unit 59, and a video processing unit 61.
The touch input control unit 53 controls the touch panel 51 to detect touch input.
The operation processing unit 57 performs processing related to the input operation based on the touch operation detected by the touch input control unit 53 and the operation instruction received by the pen connection unit 55. According to the content of the input operation, the source device 65 and the user interface processing unit 59 are notified of the operation.
The user interface processing unit 59 performs processing related to the setting of the display device 11 and the operation mode.
映像処理部６１は、ソース機器６５から受けた表示内容を表示部１３に表示させる処理を行う。また、ユーザーインターフェイス処理部５９から受けた表示装置１１のメニュー画面および状態表示を表示部１３に表示させる処理を行う。
また、図５に図示していないが、ソース機器６５から音声信号を受けて処理し、音声信号を出力する音声信号回路やスピーカーを備えていてもよい。
ハードウェア構成としては、例えばタッチ入力制御部５３および操作処理部５７の機能をそれぞれ独立したマイクロコンピュータに割り当て互いにデータをやり取りしながら処理を行わせてもよい。さらに、ユーザーインターフェイス処理部５９と映像処理部６１とをマイクロコンピュータを含む映像処理用の集積回路で構成してもよい。
The video processing unit 61 performs processing for displaying the display content received from the source device 65 on the display unit 13. In addition, the display unit 11 displays the menu screen and status display of the display device 11 received from the user interface processing unit 59.
Although not shown in FIG. 5, an audio signal circuit or a speaker that receives and processes an audio signal from the source device 65 and outputs the audio signal may be provided.
As a hardware configuration, for example, the functions of the touch input control unit 53 and the operation processing unit 57 may be assigned to independent microcomputers to perform processing while exchanging data with each other. Further, the user interface processing unit 59 and the video processing unit 61 may be configured by an integrated circuit for video processing including a microcomputer.
さらに詳細な処理を述べる。
タッチ入力制御部５３として処理を行うマイクロコンピュータ（タッチコントロールマイコン）は、タッチパネル５１とのインターフェイス回路を介してタッチパネル５１の容量センス値を取得する。そして、容量センス値の瞬時的な変動（ノイズ）を除去する。さらに、タッチ操作を検出したときタッチの位置およびタッチ面積を得、さらにタッチ面積の大きさを予め定められた閾値と比較して指タッチとペンタッチを判定する。そして、指・ペンモードにおいて例えば図４に示すような操作によって指タッチ操作とペンタッチ操作がほぼ同時に検出された場合に先にペンタッチ操作が検出された場合はペンタッチ操作を優先し後から検出された指タッチ操作を無視する処理を行う。逆に先に指タッチ操作が検出された場合は後から検出されたペンタッチ操作を無視する。
Further detailed processing will be described.
A microcomputer (touch control microcomputer) that performs processing as the touch input control unit 53 acquires a capacitance sense value of the touch panel 51 via an interface circuit with the touch panel 51. Then, instantaneous fluctuation (noise) of the capacitance sense value is removed. Furthermore, when a touch operation is detected, a touch position and a touch area are obtained, and the size of the touch area is compared with a predetermined threshold value to determine finger touch and pen touch. In the finger / pen mode, for example, when the finger touch operation and the pen touch operation are detected almost simultaneously by the operation shown in FIG. 4, the pen touch operation is prioritized and detected later. Performs processing to ignore finger touch operations. Conversely, if a finger touch operation is detected first, the pen touch operation detected later is ignored.
そして、タッチ操作に係るデータを予め定められた様式に従って生成し、操作処理部５７へ送る。予め定められた様式のデータとは、例えば、ソース機器６５で稼働するオペレーティングシステムで定められた様式のタッチ操作に係るデータである。
操作処理部５７として処理を行うマイクロコンピュータ（ＵＳＢコントロールマイコン）は、タッチ入力制御部５３から送られるタッチ操作に係るデータおよびペン接続部５５から送られる操作指示を受けてそれらの操作を整合させあるいは調停する処理を行う。そして、操作の内容に応じてソース機器６５およびユーザーインターフェイス処理部５９へ操作情報を出力する。入力操作が、表示装置１１のメニュー画面（詳細は後述する）に対する操作であればユーザーインターフェイス処理部５９へ操作情報を出力し、それ以外の操作であればソース機器６５へ出力する。
Then, data related to the touch operation is generated according to a predetermined format and sent to the operation processing unit 57. Data in a predetermined format is, for example, data related to a touch operation in a format determined by an operating system that operates on the source device 65.
The microcomputer (USB control microcomputer) that performs processing as the operation processing unit 57 receives the data related to the touch operation sent from the touch input control unit 53 and the operation instruction sent from the pen connection unit 55, or matches those operations. Perform arbitration processing. Then, operation information is output to the source device 65 and the user interface processing unit 59 according to the content of the operation. If the input operation is an operation on a menu screen (details will be described later) of the display device 11, operation information is output to the user interface processing unit 59, and if it is any other operation, it is output to the source device 65.
ユーザーインターフェイス処理部５９および映像処理部６１としての処理を行う映像処理用の集積回路（スケーラー）は次の処理を行う。
まず、ユーザーインターフェイス処理部５９としてオンスクリーンディスプレイ（ＯＳＤ表示とも呼び、表示装置１１のメニュー画面および状態表示を指す）を表示部１３に表示させる処理を行う。そして、前記メニュー画面に対する操作として操作処理部５７から送られる操作情報を受けて表示装置１１のタッチモードの切替え、ＯＳＤ表示の更新やその他の処理を行う。
The integrated circuit (scaler) for video processing that performs processing as the user interface processing unit 59 and the video processing unit 61 performs the following processing.
First, as the user interface processing unit 59, an on-screen display (also referred to as OSD display, which indicates the menu screen and status display of the display device 11) is displayed on the display unit 13. In response to the operation information sent from the operation processing unit 57 as an operation for the menu screen, the touch mode of the display device 11 is switched, the OSD display is updated, and other processing is performed.
また、スケーラーは、映像処理部６１としてソース機器６５から送られる映像信号のキャプチャリングを行い、スケーリング処理、３×３Matrix処理（画質処理）、γ処理等映像信号に係る処理を行う。
さらに、ソース機器６５とのケーブル接続の検出とそれに応答した入力切換の処理、映像信号のタイミング制御処理、表示部１３のバックライト制御等を行う。
また、スケーラーは、ソース機器６５から送られる音声信号に係る処理を行ってもよい。
The scaler also captures a video signal sent from the source device 65 as the video processing unit 61, and performs processing related to the video signal such as scaling processing, 3 × 3 matrix processing (image quality processing), and γ processing.
Further, detection of cable connection with the source device 65 and input switching processing in response thereto, timing control processing of the video signal, backlight control of the display unit 13 and the like are performed.
The scaler may perform processing related to the audio signal sent from the source device 65.
表示部１３は、例えば液晶表示パネルや有機ＥＬ表示パネルなどを用いた表示デバイスである。
図５に示す表示装置１１には、外部のソース機器６５が接続される。表示部１３に表示させるコンテンツは主にソース機器６５が提供する。ソース機器６５の具体的な態様の典型例としては図２に示すコンピュータ本体３１が挙げられる。ただし、この発明の表示装置は図５の態様に限るものでなく、ソース機器６５に相当する機能を内蔵していてもよい。
The display unit 13 is a display device using, for example, a liquid crystal display panel or an organic EL display panel.
An external source device 65 is connected to the display device 11 shown in FIG. The content displayed on the display unit 13 is mainly provided by the source device 65. A typical example of the specific mode of the source device 65 is the computer main body 31 shown in FIG. However, the display device of the present invention is not limited to the mode of FIG. 5, and may have a function corresponding to the source device 65.
図６は、ユーザーインターフェイス処理部５９が表示部１３にＯＳＤ表示させるメニュー画面および状態表示の一例を示す説明図である。（ａ）は、電源オン状態で電源／メニューボタン２１が押されたことに応答してユーザーインターフェイス処理部５９が表示部１３に表示させるメニュー画面の例であり、（ｂ）は、メニュー画面により設定された表示装置１１の状態を表示する状態表示の例である。
図６（ａ）に示すように、ユーザーインターフェイス処理部５９は、メニュー画面として７種類のアイコンを表示部１３に表示させる。左端から順に設定アイコン２５ａ、入力切替アイコン２５ｂ、音量アイコン２５ｃ、ローテートアイコン２５ｄ、指専用モードアイコン２５ｅ、ペン専用モードアイコン２５ｆおよび指・ペンモードアイコン２５ｇである。
FIG. 6 is an explanatory diagram showing an example of a menu screen and status display that the user interface processing unit 59 causes OSD display on the display unit 13. (A) is an example of a menu screen that the user interface processing unit 59 displays on the display unit 13 in response to the power / menu button 21 being pressed in the power-on state, and (b) is a menu screen. It is an example of the status display which displays the set status of the display device 11.
As shown in FIG. 6A, the user interface processing unit 59 causes the display unit 13 to display seven types of icons as a menu screen. A setting icon 25a, an input switching icon 25b, a volume icon 25c, a rotate icon 25d, a finger-only mode icon 25e, a pen-only mode icon 25f, and a finger / pen-mode icon 25g in order from the left end.
設定アイコン２５ａがタッチされると、それに応答してユーザーインターフェイス処理部５９は、表示装置１１の設定を行う下位の設定メニューアイコンを表示部１３に表示させてユーザによる設定を受付ける。設定メニューの具体例としては、表示部１３のコントラスト等の画質調整、バックライトの明るさ調整、メニュー画面にアイコンと共に表示させる言語の選択などがある。
入力切替アイコン２５ｂがタッチされると、それに応答してユーザーインターフェイス処理部５９は、ソース機器６５からの信号入力先を切替える。信号入力先としては、図５に図示していないが、例えばHDMI端子とDisplayPort端子が選択可能である。
When the setting icon 25a is touched, in response to this, the user interface processing unit 59 displays a lower setting menu icon for setting the display device 11 on the display unit 13 and accepts the setting by the user. Specific examples of the setting menu include image quality adjustment such as contrast of the display unit 13, backlight brightness adjustment, and selection of a language to be displayed with an icon on the menu screen.
When the input switching icon 25b is touched, the user interface processing unit 59 switches the signal input destination from the source device 65 in response to the touch. As a signal input destination, although not shown in FIG. 5, for example, an HDMI terminal and a DisplayPort terminal can be selected.
音量アイコン２５ｃがタッチされると、それに応答してユーザーインターフェイス処理部５９は、図示しないスピーカーやヘッドホン出力端子の音量を調整する。
ローテートアイコン２５ｄがタッチされると、それに応答してユーザーインターフェイス処理部５９は、表示部１３の画面表示を180°回転させる。これは、図３に示すように対面して使用するときに説明者が画面設定を行った後相手方に見せるときに使用する。画面を180°回転させているときユーザーインターフェイス処理部５９は、図６（ｂ）に示すローテートマーク２７を表示部１３に表示させる。再度ローテートアイコンがタッチされると、それに応答してユーザーインターフェイス処理部５９は、表示部１３の画面表示を元の状態に戻してローテートマーク２７を消す。
When the volume icon 25c is touched, the user interface processing unit 59 adjusts the volume of a speaker or a headphone output terminal (not shown) in response to the touch.
When the rotate icon 25d is touched, in response to this, the user interface processing unit 59 rotates the screen display of the display unit 13 by 180 °. This is used when the presenter shows the other party after setting the screen when facing and using it as shown in FIG. When the screen is rotated by 180 °, the user interface processing unit 59 causes the display unit 13 to display the rotate mark 27 shown in FIG. When the rotate icon is touched again, in response, the user interface processing unit 59 returns the screen display of the display unit 13 to the original state and erases the rotate mark 27.
指専用モードアイコン２５ｅ、ペン専用モードアイコン２５ｆおよび指・ペンモードアイコン２５ｇの何れかのアイコンがタッチされると、それに応答してユーザーインターフェイス処理部５９は、タッチされたアイコンに対応するタッチモードへの切替えを行う。そして、選択されたタッチモードに対応するタッチマーク２６を表示部１３に表示させる。図６（ｂ）は指・ペンモードが選択されて指・ペンマークが表示された状態を示しているがそれは一例であり、ユーザーインターフェイス処理部５９はペン専用モードが選択されているときはペン専用マーク、指専用モードが選択されているときは指専用マークをその位置に表示させる。 When any one of the finger-only mode icon 25e, the pen-only mode icon 25f, and the finger / pen-mode icon 25g is touched, the user interface processing unit 59 responds to the touch mode corresponding to the touched icon. Switch. Then, the touch mark 26 corresponding to the selected touch mode is displayed on the display unit 13. FIG. 6B shows a state in which the finger / pen mode is selected and the finger / pen mark is displayed. This is an example, and the user interface processing unit 59 displays the pen when the pen-only mode is selected. When the dedicated mark or finger only mode is selected, the finger only mark is displayed at that position.
≪電子ペンの接続によるペンタッチ操作および操作指示の受付け≫
ユーザは図６（ａ）に示すメニュー画面の指専用モードアイコン２５ｅ、ペン専用モードアイコン２５ｆおよび指・ペンモードアイコン２５ｇをタッチすることによって手動でタッチモードを選択することができる。
≪Accept pen touch operation and operation instruction by connecting electronic pen≫
The user can manually select the touch mode by touching the finger only mode icon 25e, the pen only mode icon 25f, and the finger / pen mode icon 25g on the menu screen shown in FIG.
それとは別に、ユーザーインターフェイス処理部５９は、ペン接続部５５にペン４１が接続されたときにタッチモードを切替える処理を行う。ペン接続部５５へのペン４１の接続はユーザによって行われる操作であるため、そこにユーザの意志があると考えるのは合理的である。ペン４１がペン接続部５５に接続されたことは、ペン４１を使用するというユーザの意志の表われと考えられる。ただし、ペン接続部５５への接続がペン４１の即時使用の意志と考えるのはやや早計であるといえる。使用の準備かもしれないし、誤って接続が外れたのを単に元の状態に戻しただけかもしれない。特に、無線の場合は周囲の電波環境等に起因して一時的に接続が途切れることもあり得る。 Separately, the user interface processing unit 59 performs a process of switching the touch mode when the pen 41 is connected to the pen connection unit 55. Since the connection of the pen 41 to the pen connection unit 55 is an operation performed by the user, it is reasonable to consider that the user's will is there. The fact that the pen 41 is connected to the pen connection unit 55 is considered to express the user's will to use the pen 41. However, it can be said that the connection to the pen connection unit 55 is considered to be an immediate use of the pen 41. It may be ready for use, or it may simply have been restored to its original state if it was accidentally disconnected. In particular, in the case of wireless communication, the connection may be temporarily interrupted due to the surrounding radio wave environment or the like.
そこで、この実施形態でユーザーインターフェイス処理部５９は、ペン専用モード中および指・ペンモードが選択されているときにペン４１がペン接続部５５に接続された後はペン４１による入力を受付けるが、指・ペンモードが選択されかつ指タッチ操作を受付けている期間はペン４１による入力を無視する。いま、指タッチ操作を受付けているということは、ユーザが指タッチ操作を行う意志があると考えられる。よって、指タッチ操作の受付けを優先させるのである。さらに、指専用モードが選択されている期間は、ペン４１による入力を無視する。指専用モードは、メニュー画面の指専用モードアイコン２５ｅをユーザがタッチした結果であるので、そのユーザの意志を優先させるのである。ここで、ペン４１による入力とは、タッチパネル５１を介したペンタッチ操作の入力およびペン接続部５５を介した操作指示の入力である。 Therefore, in this embodiment, the user interface processing unit 59 receives input from the pen 41 after the pen 41 is connected to the pen connection unit 55 in the pen-only mode and when the finger / pen mode is selected. During the period when the finger / pen mode is selected and the finger touch operation is accepted, the input by the pen 41 is ignored. Now, accepting the finger touch operation is considered to be the intention of the user to perform the finger touch operation. Therefore, priority is given to accepting a finger touch operation. Further, the input by the pen 41 is ignored during the period when the finger only mode is selected. Since the finger only mode is a result of the user touching the finger only mode icon 25e on the menu screen, the will of the user is given priority. Here, the input by the pen 41 is an input of a pen touch operation via the touch panel 51 and an input of an operation instruction via the pen connection unit 55.
また、ユーザーインターフェイス処理部５９は、指・ペンモードが選択されているときにペン４１がペン接続部５５に接続された後はその接続に応答してタッチモードをペン専用モードに切替える。図４に示すような水平置き状態でペン４１を用いて手書き文字入力を行う場合ユーザは、手４３の手首や掌を表示部上に置いた状態でペン４１のペン先を表示部上で移動させる。手書き文字入力を正しく検出するためには、手４３のタッチを無視してペン４１のタッチを検出することが必要であるところ、指・ペンモードではタッチ入力制御部５３が手首や掌のタッチを先に検出してしまうと、ペンタッチ操作を無視してしまうからである。 In addition, after the pen 41 is connected to the pen connection unit 55 when the finger / pen mode is selected, the user interface processing unit 59 switches the touch mode to the pen-only mode in response to the connection. When inputting handwritten characters using the pen 41 in the horizontal state as shown in FIG. 4, the user moves the pen tip of the pen 41 on the display unit with the wrist or palm of the hand 43 placed on the display unit. Let In order to correctly detect handwritten character input, it is necessary to ignore the touch of the hand 43 and detect the touch of the pen 41. In the finger / pen mode, the touch input control unit 53 performs touch of the wrist or palm. This is because the pen touch operation is ignored if it is detected first.
一方、指専用モードが選択されているときにペン４１がペン接続部５５に接続された後は、ユーザーインターフェイス処理部５９は、タッチモードをペン専用モードに切替えることはせずに指専用モードを継続する。指専用モードは、メニュー画面の指専用モードアイコン２５ｅをユーザがタッチした結果であるので、そのユーザの意志を優先させるのである。なお、ペン専用モード中にペン４１がペン接続部５５に接続された後はペン専用モードを継続する。 On the other hand, after the pen 41 is connected to the pen connection unit 55 when the finger only mode is selected, the user interface processing unit 59 switches the finger only mode without switching the touch mode to the pen only mode. continue. Since the finger only mode is a result of the user touching the finger only mode icon 25e on the menu screen, the will of the user is given priority. Note that after the pen 41 is connected to the pen connection unit 55 during the pen-only mode, the pen-only mode is continued.
なお、表示装置１１が、図３のような水平置きの状態かあるいは図２のような縦置きの状態かを検出する手段をさらに備え、水平置きの場合でかつ指・ペンモード中に前記電子ペンが接続された後はその接続に応答してペン専用モードに切替えるようにしてもよい。そして、水平置きでない場合かつ指・ペンモード中に前記電子ペンが接続された後は指・ペンモードを継続するようにしてもよい。水平置きモードでない場合は、手首や掌を表示部上に置いた状態でペン４１による手書き入力を行うことがあまりないと考えられ、また、手書き入力を行う場合でもペンタッチを先に検出することが多いと考えられるからである。 The display device 11 further includes means for detecting whether the display device 11 is in a horizontal position as shown in FIG. 3 or a vertical position as shown in FIG. 2, and the electronic device is in the horizontal position and in the finger / pen mode. After the pen is connected, the pen-only mode may be switched in response to the connection. Then, when the electronic pen is connected in the finger / pen mode when not horizontally placed, the finger / pen mode may be continued. When not in the horizontal placement mode, it is considered that handwriting input with the pen 41 is not often performed with the wrist or palm placed on the display unit, and even when handwriting input is performed, the pen touch can be detected first. It is because it is thought that there are many.
≪ペン入力の受付およびタッチモード切り替えの処理≫
続いて、ユーザーインターフェイス処理部５９が実行するペン入力の受付およびタッチモード切り替えの処理について説明する。
図７および図８は、この実施形態におけるユーザーインターフェイス処理部５９が実行する処理のうちペン入力の受付およびタッチモード切り替えに関連する処理を抜粋してその流れを示すフローチャートである。指入力の受付けを含む他の処理は単純化のために省略している。以下、フローチャートに沿って処理を説明する。
≪Pen input acceptance and touch mode switching process≫
Next, the pen input acceptance and touch mode switching processing executed by the user interface processing unit 59 will be described.
FIG. 7 and FIG. 8 are flowcharts showing the flow of excerpts of processes related to pen input reception and touch mode switching among the processes executed by the user interface processing unit 59 in this embodiment. Other processes including acceptance of finger input are omitted for simplicity. Hereinafter, the processing will be described with reference to the flowchart.
ユーザーインターフェイス処理部５９は電源オン状態に移行したら、現在のタッチモードに応じてペン入力許可フラグをセットまたはリセットする。ここで、タッチモードは電源オフ状態になっても保持されることを前提としている。また、ペン入力許可フラグは、タッチ入力制御部５３に対してペン４１の入力を受付けるか無視するかを指示するフラグである。ペン入力許可フラグがセットされた状態でタッチ入力制御部５３はペン４１の入力を受付ける。一方、ペン入力許可フラグがリセットされた状態でタッチ入力制御部５３はペン４１の入力を無視する。 When the user interface processing unit 59 shifts to the power-on state, the user interface processing unit 59 sets or resets the pen input permission flag according to the current touch mode. Here, it is assumed that the touch mode is maintained even when the power is turned off. The pen input permission flag is a flag that instructs the touch input control unit 53 to accept or ignore the input of the pen 41. The touch input control unit 53 accepts an input from the pen 41 in a state where the pen input permission flag is set. On the other hand, the touch input control unit 53 ignores the input of the pen 41 in a state where the pen input permission flag is reset.
電源オン後、ユーザーインターフェイス処理部５９は、選択されているタッチモードがペン専用モードか否かを判断する（ステップＳ１１）。ペン専用モードでなければ、指・ペンモードか否かを判断する（ステップＳ１３）。ペン専用モードまたは指・ペンモードであれば、ルーチンはステップＳ１５へ進んでペン入力許可フラグをセットし（ステップＳ１５）、さらにステップＳ１９へと進む。 After the power is turned on, the user interface processing unit 59 determines whether or not the selected touch mode is the pen-only mode (step S11). If it is not the pen-only mode, it is determined whether or not the finger / pen mode is selected (step S13). If it is the pen-only mode or the finger / pen mode, the routine proceeds to step S15, sets the pen input permission flag (step S15), and further proceeds to step S19.
一方、ペン専用モードでも指・ペンモードでもない場合（ステップＳ１３のＮｏ）、即ち、指専用モードであればルーチンはステップＳ１７へ進み、ペン入力許可フラグをリセットし、さらにステップＳ１９へと進む。
ステップＳ１９でユーザーインターフェイス処理部５９は、メニュー画面（図６（ａ）参照）を表示する要求があるか否かを調べる。要求がなければ（ステップＳ１９のＮｏ）、ルーチンは後述する図８のステップＳ４１へと進む。
電源／メニューボタン２１が押されてメニュー画面の表示要求がある場合（ステップＳ１９のＹｅｓ）、ユーザーインターフェイス処理部５９は、表示部１３にメニュー画面を表示させる（ステップＳ２１）。
On the other hand, if neither the pen-only mode nor the finger / pen mode is selected (No in step S13), that is, if the finger-only mode is selected, the routine proceeds to step S17, resets the pen input permission flag, and further proceeds to step S19.
In step S19, the user interface processing unit 59 checks whether there is a request to display a menu screen (see FIG. 6A). If there is no request (No in step S19), the routine proceeds to step S41 in FIG.
When the power / menu button 21 is pressed and there is a menu screen display request (Yes in step S19), the user interface processing unit 59 displays the menu screen on the display unit 13 (step S21).
そして、ペン専用モードアイコン２５ｆがタッチされた場合（ステップＳ２３のＹｅｓ）、ペン専用モードを選択し（ステップＳ２５）、ペン入力許可フラグをセットした後（ステップＳ２７）、ルーチンはステップＳ３９へ進む。
ペン専用モードアイコン２５ｆがタッチされなかった場合（ステップＳ２３のＮｏ）、続いて指・ペンモードアイコン２５ｇがタッチされたかを調べる（ステップＳ２９）。指・ペンモードアイコン２５ｇがタッチされた場合（ステップＳ２９のＹｅｓ）、指・ペンモードを選択し（ステップＳ３１）、ペン入力許可フラグをセットした後（ステップＳ２７）、ルーチンはステップＳ３９へ進む。
If the pen-only mode icon 25f is touched (Yes in step S23), the pen-only mode is selected (step S25), the pen input permission flag is set (step S27), and the routine proceeds to step S39.
If the pen-only mode icon 25f has not been touched (No in step S23), then it is checked whether the finger / pen mode icon 25g has been touched (step S29). If the finger / pen mode icon 25g has been touched (Yes in step S29), the finger / pen mode is selected (step S31), the pen input permission flag is set (step S27), and then the routine proceeds to step S39.
指・ペンモードアイコン２５ｇがタッチされなかった場合（ステップＳ２９のＮｏ）、続いて指専用モードアイコン２５ｅがタッチされたかを調べる（ステップＳ３３）。指専用モードアイコン２５ｅがタッチされた場合（ステップＳ３３のＹｅｓ）、指専用モードを選択し（ステップＳ３５）、ペン入力許可フラグをリセットした後（ステップＳ３７）、ルーチンはステップＳ３９へ進む。なお、ここでメニュー画面の他のアイコンについてはタッチモードと関連がないので省略する。
何れのタッチモードの選択もされなかった場合（ステップＳ３３のＮｏ）、現在のタッチモードを維持したままでルーチンはステップＳ３９へ進む。
When the finger / pen mode icon 25g is not touched (No in step S29), it is checked whether the finger-only mode icon 25e is touched (step S33). If the finger only mode icon 25e is touched (Yes in step S33), the finger only mode is selected (step S35), the pen input permission flag is reset (step S37), and then the routine proceeds to step S39. Here, other icons on the menu screen are not related to the touch mode, and are therefore omitted.
If no touch mode has been selected (No in step S33), the routine proceeds to step S39 while maintaining the current touch mode.
ステップＳ３９でユーザーインターフェイス処理部５９は、メニュー画面を終了する要求があるか否かを調べる。終了の要求は、電源／メニューボタン２１が押されるか、メニュー画面に対する操作が何もないまま予め定められた期間（例えば、約１０秒）が経過したことを契機に発生する。
メニュー画面終了の要求がなければ（ステップＳ３９のＮｏ）、ルーチンは前述のステップＳ２３へ戻り、タッチモードの選択が行われたか否かのチェックを繰り返す。一方、メニュー画面終了の要求があると（ステップＳ３９のＹｅｓ）、ルーチンは図８のステップＳ４１へ進む。
In step S39, the user interface processing unit 59 checks whether there is a request to end the menu screen. The end request is generated when the power / menu button 21 is pressed or a predetermined period (for example, about 10 seconds) elapses without any operation on the menu screen.
If there is no request to end the menu screen (No in step S39), the routine returns to the above-described step S23 and repeats the check whether or not the touch mode has been selected. On the other hand, if there is a request to end the menu screen (Yes in step S39), the routine proceeds to step S41 in FIG.
図８のステップＳ４１でユーザーインターフェイス処理部５９は、ペン接続部５５にペン４１が新たに接続されたか否かを調べる。ペン４１の接続がなければ（ステップＳ４１のＮｏ）、ルーチンは後述するステップＳ５３へ進む。
ペン４１が新たに接続された場合（ステップＳ４１のＹｅｓ）、ユーザーインターフェイス処理部５９は、現在のタッチモードがペン専用モードか否かを調べる（ステップＳ４３）。ペン専用モードであれば、ペン入力許可フラグをセットする（ステップＳ４５）。即ち、タッチ入力制御部５３が以後のペン４１からの入力を受付けるようにする。そして、タッチモードとしてペン専用モードを維持する（ステップＳ４７）。その後、ルーチンはステップＳ５３へ進む。
In step S <b> 41 of FIG. 8, the user interface processing unit 59 checks whether or not the pen 41 is newly connected to the pen connection unit 55. If the pen 41 is not connected (No in step S41), the routine proceeds to step S53 described later.
When the pen 41 is newly connected (Yes in step S41), the user interface processing unit 59 checks whether or not the current touch mode is the pen-only mode (step S43). If it is the pen-only mode, the pen input permission flag is set (step S45). That is, the touch input control unit 53 receives subsequent input from the pen 41. Then, the pen-only mode is maintained as the touch mode (step S47). Thereafter, the routine proceeds to step S53.
現在のタッチモードがペン専用モードでない場合（ステップＳ４３のＮｏ）、続いてユーザーインターフェイス処理部５９は、現在のタッチモードが指・ペンモードか否かを調べる（ステップＳ４９）。指・ペンモードであれば、ペン入力許可フラグをセットする（ステップＳ４５）。即ち、タッチ入力制御部５３が以後のペン４１からの入力を受付けるようにする。なお、ユーザーインターフェイス処理部５９は、指・ペンモードが選択されているとき、ここでタッチモードをペン専用モードに切替えるようにしてもよい。しかし、この実施形態においては指・ペンモードが選択されているときはそのモードを維持する。指・ペンモードをペン専用モードに切替えるか維持するかにかかわらず、後述するステップＳ５３〜Ｓ５７において、「ペン専用モード」「指・ペンモード」の場合は、接続されたペン４１の入力を受付けるようにする。その後、ルーチンはステップＳ５３へ進む。
現在のタッチモードが指・ペンモードでない場合（ステップＳ４９のＮｏ）、即ち、指専用モードである場合、ユーザーインターフェイス処理部５９は、ペン入力許可フラグをリセットする（ステップＳ５１）。即ち、タッチ入力制御部５３が以後のペン４１からの入力を受付けないようにする。その後、ルーチンはステップＳ５３へ進む。
ステップＳ５３で、ユーザーインターフェイス処理部５９は、ペン４１からの入力があるか調べる。入力がなければ、ルーチンは図７のステップＳ１９へ戻りループする。
If the current touch mode is not the pen-only mode (No in step S43), the user interface processing unit 59 then checks whether the current touch mode is the finger / pen mode (step S49). If it is the finger / pen mode, a pen input permission flag is set (step S45). That is, the touch input control unit 53 receives subsequent input from the pen 41. Note that when the finger / pen mode is selected, the user interface processing unit 59 may switch the touch mode to the pen-only mode. However, in this embodiment, when the finger / pen mode is selected, the mode is maintained. Regardless of whether the finger / pen mode is switched to the pen-only mode or not, the input of the connected pen 41 is accepted in the “pen-only mode” and “finger / pen mode” in steps S53 to S57 described later. Like that. Thereafter, the routine proceeds to step S53.
When the current touch mode is not the finger / pen mode (No in step S49), that is, in the finger-only mode, the user interface processing unit 59 resets the pen input permission flag (step S51). That is, the touch input control unit 53 is configured not to accept subsequent input from the pen 41. Thereafter, the routine proceeds to step S53.
In step S53, the user interface processing unit 59 checks whether there is an input from the pen 41. If there is no input, the routine loops back to step S19 in FIG.
ペン４１からの入力があるとき（ステップＳ５３のＹｅｓ）、ユーザーインターフェイス処理部５９は、現在のタッチモードがペン専用モードか否かを調べる（ステップＳ５５）。ペン専用モードであれば、入力を受付けて処理する（ステップＳ５７）。その後、ルーチンは図７のステップＳ１９へ戻りループする。 When there is an input from the pen 41 (Yes in Step S53), the user interface processing unit 59 checks whether or not the current touch mode is the pen-only mode (Step S55). If it is the pen-only mode, the input is accepted and processed (step S57). Thereafter, the routine returns to step S19 in FIG. 7 and loops.
現在のタッチモードがペン専用モードでない場合（ステップＳ５５のＮｏ）、続いてユーザーインターフェイス処理部５９は、現在のタッチモードが指・ペンモードか否かを調べる（ステップＳ５９）。指・ペンモードであれば、入力を受付けて処理する（ステップＳ５７）。なお、指・ペンモードにおいて、例えば先にペンタッチ操作が検出された場合ペンタッチ操作を優先し、後から検出された指タッチ操作を無視する処理はタッチ入力制御部５３が行うので、ユーザーインターフェイス処理部５９は、タッチ入力制御部５３から受けたペン入力を処理するか無視するかの判断をおこなうだけでよい。その後、ルーチンは図７のステップＳ１９へ戻りループする。 If the current touch mode is not the pen-only mode (No in step S55), the user interface processing unit 59 then checks whether the current touch mode is the finger / pen mode (step S59). If it is the finger / pen mode, the input is accepted and processed (step S57). In the finger / pen mode, for example, when the pen touch operation is detected first, the touch input control unit 53 performs the process of giving priority to the pen touch operation and ignoring the finger touch operation detected later. 59 only needs to determine whether to process or ignore the pen input received from the touch input control unit 53. Thereafter, the routine returns to step S19 in FIG. 7 and loops.
現在のタッチモードが指・ペンモードでない場合（ステップＳ５９のＮｏ）、即ち、指専用モードである場合、ユーザーインターフェイス処理部５９は、入力を無視する。その後、ルーチンは図７のステップＳ１９へ戻りループする。
以上、ユーザーインターフェイス処理部５９が実行する処理のうち、ペン入力の受付およびタッチモード切り替えに関連する処理を抜粋して説明した。
If the current touch mode is not the finger / pen mode (No in step S59), that is, if the current mode is the finger-only mode, the user interface processing unit 59 ignores the input. Thereafter, the routine returns to step S19 in FIG. 7 and loops.
In the above, the processes related to the reception of the pen input and the switching of the touch mode among the processes executed by the user interface processing unit 59 have been extracted and described.
以上に述べたように、この発明によるタッチ操作機能付表示装置は、ペンタッチ操作および指タッチ操作を識別可能に検出するタッチ入力デバイスと、前記タッチ入力デバイスによる検出がペンタッチ操作か指タッチ操作かを判定する処理を行いかつペンタッチ操作を無視する指専用モード、指タッチ操作を無視するペン専用モードおよびペンタッチ操作と指タッチ操作とを受付ける指・ペンモードのユーザによる選択を受付ける処理部と、操作用の電子ペンが接続されたときにその電子ペンからの信号を受けるペン接続部とを備え、前記電子ペンは前記タッチ入力デバイスを介したペンタッチ操作のほかに前記ペン接続部を介した操作指示を入力し得るものであり、前記処理部は、指・ペンモードが選択されかつ指タッチ操作を受付けている期間および指専用モードが選択されている期間は前記電子ペンによる入力を無視し、ペン専用モード中および指・ペンモード中に前記電子ペンが接続された後は前記電子ペンによる入力を受付けるが、指専用モード中は前記電子ペンが接続されても前記電子ペンによる入力の無視を継続することを特徴とする。 As described above, the display device with a touch operation function according to the present invention includes a touch input device that detects a pen touch operation and a finger touch operation in an identifiable manner, and whether the detection by the touch input device is a pen touch operation or a finger touch operation. A finger-only mode that performs determination processing and ignores the pen touch operation, a pen-only mode that ignores the finger touch operation, and a processing unit that accepts the user's selection of the finger / pen mode that accepts the pen touch operation and the finger touch operation; A pen connection unit that receives a signal from the electronic pen when the electronic pen is connected, and the electronic pen provides an operation instruction through the pen connection unit in addition to a pen touch operation through the touch input device. The processing unit is configured to select a finger / pen mode and accept a finger touch operation. While the period and the finger-only mode are selected, the input by the electronic pen is ignored, and after the electronic pen is connected during the pen-only mode and the finger-pen mode, the input by the electronic pen is accepted. In the finger-only mode, the input of the electronic pen is ignored even if the electronic pen is connected.
この発明において、タッチ入力デバイスは、表示装置へのタッチ操作を検出するものである。その具体的な態様は、例えば、液晶表示パネル等の表示部の表面あるいは表示部と一体に配置される静電容量型のタッチパネルである。ただし、パネル状の部材を有さず光や表面弾性波等で表示部への近接やタッチを検出するものもタッチ入力デバイスに含まれる。後述する実施形態において、タッチ入力デバイスは、タッチパネルに相当する。
また、処理部は、タッチ操作や操作指示を受付ける処理を行うものである。その具体的な態様は、例えば、マイクロコンピュータやＣＰＵ等のコンピュータを中心として全既婚ピュー他が実行する処理プログラムを記憶するメモリやタッチ入力デバイスとのインターフェイス回路を含む回路である。後述する実施形態において、処理部は、タッチ入力制御部、ユーザーインターフェイス処理部および操作処理部の３つのマイクロコンピュータの複合体に相当する。
In the present invention, the touch input device detects a touch operation on the display device. A specific aspect thereof is, for example, a capacitive touch panel disposed integrally with the surface of the display unit such as a liquid crystal display panel or the display unit. However, a touch input device that does not have a panel-like member and detects proximity to the display unit or touch using light, surface acoustic waves, or the like is also included in the touch input device. In an embodiment described later, the touch input device corresponds to a touch panel.
The processing unit performs a process of receiving a touch operation or an operation instruction. The specific mode is, for example, a circuit including an interface circuit with a memory or a touch input device that stores a processing program executed by a married person and others centering on a computer such as a microcomputer or a CPU. In an embodiment described later, the processing unit corresponds to a complex of three microcomputers, that is, a touch input control unit, a user interface processing unit, and an operation processing unit.
また、ペン接続部は、電子ペンからの信号を受けるインターフェイス回路である。その具体的な態様は、例えば、ＵＳＢ等有線による信号接続回路やＢｌｕｅｔｏｏｔｈによる無線通信インターフェイス回路である。後述する実施形態において、ペン接続部はＵＳＢ接続による例を挙げている。
また、ペン専用モードおよび指・ペンモードにおいて処理部は、汎用のスタイラスペンを用いたペンタッチ操作を受付けると共に、電子ペンを用いる場合はペンタッチ操作だけでなく前記接続部を介した操作指示を受付ける。
The pen connection unit is an interface circuit that receives a signal from the electronic pen. Specific examples thereof include a wired signal connection circuit such as USB and a wireless communication interface circuit based on Bluetooth. In the embodiment to be described later, the pen connection unit is exemplified by USB connection.
In the pen-only mode and the finger / pen mode, the processing unit accepts a pen touch operation using a general-purpose stylus pen, and accepts not only a pen touch operation but also an operation instruction via the connection unit when using an electronic pen.
さらに、この発明の好ましい態様について説明する。 Furthermore, the preferable aspect of this invention is demonstrated.
（実施の形態２）
前記タッチ入力デバイスは、タッチ面積の大きさに基づいてペンタッチ操作および指タッチ操作を識別可能とするものであってもよい。
このようにすれば、ペン接続部への信号の有無ではなくタッチ面積に基づいてペンタッチ操作と指タッチ操作を識別できるので、電子ペンだけでなくペン先が尖った汎用のスタイラスペンを用いてもペンタッチ操作と指タッチ操作を正しく識別できる。
(Embodiment 2)
The touch input device may be capable of identifying a pen touch operation and a finger touch operation based on a touch area size.
In this way, since the pen touch operation and the finger touch operation can be identified based on the touch area rather than the presence or absence of a signal to the pen connection portion, not only an electronic pen but also a general-purpose stylus pen with a pointed pen tip can be used. A pen touch operation and a finger touch operation can be correctly identified.
（実施の形態３）
指・ペンモードが選択されているとき前記処理部は、ペンタッチ操作を受付けている期間は指タッチ操作を無視し、指タッチ操作を受付けている期間はペンタッチ操作を無視するようにしてもよい。
このようにすれば、ユーザは細かな文字の手書き入力を行うときはペン先をタッチしてから掌や手首をタッチすることでペンタッチ操作のみが受付けられ掌や手首のタッチ（タッチ面積が大きい指タッチ操作として検出される）が無視されるようにできるので、手書き入力を容易に行うことができる。
(Embodiment 3)
When the finger / pen mode is selected, the processing unit may ignore the finger touch operation during a period of accepting the pen touch operation, and ignore the pen touch operation during a period of accepting the finger touch operation.
In this way, when the user performs handwriting input of fine characters, only the pen touch operation is accepted by touching the pen tip and then touching the palm or wrist and touching the palm or wrist (a finger with a large touch area). (Detected as a touch operation) can be ignored, so that handwritten input can be easily performed.
（実施の形態４）
前記処理部は、指専用モード中に前記電子ペンが接続されて指専用モードを継続した後に指・ペンモードの選択を受付けたとき、以降は前記電子ペンによる入力を受付けるようにしてもよい。
このようにすれば、電子ペンが接続された後、ユーザの意志によって指・ペンモードが選択されたときは、それ以降電子ペンによる入力を受付けるようにできる。
(Embodiment 4)
When the electronic pen is connected during the finger-only mode and the finger-pen mode is accepted after the finger-only mode is continued, the processing unit may accept input from the electronic pen thereafter.
In this way, after the electronic pen is connected, when the finger / pen mode is selected according to the user's will, it is possible to accept input from the electronic pen thereafter.
（実施の形態５）
前記処理部は、指・ペンモード中に前記電子ペンが接続された後はその接続に応答してペン専用モードに切替えるが、指専用モード中は前記電子ペンが接続されても指専用モードを継続するように処理してもよい。
このようにすれば、ユーザの意志により選択された指専用モード中に前記電子ペンが接続されても指専用モードを継続することによって前記電子ペンからの入力を無視できる。
(Embodiment 5)
After the electronic pen is connected during the finger / pen mode, the processing unit switches to the pen-only mode in response to the connection, but during the finger-only mode, the finger-only mode is set even when the electronic pen is connected. You may process so that it may continue.
In this way, even if the electronic pen is connected during the finger-only mode selected according to the user's will, the input from the electronic pen can be ignored by continuing the finger-only mode.
（実施の形態６）
前記処理部は、前記タッチ入力デバイスへのペンタッチ操作および指タッチ操作を受付けてペンタッチ操作か指タッチ操作かを判定するタッチ入力制御部と、指専用モード、ペン専用モードおよび指・ペンモードの選択を受付けるユーザーインターフェイス処理部と、前記電子ペンによる操作指示を受付けて前記タッチ入力デバイスにより検出されたペンタッチ操作および指タッチ操作との整合および調停を行う操作処理部とを含んでいてもよい。
(Embodiment 6)
The processing unit receives a pen touch operation and a finger touch operation on the touch input device and determines whether the touch operation is a pen touch operation or a finger touch operation, and selects a finger only mode, a pen only mode, and a finger / pen mode. And an operation processing unit that receives an operation instruction by the electronic pen and performs alignment and arbitration with a pen touch operation and a finger touch operation detected by the touch input device.
この発明の好ましい態様には、上述した複数の態様のうちの何れかを組み合わせたものも含まれる。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
Preferred embodiments of the present invention include combinations of any of the plurality of embodiments described above.
In addition to the embodiments described above, there can be various modifications of the present invention. These modifications should not be construed as not belonging to the scope of the present invention. The present invention should include the meaning equivalent to the scope of the claims and all modifications within the scope.
１１：表示装置、 １３：表示部、 １５：ベゼル、 １７：背面カバー、 １９：フラップ、 ２１：電源／メニューボタン、 ２３：電源ランプ、 ２５ａ：設定アイコン、 ２５ｂ：入力切替アイコン、 ２５ｃ：音量アイコン、 ２５ｄ：ローテートアイコン、 ２５ｅ：指専用モードアイコン、 ２５ｆ：ペン専用モードアイコン、 ２５ｇ：指・ペンモードアイコン、 ２６：タッチマーク、 ２７：ローテートマーク、 ３１：コンピュータ本体、 ３３：キーボード、 ３５：マウス、 ３７：スタンド、 ４１：ペン、 ４３：手、 ５１：タッチパネル、 ５３：タッチ入力制御部、 ５５：ペン接続部、 ５７：操作処理部、 ５９：ユーザーインターフェイス処理部、 ６１：映像処理部、 ６３：処理部、 ６５：ソース機器 11: Display device, 13: Display unit, 15: Bezel, 17: Back cover, 19: Flap, 21: Power / menu button, 23: Power lamp, 25a: Setting icon, 25b: Input switching icon, 25c: Volume icon 25d: rotate icon, 25e: finger only mode icon, 25f: pen dedicated mode icon, 25g: finger / pen mode icon, 26: touch mark, 27: rotate mark, 31: computer body, 33: keyboard, 35: mouse 37: Stand, 41: Pen, 43: Hand, 51: Touch panel, 53: Touch input control unit, 55: Pen connection unit, 57: Operation processing unit, 59: User interface processing unit, 61: Video processing unit, 6 3: Processing unit, 65: Source device
Claims (6)
前記タッチ入力デバイスによる検出がペンタッチ操作か指タッチ操作かを判定する処理を行いかつペンタッチ操作を無視する指専用モード、指タッチ操作を無視するペン専用モードおよびペンタッチ操作と指タッチ操作とを受付ける指・ペンモードのユーザによる選択を受付ける処理部と、
操作用の電子ペンが接続されたときにその電子ペンからの信号を受けるペン接続部とを備え、
前記電子ペンは前記タッチ入力デバイスを介したペンタッチ操作のほかに前記ペン接続部を介した操作指示を入力し得るものであり、
前記処理部は、指・ペンモードが選択されかつ指タッチ操作を受付けている期間および指専用モードが選択されている期間は前記電子ペンによる入力を無視し、ペン専用モード中および指・ペンモード中に前記電子ペンが接続された後は前記電子ペンによる入力を受付けるが、指専用モード中は前記電子ペンが接続されても前記電子ペンによる入力の無視を継続することを特徴とするタッチ操作機能付表示装置。 A touch input device that detects pen touch operations and finger touch operations in an identifiable manner;
A finger-only mode that performs processing for determining whether the detection by the touch input device is a pen touch operation or a finger touch operation and ignores the pen touch operation, a pen only mode that ignores the finger touch operation, and a finger that accepts the pen touch operation and the finger touch operation A processing unit that accepts selection by the user in pen mode;
A pen connection unit for receiving a signal from the electronic pen when the electronic pen for operation is connected;
The electronic pen can input an operation instruction through the pen connection unit in addition to a pen touch operation through the touch input device,
The processing unit ignores input by the electronic pen during a period in which the finger / pen mode is selected and a finger touch operation is accepted and a period in which the finger only mode is selected, and during the pen only mode and in the finger / pen mode The touch operation accepts input by the electronic pen after the electronic pen is connected to the inside, but ignores the input by the electronic pen even when the electronic pen is connected during the finger-only mode. Display device with function.
指専用モード、ペン専用モードおよび指・ペンモードの選択を受付けるユーザーインターフェイス処理部と、
前記電子ペンによる操作指示を受付けて前記タッチ入力デバイスにより検出されたペンタッチ操作および指タッチ操作との整合および調停を行う操作処理部とを含む請求項１〜５の何れか一つに記載のタッチ操作機能付表示装置。
The processing unit receives a pen touch operation and a finger touch operation on the touch input device, and determines a pen touch operation or a finger touch operation.
A user interface processing unit that accepts selection of finger-only mode, pen-only mode, and finger-pen mode;
Touch according to any one of claims 1 to 5 and an operation processing unit that performs matching and arbitration between a stylus touch operation and finger touch operation detected by the touch input device receives an operation instruction by the electronic pen Display device with operation function .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014005943A JP6235349B2 (en) | 2014-01-16 | 2014-01-16 | Display device with touch operation function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014005943A JP6235349B2 (en) | 2014-01-16 | 2014-01-16 | Display device with touch operation function |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017206133A Division JP2018032428A (en) | 2017-10-25 | 2017-10-25 | Display device with touch operation function and method for identifying touch input |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015135553A JP2015135553A (en) | 2015-07-27 |
| JP6235349B2 true JP6235349B2 (en) | 2017-11-22 |
Family
ID=53767354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014005943A Active JP6235349B2 (en) | 2014-01-16 | 2014-01-16 | Display device with touch operation function |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6235349B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6508652B2 (en) * | 2015-08-19 | 2019-05-08 | 三洋テクノソリューションズ鳥取株式会社 | Information terminal device |
| JP5971608B1 (en) * | 2016-04-25 | 2016-08-17 | パナソニックＩｐマネジメント株式会社 | Electronic device and coordinate detection method |
| CN107329602A (en) * | 2016-04-28 | 2017-11-07 | 珠海金山办公软件有限公司 | A kind of touch-screen track recognizing method and device |
| JP6971772B2 (en) * | 2017-10-20 | 2021-11-24 | シャープ株式会社 | Input devices and programs |
| WO2021161701A1 (en) * | 2020-02-10 | 2021-08-19 | 株式会社ワコム | Pointer position detection method and sensor controller |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09190268A (en) * | 1996-01-11 | 1997-07-22 | Canon Inc | Information processor and method for processing information |
| JPH10240442A (en) * | 1997-02-21 | 1998-09-11 | Sharp Corp | Information processor |
| JP5008707B2 (en) * | 2009-09-15 | 2012-08-22 | シャープ株式会社 | Input display board and table |
| JP5655573B2 (en) * | 2011-01-07 | 2015-01-21 | 大日本印刷株式会社 | Computer apparatus, input system, and program |
| TWI442301B (en) * | 2011-09-23 | 2014-06-21 | A dual mode tablet and the method of the signal detect and the switch mode |
-
2014
- 2014-01-16 JP JP2014005943A patent/JP6235349B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015135553A (en) | 2015-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5759660B2 (en) | Portable information terminal having touch screen and input method | |
| JP5507494B2 (en) | Portable electronic device with touch screen and control method | |
| TWI509497B (en) | Method and system for operating portable devices | |
| US9459704B2 (en) | Method and apparatus for providing one-handed user interface in mobile device having touch screen | |
| US20180356972A1 (en) | Quick Screen Splitting Method, Apparatus, And Electronic Device, Display UI, and Storage Medium | |
| US20150185953A1 (en) | Optimization operation method and apparatus for terminal interface | |
| US20120176336A1 (en) | Information processing device, information processing method and program | |
| JP6235349B2 (en) | Display device with touch operation function | |
| US20140181746A1 (en) | Electrionic device with shortcut function and control method thereof | |
| JP2014203183A (en) | Information processing device and program | |
| KR20160023298A (en) | Electronic device and method for providing input interface thereof | |
| KR20150134674A (en) | User terminal device, and Method for controlling for User terminal device, and multimedia system thereof | |
| TWI659353B (en) | Electronic apparatus and method for operating thereof | |
| US9823773B2 (en) | Handheld device and method for implementing input area position adjustment on handheld device | |
| EP2998838A1 (en) | Display apparatus and method for controlling the same | |
| EP2660701A1 (en) | Method for inputting touch and touch display apparatus | |
| JP2016126363A (en) | Touch screen input method, mobile electronic device, and computer program | |
| KR20130102670A (en) | For detailed operation of the touchscreen handset user-specific finger and touch pen point contact location method and system for setting | |
| US11003259B2 (en) | Modifier key input on a soft keyboard using pen input | |
| JP2018032428A (en) | Display device with touch operation function and method for identifying touch input | |
| JP2022167480A (en) | Information processing apparatus and control method | |
| JP2015005164A (en) | Touch panel device and display device | |
| TWI483175B (en) | Data sharing system and data sharing method thereof | |
| US11847313B2 (en) | Electronic device having touchpad with operating functions selected based on gesture command and touch method thereof | |
| KR101371524B1 (en) | Mouse Device For Controlling Remote Access |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6235349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |