JP2021504823A - 入力操作処理方法、処理装置およびコンピュータ読み取り可能な記憶媒体 - Google Patents
入力操作処理方法、処理装置およびコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP2021504823A JP2021504823A JP2020528445A JP2020528445A JP2021504823A JP 2021504823 A JP2021504823 A JP 2021504823A JP 2020528445 A JP2020528445 A JP 2020528445A JP 2020528445 A JP2020528445 A JP 2020528445A JP 2021504823 A JP2021504823 A JP 2021504823A
- Authority
- JP
- Japan
- Prior art keywords
- input event
- input
- event
- touch
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本発明は、インテリジェント端末によって受信される入力操作を処理するための入力操作処理方法、処理装置およびコンピュータ読み取り可能な記憶媒体に関し、前記入力操作処理方法は、入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるステップ、前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップ、前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムによって、写像関係により前記入力イベントに対応する入力操作を識別するステップ、識別された入力イベントが他種の入力イベントと共存する入力イベントに転換されるステップ、他種の入力イベントと共存する前記入力イベントが報告されるステップを含む。
Description
本発明は、インテリジェント端末の入力操作処理という技術分野に属し、特に入力操作処理方法、処理装置およびコンピュータ読み取り可能な記憶媒体に関する。
現在、スマートフォンやタブレットPCなどのインテリジェント端末、特にアンドロイドOS（Android System）に基づくインテリジェント端末のアプリケーションはますます普及して応用され、サードパーティがそのOSのアーキテクチャに基づいてさまざまなアプリケーション要件を満たすアプリケーションプログラムを開発していて、これはAPPというものである。これらのアプリケーションプログラムは、とかくユーザーに人とコンピューターの相互作用を行う必要があり、つまり、ユーザーの入力操作を受信し、前記インテリジェント端末のタッチスクリーンは、主にタッチ操作を受信するために用いられるが、外部入力デバイスと接続する必要のあるゲームなどのようなアプリケーションプログラムには、操作対象に応じて、外部入力イベントやタッチ入力イベントなどのさまざまな入力イベントが生成される。
図1に示すように、アンドロイドOSの入力イベントを処理するフロー図があり、これからアンドロイドOSの各層が見える。その中に、アプリケーション層（Application）には、ルートビューオブジェクト（ViewRootimpl）が含まれ、ルートビューオブジェクト内にもウィンドウ入力イベントレシーバー（WindowinputEventReceiver）が含まれ、フレームワーク層（Framework）には入力イベントフリンガァ（Input Flinger）が含まれ、入力イベントフリンガァにも入力ディスパッチャー（Input Dispatcher）と入力リーダー（Input Reader）が含まれ、入力デバイス層（Input Device）には、電子ゲームパッド（Joystick）とタッチスクリーン（Touch Screen）が含まれている。入力操作が発生すると、入力デバイス層から入力イベントが形成されてアプリケーション層中のウィンドウ入力イベントレシーバーに層毎に報告される。現在のアンドロイドOSには、電子ゲームパッド（Joystick）などのような外部入力デバイスへのアクセスが支持され、接続後の外部入力デバイスは外部入力イベントがアプリケーションプログラムに送信されることとなる。アプリケーションプログラムが外部入力イベントを特に処理しない場合、デフォルトの規則に従って外部入力イベントが処理され、つまり、図1のウィンドウ入力イベントレシーバーはこれらのイベントが処理されずに捨てられることとなる。つまり、アプリケーションプログラムは、タッチスクリーン（Touch Screen）に受信された入力操作しか識別できず、外部入力デバイスに受信された入力操作が識別できない。
図2に示すように、従来技術に外部入力イベント及びタッチ入力イベントを処理するフロー図があり、アプリケーションプログラムに外部入力デバイスにより受信された入力操作を識別させるために、外部入力イベントとタッチ入力イベントの間の写像関係（mapping relationship）を確立する必要がある。具体的に、従来技術にはインテリジェント端末OSのフレームワーク層に配置された入力イベント転換装置（Event Translator）が設置され、その入力イベント転換装置は、入力デバイス層から外部入力デバイス（電子ゲームパッドなど）の外部入力イベントを受信した後、タッチ入力イベントがその外部入力イベントを転換させられ、入力イベントフリンガァに纏められた後、アプリケーション層のウィンドウ入力イベントレシーバーへ一括報告される。ただし、アプリケーション層にとっては、外部入力デバイスの受信した操作か、タッチスクリーンの受信した操作かを問わず、アプリケーションプログラムが受信したのは全てタッチ入力イベントであるため、タッチスクリーンと外部入力デバイスのどちらで発生したのが区別されることがないとともに、外部入力デバイスとタッチスクリーンが同時に使われないことに導かれて、ユーザーの体験に影響する。
したがって、タッチスクリーン操作と外部入力デバイス操作を同時に行うというユーザーの要求を満たすために、アプリケーションプログラムがさまざまな入力イベントを識別することが成される必要がある。
したがって、タッチスクリーン操作と外部入力デバイス操作を同時に行うというユーザーの要求を満たすために、アプリケーションプログラムがさまざまな入力イベントを識別することが成される必要がある。
本発明は、外部入力デバイスとタッチスクリーンにより同時入力操作を支える入力操作処理方法を提供するものである。
本発明は、インテリジェント端末の入力操作に用いられた入力操作処理方法を公開し、
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるステップS101、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップS102、
前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別するステップS103、
識別された入力イベントが他種の入力イベントと共存する入力イベントに転換されるステップS104、
他種の入力イベントと共存する前記入力イベントが報告されるステップS105を含む。
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるステップS101、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップS102、
前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別するステップS103、
識別された入力イベントが他種の入力イベントと共存する入力イベントに転換されるステップS104、
他種の入力イベントと共存する前記入力イベントが報告されるステップS105を含む。
好ましくは、ステップS101において、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれ、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
好ましくは、ステップS104は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換されるステップS104-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換されるステップS104-2を含む。
好ましくは、ステップS104は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換されるステップS104-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換されるステップS104-2を含む。
好ましくは、ステップS102において、前記入力イベントインターフェースは、前記インテリジェント端末OSのフレームワーク層から前記入力イベントを受信する。
好ましくは、ステップS101において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS103に前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
なお、本発明はインテリジェント端末の入力操作に用いられた入力操作処理装置を公開し、前記入力操作処理装置は、
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるプリセットモジュール、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する検出モジュール、
前記プリセットモジュール及び前記検出モジュールと接続し、入力イベントが前記入力イベントインターフェイスにより受信されたことは前記検出モジュールに検出されるときに、前記識別モジュールは写像関係により前記入力イベントに対応する入力操作を識別する識別モジュール、
前記識別モジュールと接続し、識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される転換モジュール、
前記転換モジュールと接続し、他種の入力イベントと共存する前記入力イベントが報告される報告モジュールを含む。
好ましくは、ステップS101において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS103に前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
なお、本発明はインテリジェント端末の入力操作に用いられた入力操作処理装置を公開し、前記入力操作処理装置は、
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるプリセットモジュール、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する検出モジュール、
前記プリセットモジュール及び前記検出モジュールと接続し、入力イベントが前記入力イベントインターフェイスにより受信されたことは前記検出モジュールに検出されるときに、前記識別モジュールは写像関係により前記入力イベントに対応する入力操作を識別する識別モジュール、
前記識別モジュールと接続し、識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される転換モジュール、
前記転換モジュールと接続し、他種の入力イベントと共存する前記入力イベントが報告される報告モジュールを含む。
好ましくは、前記プリセットモジュールに入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれ、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
好ましくは、前記転換モジュールは、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換される第一転換ユニット、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換される第二転換ユニットを含む。
好ましくは、前記転換モジュールは、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換される第一転換ユニット、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換される第二転換ユニットを含む。
好ましくは、前記検出モジュールは、前記入力イベントインターフェースに前記インテリジェント端末OSのフレームワーク層から前記入力イベントが受信されるかどうかを検出する。
好ましくは、前記プリセットモジュールに入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記写像関係に各入力イベントの識別ビットが含まれ、前記識別モジュールに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
本発明は、更にコンピュータ読み取り可能な記憶媒体を公開し、それでコンピュータプログラムがメモリーされてインテリジェント端末に受信された入力操作を処理するために用いられ、前記コンピュータプログラムがプロセッサーにより実行されている時に、
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるステップS106、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップS107、
前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別するステップS108、
識別された入力イベントが他種の入力イベントと共存する入力イベントに転換されるステップS109、
他種の入力イベントと共存する前記入力イベントが報告されるステップS110を作動させる。
好ましくは、前記プリセットモジュールに入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記写像関係に各入力イベントの識別ビットが含まれ、前記識別モジュールに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
本発明は、更にコンピュータ読み取り可能な記憶媒体を公開し、それでコンピュータプログラムがメモリーされてインテリジェント端末に受信された入力操作を処理するために用いられ、前記コンピュータプログラムがプロセッサーにより実行されている時に、
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされるステップS106、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップS107、
前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別するステップS108、
識別された入力イベントが他種の入力イベントと共存する入力イベントに転換されるステップS109、
他種の入力イベントと共存する前記入力イベントが報告されるステップS110を作動させる。
好ましくは、ステップS106において、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれ、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
好ましくは、ステップS109は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換されるステップS109-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換されるステップS109-2を含む。
好ましくは、ステップS109は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換されるステップS109-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換されるステップS109-2を含む。
好ましくは、ステップS107において、前記入力イベントインターフェースは、前記インテリジェント端末OSのフレームワーク層から前記入力イベントを受信する。
好ましくは、ステップS106において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS108において、前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
好ましくは、ステップS106において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS108において、前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
上記の技術手段を採用した後、従来の技術手段と比べて、次に掲げた有益な効果がある。
１、外部入力デバイスまたは外部入力デバイスとタッチスクリーンとの組み合わせ方式でインテリジェント端末が操作されることにより、入力操作の柔軟性とユーザーの体験が向上している。
2、アプリケーション層でのみコードが修正されることにより、異なるOSバージョンとの良好な互換性がある。
１、外部入力デバイスまたは外部入力デバイスとタッチスクリーンとの組み合わせ方式でインテリジェント端末が操作されることにより、入力操作の柔軟性とユーザーの体験が向上している。
2、アプリケーション層でのみコードが修正されることにより、異なるOSバージョンとの良好な互換性がある。
10-入力操作処理装置、11-プリセットモジュール、12-検出モジュール、13-識別モジュール、14-転換モジュール、15-報告モジュール、141-第一転換ユニット、142-第二転換ユニット。
添付の図面を参照して以下でさらに本発明の利点を詳細に説明する。
此処には、実施例を詳細に説明し、その実施例を図面に示す。以下の説明は図面に関わる時、他の説明ならでは、異なる図面中の同じ数字は同じ或は相似の要因を示す。以下の実施例中の説明される実施状態は、本発明と一致する全ての実施状態を意味しない。これとは逆に、それらは、添付請求項に記載し、本発明の幾つかの方面と一致する装置と方法の例だけである。
本発明に使用する専門用語は、特定実施例を説明する目的だけから生じ、本発明に限定するのを目指しない。本発明と添付請求項に使用される単数形の「一つ」や「前記」や「その」は、多数形を含むのを目指し、ただし文脈が他の含意をはっきり示す場合を除く。更に、本発明に使用される「及び/又は」が一つ或は複数の相関の列に並べる項目の任意或は全ての可能な組合を含むのを目指すと理解されるべきである。
此処には、実施例を詳細に説明し、その実施例を図面に示す。以下の説明は図面に関わる時、他の説明ならでは、異なる図面中の同じ数字は同じ或は相似の要因を示す。以下の実施例中の説明される実施状態は、本発明と一致する全ての実施状態を意味しない。これとは逆に、それらは、添付請求項に記載し、本発明の幾つかの方面と一致する装置と方法の例だけである。
本発明に使用する専門用語は、特定実施例を説明する目的だけから生じ、本発明に限定するのを目指しない。本発明と添付請求項に使用される単数形の「一つ」や「前記」や「その」は、多数形を含むのを目指し、ただし文脈が他の含意をはっきり示す場合を除く。更に、本発明に使用される「及び/又は」が一つ或は複数の相関の列に並べる項目の任意或は全ての可能な組合を含むのを目指すと理解されるべきである。
本発明に第一や第二や第三等の様な専門用語を採用して様々な情報を説明するが、これらの情報がそれらの用語に限らないと理解されるべきである。これらの用語は同じ類型の情報を互いに区別するように使われる。例えば、本発明の範囲を逸脱しない場合に、第一情報が第二情報と呼ばれ、相似として、第二情報も第一情報と呼ばれる。これは、文脈により決まり、例えば、ここに使用される言葉「例えば」は、「…時」や「…際」や「に応じて」と解釈される。
本発明の説明には、専門用語「縦」、「横」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「上部」、「下部」、「内側」、「外側」等の指示方位または位置関係は図面に基づく方位或は位置関係であり、本発明を説明し簡略化するのに便利であるが、言及された装置または要素を必ず特定の方位にし、特定の方位で構成し、操作することを示し或は暗示するのではないと理解されるのを必要とする。そのため、本発明に限るのが理解されない。
本発明の説明には、専門用語「縦」、「横」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「上部」、「下部」、「内側」、「外側」等の指示方位または位置関係は図面に基づく方位或は位置関係であり、本発明を説明し簡略化するのに便利であるが、言及された装置または要素を必ず特定の方位にし、特定の方位で構成し、操作することを示し或は暗示するのではないと理解されるのを必要とする。そのため、本発明に限るのが理解されない。
本発明の説明には、別の規定と限定ならでは、専門用語「インストール」、「連接」、「接続」を広義に解説するべきである。例えば、機械の接続或は電気の接続となり、又は二つの構成要素の内部の接続となる。直接接続であり、又は仲介者を介する間接接続である。当業者にとって、上記の用語の特定の意味は、特定の状況に従って理解することができる。
後続の説明には、構成要素を示すのを用いる「モジュール」、「部品」または「ユニット」様な接尾辞を使って本発明の説明に有利であり、そて自身に特定の意味はない。そのため、「モジュール」と「部品」を混合して使用することができる。
図3に示すように、本発明において一つの好ましい実施例に入力操作処理方法に適うフロー図があり、インテリジェント端末の入力操作に用いられた前記入力操作処理方法、次に掲げたステップを含む。
後続の説明には、構成要素を示すのを用いる「モジュール」、「部品」または「ユニット」様な接尾辞を使って本発明の説明に有利であり、そて自身に特定の意味はない。そのため、「モジュール」と「部品」を混合して使用することができる。
図3に示すように、本発明において一つの好ましい実施例に入力操作処理方法に適うフロー図があり、インテリジェント端末の入力操作に用いられた前記入力操作処理方法、次に掲げたステップを含む。
S101:入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされる。
入力装置が異なるに従って、前記インテリジェント端末のタッチスクリーンでタッチ操作が受信されることとなり、前記インテリジェント端末のキーで押し操作が受信されることとなるような異なる入力操作は、様々な入力装置に受信される。前記インテリジェント端末が電子ゲームパッドや外部キーボードなどの外部入力デバイスに接続される場合に、外部入力操作を受け入れることができる。入力イベントは、前記インテリジェント端末で形成されたソフトウェアタスクであり、アプリケーションプログラムは、OS フレームワーク層から入力イベントを受信し、且つ入力イベントが処理できる。たとえば、入力イベントの関連付けた計算タスクをトリガーしたり、表示インターフェイスで入力イベントの結果を表示する。入力イベントが様々な入力操作によって異なる、各入力イベントはその区別がソフトウェアで識別される。
入力装置が異なるに従って、前記インテリジェント端末のタッチスクリーンでタッチ操作が受信されることとなり、前記インテリジェント端末のキーで押し操作が受信されることとなるような異なる入力操作は、様々な入力装置に受信される。前記インテリジェント端末が電子ゲームパッドや外部キーボードなどの外部入力デバイスに接続される場合に、外部入力操作を受け入れることができる。入力イベントは、前記インテリジェント端末で形成されたソフトウェアタスクであり、アプリケーションプログラムは、OS フレームワーク層から入力イベントを受信し、且つ入力イベントが処理できる。たとえば、入力イベントの関連付けた計算タスクをトリガーしたり、表示インターフェイスで入力イベントの結果を表示する。入力イベントが様々な入力操作によって異なる、各入力イベントはその区別がソフトウェアで識別される。
本ステップには、入力操作と入力イベントとの少なくとも二種の写像関係が前記アプリケーションプログラム内でプリセットされ、すなわち、異なる入力イベントに対応する識別マークおよびそれに対応する入力操作種類が事前に格納されている。前記アプリケーションプログラムは、インテリジェント端末OSのアプリケーション層に設けられ、ゲームや遠隔操作ソフトウェアなどのような人間とコンピューターの相互作用の要るアプリケーションソフトウェアであり得る。前記アプリケーションプログラムが起動すると、Hookという技術で外部入力イベントとタッチ入力イベントとの写像関係がアプリケーションプログラムにロードされる。Hookの本来の意味はフックであるが、コンピュータソフトウェアの場合に、Hookという技術は某プログラムのインターフェースを傍受し、インターフェースのデータをキャプチャーして処理することを指す。たとえば、ゲームプラグインはHookという技術の典型的なアプリケーションである。本実施形態において、入力操作と入力イベントとの写像関係は、Hookという技術でアプリケーションプログラムにプリセットされており、具体的な実現手段は、元のアプリケーションプログラムにおいて入力イベントを処理するクラスまたはメソッドを置き換え、入力イベントが入力イベントインターフェイスにより報告されるときに、自己定義されたクラスまたはメソッドで入力イベントを処理するために、自己定義された同名クラスまたはメソッドにおいて前記写像関係がプリセットされることであり得る。
S102：前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する。
このステップでは、前記アプリケーションプログラムの入力イベントインターフェースが傍受され、ステップＳ１０１でプリセットされた入力イベントが前記入力イベントインターフェースに受信されるかどうかを検出する。前記入力イベントインターフェースは、前記OSのフレームワーク層から報告された入力イベントが受信されるウィンドウ入力イベントレシーバーであり得る。前記入力イベントインターフェイスが入力イベントを受け取ると、必然的にデータストリームまたは関連識別ビットに変化が生じることにより、入力イベントを受信する動作が知られることとなる。アンドロイドOSを例にとると、このステップにおいてアプリケーションプログラムを傍受して、入力イベントインターフェイスのWindowInputEventReceiverクラスのonInputEventを取得し、フレームワーク層から報告された入力イベントをキャプチャーする。
このステップでは、前記アプリケーションプログラムの入力イベントインターフェースが傍受され、ステップＳ１０１でプリセットされた入力イベントが前記入力イベントインターフェースに受信されるかどうかを検出する。前記入力イベントインターフェースは、前記OSのフレームワーク層から報告された入力イベントが受信されるウィンドウ入力イベントレシーバーであり得る。前記入力イベントインターフェイスが入力イベントを受け取ると、必然的にデータストリームまたは関連識別ビットに変化が生じることにより、入力イベントを受信する動作が知られることとなる。アンドロイドOSを例にとると、このステップにおいてアプリケーションプログラムを傍受して、入力イベントインターフェイスのWindowInputEventReceiverクラスのonInputEventを取得し、フレームワーク層から報告された入力イベントをキャプチャーする。
S103：前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別する。
ステップS102において前記入力イベントインターフェースが任意の入力イベントを受信したことが検出されると、このステップが実行される。このステップでは、前記アプリケーションプログラムは写像関係により前記入力イベントに対応する入力操作を識別している。入力イベントは、識別ビットやメンバー変数や属性などのような種類であるのが異なって、ソフトウェアデータに必然的に差異があるため、ステップS101において写像関係としてアプリケーションプログラムで上記の差異がプリセットされていることにより、前記入力イベントに対応する入力操作が識別されることとなる。
ステップS102において前記入力イベントインターフェースが任意の入力イベントを受信したことが検出されると、このステップが実行される。このステップでは、前記アプリケーションプログラムは写像関係により前記入力イベントに対応する入力操作を識別している。入力イベントは、識別ビットやメンバー変数や属性などのような種類であるのが異なって、ソフトウェアデータに必然的に差異があるため、ステップS101において写像関係としてアプリケーションプログラムで上記の差異がプリセットされていることにより、前記入力イベントに対応する入力操作が識別されることとなる。
S104:識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。
種類の異なる入力イベントがステップS103でのみ識別されると、異なる入力イベントが前記アプリケーションプログラムで成されずに、このステップは実行される必要がある。このステップにおいて転換操作が実行され、ステップS103で識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。このステップが実行されると、前記入力イベントが修正され、修正された内容は、入力イベントの特性に影響を与えるメンバー変数や属性などのデータであり得り、修正済の入力イベントが他種の入力イベントと共存できる。たとえば、外部入力デバイスにより報告された外部入力イベントが転換された後、そのイベントがタッチスクリーンに対応するタッチ入力イベントと共存できる。つまり、両者がアプリケーションプログラムに対し区別され、それに応じて処理されることとなる。
種類の異なる入力イベントがステップS103でのみ識別されると、異なる入力イベントが前記アプリケーションプログラムで成されずに、このステップは実行される必要がある。このステップにおいて転換操作が実行され、ステップS103で識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。このステップが実行されると、前記入力イベントが修正され、修正された内容は、入力イベントの特性に影響を与えるメンバー変数や属性などのデータであり得り、修正済の入力イベントが他種の入力イベントと共存できる。たとえば、外部入力デバイスにより報告された外部入力イベントが転換された後、そのイベントがタッチスクリーンに対応するタッチ入力イベントと共存できる。つまり、両者がアプリケーションプログラムに対し区別され、それに応じて処理されることとなる。
S105:他種の入力イベントと共存する前記入力イベントが報告される。
このステップでは、ステップS104において転換された入力イベントがアプリケーションプログラム内の他のモジュールに報告される。たとえば、入力イベントに対して関連データの計算が実行されたり、前記入力イベントの結果が表示される。たとえば、ゲームでは、ユーザーはゲームパッドを使って操作オブジェクトの移動について入力操作を行い、その操作により入力イベントが形成された後、ゲームプログラムは入力イベントを分析し、操作オブジェクトの移動距離を算出し、且つ表示インターフェイスに操作オブジェクトの移動効果が表示される。上記のプロセスで、転換された入力イベントをアプリケーションプログラム中の分析及び表示に関するモジュールへ報告する必要がある。この実施形態では、Javaというリフレクション技術で転換後の入力イベントがonInputEventというインターフェースにより送出される。Javaというリフレクション技術は、Javaリフレクション作用により実現され、前記Javaリフレクション作用は、実行状態であらゆるクラスにとってこのクラスの全ての属性及びメソッドが知られることである。任意のオブジェクトについて、そのあらゆる属性及びメソッドが呼びだされる。動的に情報を取得し、オブジェクトメソッドを動的に呼び出すこの機能は、Java言語のリフレクション作用と呼ばれることにより、Java言語は動的言語とも呼ばれる。Javaリフレクション技術で転換済の入力イベントのクラスの属性とメソッドが取得されることとなり、その属性とメソッドは、onInputEventインターフェイスを介して前記アプリケーションプログラム内の他のモジュールへ送信される。
このステップでは、ステップS104において転換された入力イベントがアプリケーションプログラム内の他のモジュールに報告される。たとえば、入力イベントに対して関連データの計算が実行されたり、前記入力イベントの結果が表示される。たとえば、ゲームでは、ユーザーはゲームパッドを使って操作オブジェクトの移動について入力操作を行い、その操作により入力イベントが形成された後、ゲームプログラムは入力イベントを分析し、操作オブジェクトの移動距離を算出し、且つ表示インターフェイスに操作オブジェクトの移動効果が表示される。上記のプロセスで、転換された入力イベントをアプリケーションプログラム中の分析及び表示に関するモジュールへ報告する必要がある。この実施形態では、Javaというリフレクション技術で転換後の入力イベントがonInputEventというインターフェースにより送出される。Javaというリフレクション技術は、Javaリフレクション作用により実現され、前記Javaリフレクション作用は、実行状態であらゆるクラスにとってこのクラスの全ての属性及びメソッドが知られることである。任意のオブジェクトについて、そのあらゆる属性及びメソッドが呼びだされる。動的に情報を取得し、オブジェクトメソッドを動的に呼び出すこの機能は、Java言語のリフレクション作用と呼ばれることにより、Java言語は動的言語とも呼ばれる。Javaリフレクション技術で転換済の入力イベントのクラスの属性とメソッドが取得されることとなり、その属性とメソッドは、onInputEventインターフェイスを介して前記アプリケーションプログラム内の他のモジュールへ送信される。
前記入力操作処理方法の更なる改善としては、前記ステップS101において、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれる。前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。改善されたこの実施形態では、前記入力操作の種類が更に分けられ、前記タッチスクリーンに受信されたタッチ操作と、外部入力装置に受信された外部入力操作の２つに分類している。したがって、上記の二種の入力操作は異なる入力イベントに対応し、プリケーションプログラムで識別されて処理されることとなるように、前記タッチ操作がタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
図4に示すように、図３においてステップS104のフロー図があり、ステップS104は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換されるステップS104-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換されるステップS104-2を含む。
改善されたこの実施例では、前記入力操作がタッチ操作と外部入力操作に分けられることに基づいて、前記ステップS104がさらに限定され、入力イベントは、前記入力イベントインターフェースに受信された入力イベントの種類により入力イベントがそれぞれ第一入力イベントまたは第二イベントに転換される。前記アプリケーションプログラムの他のモジュールが後続に処理するために、前記第一入力イベントは、タッチ操作に関連する属性または相関パラメーターが体現され、前記第二入力イベントは、外部入力操作に関連する属性または相関パラメーターが体現されることとなる。
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換されるステップS104-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換されるステップS104-2を含む。
改善されたこの実施例では、前記入力操作がタッチ操作と外部入力操作に分けられることに基づいて、前記ステップS104がさらに限定され、入力イベントは、前記入力イベントインターフェースに受信された入力イベントの種類により入力イベントがそれぞれ第一入力イベントまたは第二イベントに転換される。前記アプリケーションプログラムの他のモジュールが後続に処理するために、前記第一入力イベントは、タッチ操作に関連する属性または相関パラメーターが体現され、前記第二入力イベントは、外部入力操作に関連する属性または相関パラメーターが体現されることとなる。
前記入力操作処理方法の更なる改善としては、ステップS102に、前記入力イベントインターフェースは、前記インテリジェント端末OSのフレームワーク層から前記入力イベントを受信する。入力イベントは、アンドロイドOSのドライバー層により形成された後に層ずつ報告されるため、ドライバー層（Android Driver）、ローカルランタイムライブラリ層（Android Native）、フレームワーク層（Framework）、アプリケーション層（Application）のいずれかで理論的に遮断される。OSをアップグレードするときのコード移行の作業量を軽減するために、この実施状態において入力イベントの受信、検出、および処理がすべてアプリケーション層で成される。そのため、前記入力イベントがフレームワーク層から受信されることとなり、OSのアップグレードであっても、様々なOSバージョンに付くコード移植であっても、フレームワーク層とそれに従う各層のコードが修正される必要がなく、コード移行の作業量が低減される。
前記入力操作処理方法の更なる改善としては、ステップS101において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS103に前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。この改善された実施形態において前記入力イベントの識別方法が更に限定されており、すなわち前記入力イベントの識別ビットに従って識別されることにより、前記写像関係で識別ビットがプリセットされ、且つ識別モジュールでプリセットされた識別ビットに従って 入力イベントが識別されている。
前記入力操作処理方法の更なる改善としては、ステップS101において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS103に前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。この改善された実施形態において前記入力イベントの識別方法が更に限定されており、すなわち前記入力イベントの識別ビットに従って識別されることにより、前記写像関係で識別ビットがプリセットされ、且つ識別モジュールでプリセットされた識別ビットに従って 入力イベントが識別されている。
図9に示すように、本発明において一つの好ましい実施例にアンドロイドOSによるアプリケーションプログラムに適うブロック図がある。図1と比較して、本発明にはメソッドキャッチャー（Method Hooker）が元のアンドロイドOSのフレームワークに追加され、前記メソッドキャッチャーに入力イベントメソッド（OnInputEvent）も含まれ、前記入力イベントメソッドにイベントコンバーター（Exchanger）も含まれる。ステップS101では、前記メソッドキャッチャーがプリセットされ、その内部の入力イベントメソッドで入力操作と入力イベントとの写像関係が定義される。ステップS102では、フレームワーク層にアプリケーション層のウィンドウ入力イベントレシーバーへ入力イベントが報告されるかどうかが検出され、前記フレームワーク層に前記入力イベントインターフェースを介して前記入力イベントが報告される。ステップS103およびS104では、前記ウィンドウ入力イベントレシーバーの入力イベントメソッドがメソッドキャッチャーで置き換えられ、前記メソッドキャッチャーの入力イベントメソッドが使われて前記入力イベントが識別され転換される。ステップS105では、前記メソッドキャッチャーにより変換された入力イベントが入力イベントキュー（EnqueueInputEvent）へ報告される。
図5に示すように、本発明において一つの好ましい実施例に入力操作処理装置10に適うブロック図があり、インテリジェント端末の入力操作に用いられた前記入力操作処理装置10は、次に掲げたモジュールを含む。
図5に示すように、本発明において一つの好ましい実施例に入力操作処理装置10に適うブロック図があり、インテリジェント端末の入力操作に用いられた前記入力操作処理装置10は、次に掲げたモジュールを含む。
-プリセットモジュール11
前記プリセットモジュール11に入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされる。前記プリセットモジュール11には、異なる入力イベントに対応する識別マークおよびそれに対応する入力操作種類が事前に格納され、Hookという技術でアプリケーションプログラムへ入力イベントと入力操作との間において異なる種類の写像関係がロードされる。
-検出モジュール12
前記検出モジュール12は、前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する。前記検出モジュール12は実際には傍受プログラムであり、前記入力イベントインターフェースを傍受し、データストリームまたは相関識別ビットの変化に従って入力イベントが報告されるかどうかを識別する。
前記プリセットモジュール11に入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされる。前記プリセットモジュール11には、異なる入力イベントに対応する識別マークおよびそれに対応する入力操作種類が事前に格納され、Hookという技術でアプリケーションプログラムへ入力イベントと入力操作との間において異なる種類の写像関係がロードされる。
-検出モジュール12
前記検出モジュール12は、前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する。前記検出モジュール12は実際には傍受プログラムであり、前記入力イベントインターフェースを傍受し、データストリームまたは相関識別ビットの変化に従って入力イベントが報告されるかどうかを識別する。
-識別モジュール13
前記識別モジュール13は、前記プリセットモジュール11及び前記検出モジュール12と接続し、入力イベントが前記入力イベントインターフェイスにより受信されたことは前記検出モジュール12に検出されるときに、前記識別モジュール13は写像関係により前記入力イベントに対応する入力操作を識別する。前記認別モジュール13は、前記プリセットモジュール11を介して写像関係を取得し、前記入力イベントを識別する。
-転換モジュール14
転換モジュール14は前記識別モジュール13と接続し、識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。前記転換モジュール14は、前記識別モジュール13識別結果に従って前記入力イベントが転換され、転換結果は入力イベントによって異なり、最終的に他種の入力イベントと共存する入力イベントとなり、つまり、変換後のさまざまな入力イベントが処理時に区別できる。
前記識別モジュール13は、前記プリセットモジュール11及び前記検出モジュール12と接続し、入力イベントが前記入力イベントインターフェイスにより受信されたことは前記検出モジュール12に検出されるときに、前記識別モジュール13は写像関係により前記入力イベントに対応する入力操作を識別する。前記認別モジュール13は、前記プリセットモジュール11を介して写像関係を取得し、前記入力イベントを識別する。
-転換モジュール14
転換モジュール14は前記識別モジュール13と接続し、識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。前記転換モジュール14は、前記識別モジュール13識別結果に従って前記入力イベントが転換され、転換結果は入力イベントによって異なり、最終的に他種の入力イベントと共存する入力イベントとなり、つまり、変換後のさまざまな入力イベントが処理時に区別できる。
-報告モジュール15
前記報告モジュール15は、前記転換モジュール14と接続し、他種の入力イベントと共存する前記入力イベントが報告される。前記報告モジュール15には、前記転換モジュール14から変換された入力イベントが取得され、その後の処理のためにアプリケーションプログラム内の他のモジュールへ報告される。
前記入力操作処理装置10の更なる改善としては、前記プリセットモジュール11に入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれ、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
図6に示すように、図5における転換モジュール14のブロック図があり、前記転換モジュール14は次に掲げたモジュールを含む。
前記報告モジュール15は、前記転換モジュール14と接続し、他種の入力イベントと共存する前記入力イベントが報告される。前記報告モジュール15には、前記転換モジュール14から変換された入力イベントが取得され、その後の処理のためにアプリケーションプログラム内の他のモジュールへ報告される。
前記入力操作処理装置10の更なる改善としては、前記プリセットモジュール11に入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれ、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
図6に示すように、図5における転換モジュール14のブロック図があり、前記転換モジュール14は次に掲げたモジュールを含む。
-第一転換ユニット141
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記第一転換ユニット141は前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換される。
-第二転換ユニット142
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記第二転換ユニット142は前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換される。
入力イベントのクラスとメソッドは種類が異なって属性が全て異なるため、第1変換ユニット141と第2変換ユニット142は、それぞれタッチ入力イベントと外部入力イベントを転換し、それに対して第1入力イベント及び第二入力イベントが形成される
前記入力操作処理装置10の更なる改善としては、前記検出モジュール12は、前記入力イベントインターフェースに前記インテリジェント端末OSのフレームワーク層から前記入力イベントが受信されるかどうかを検出する。改良されたこの実施形態では、検出モジュール１２に、前記フレームワーク層により報告された入力イベントが傍受されている。
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記第一転換ユニット141は前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換される。
-第二転換ユニット142
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記第二転換ユニット142は前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換される。
入力イベントのクラスとメソッドは種類が異なって属性が全て異なるため、第1変換ユニット141と第2変換ユニット142は、それぞれタッチ入力イベントと外部入力イベントを転換し、それに対して第1入力イベント及び第二入力イベントが形成される
前記入力操作処理装置10の更なる改善としては、前記検出モジュール12は、前記入力イベントインターフェースに前記インテリジェント端末OSのフレームワーク層から前記入力イベントが受信されるかどうかを検出する。改良されたこの実施形態では、検出モジュール１２に、前記フレームワーク層により報告された入力イベントが傍受されている。
前記入力操作処理装置10の更なる改善としては、前記プリセットモジュール11に入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記写像関係に各入力イベントの識別ビットが含まれ、前記識別モジュール13に前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
図7に示すように、本発明において一つの好ましい実施例にコンピュータ読み取り可能な記憶媒体のコンピュータプログラムに適うフロー図がある。前記コンピュータ読み取り可能な記憶媒体は、コンピュータプログラムがメモリーされてインテリジェント端末に受信された入力操作を処理するために用いられ、前記コンピュータプログラムがプロセッサーにより実行されている時に、次に掲げたステップを作動させる。
図7に示すように、本発明において一つの好ましい実施例にコンピュータ読み取り可能な記憶媒体のコンピュータプログラムに適うフロー図がある。前記コンピュータ読み取り可能な記憶媒体は、コンピュータプログラムがメモリーされてインテリジェント端末に受信された入力操作を処理するために用いられ、前記コンピュータプログラムがプロセッサーにより実行されている時に、次に掲げたステップを作動させる。
S106:入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットされる。
S107:前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する。
S108:前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別する。
S109:識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。
S110:他種の入力イベントと共存する前記入力イベントが報告される。
S107:前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する。
S108:前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムは、写像関係により前記入力イベントに対応する入力操作を識別する。
S109:識別された入力イベントが他種の入力イベントと共存する入力イベントに転換される。
S110:他種の入力イベントと共存する前記入力イベントが報告される。
前記コンピュータプログラムの更なる改善としては、ステップS106において、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作が前記入力操作に含まれ、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する。
図8に示すように、図7におけるステップS1109のフロー図があり、前記ステップS109が次に掲げたステップを含む。
S109-1:前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換される。
S109-2:前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換される。
図8に示すように、図7におけるステップS1109のフロー図があり、前記ステップS109が次に掲げたステップを含む。
S109-1:前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントが前記外部入力イベントと共存する第一入力イベントに転換される。
S109-2:前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントが前記タッチ入力イベントと共存する第二入力イベントに転換される。
前記コンピュータプログラムの更なる改善としては、ステップS107に、前記入力イベントインターフェースは、前記インテリジェント端末OSのフレームワーク層から前記入力イベントを受信する。
前記コンピュータプログラムの更なる改善としては、ステップS106において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS108において、前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
前記コンピュータプログラムの更なる改善としては、ステップS106において、前記写像関係に各入力イベントの識別ビットが含まれ、ステップS108において、前記アプリケーションプログラムに前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作が識別される。
上記のコンピュータプログラムの方法ステップは、本発明における入力操作処理方法と実現法で一致しており、詳細には説明されない。
注意すべきことは、本発明の実施形態はいかなる形でも本発明を限定させずより優れた実施性が具わり、あらゆる当業者は、上記に開示された技術的内容が使われて同等の効果的な実施形態に変更されまたは修正すされるが、本発明の技術的手段から逸脱することなく、本発明の技術的本質により上記の実施形態に対する任意の修正または同等の変更及び修正は、依然として本発明の保護範囲内にある。
注意すべきことは、本発明の実施形態はいかなる形でも本発明を限定させずより優れた実施性が具わり、あらゆる当業者は、上記に開示された技術的内容が使われて同等の効果的な実施形態に変更されまたは修正すされるが、本発明の技術的手段から逸脱することなく、本発明の技術的本質により上記の実施形態に対する任意の修正または同等の変更及び修正は、依然として本発明の保護範囲内にある。
Claims (15)
- 入力操作と入力イベントとの少なくとも二種の写像関係をアプリケーションプログラム内でプリセットするステップS101、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップS102、
前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムによって、写像関係により前記入力イベントに対応する入力操作を識別するステップS103、
識別された入力イベントを他種の入力イベントと共存する入力イベントに転換するステップS104、
他種の入力イベントと共存する前記入力イベントを報告するステップS105を含む、入力操作処理方法。 - ステップS101において、前記入力操作は、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作とを含み、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する、請求項1に記載の入力操作処理方法。
- ステップS104は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントを前記外部入力イベントと共存する第一入力イベントに転換するステップS104-1、および
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントを前記タッチ入力イベントと共存する第二入力イベントに転換するステップS104-2を含む、請求項2に記載の入力操作処理方法。 - ステップS102において、前記入力イベントインターフェースは、前記インテリジェント端末OSのフレームワーク層から前記入力イベントを受信する、請求項1〜３のいずれか一項に記載の入力操作処理方法。
- ステップS101において、前記写像関係が各入力イベントの識別ビットを含み、
ステップS103において、前記アプリケーションプログラムが前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作を識別する、請求項1〜３のいずれか一項に記載の入力操作処理方法。 - 入力操作と入力イベントとの少なくとも二種の写像関係をアプリケーションプログラム内でプリセットするプリセットモジュール、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出する検出モジュール、
前記プリセットモジュール及び前記検出モジュールと接続し、入力イベントが前記入力イベントインターフェイスにより受信されたことが前記検出モジュールに検出されるときに、前記識別モジュールは写像関係により前記入力イベントに対応する入力操作を識別する識別モジュール、
前記識別モジュールと接続し、識別された入力イベントを他種の入力イベントと共存する入力イベントに転換する転換モジュール、
前記転換モジュールと接続し、他種の入力イベントと共存する前記入力イベントを報告する報告モジュールを含む、入力操作処理装置。 - 前記プリセットモジュールに入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記入力操作は、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作とを含み、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する、請求項6に記載の入力操作処理装置。
- 前記転換モジュールは、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントを前記外部入力イベントと共存する第一入力イベントに転換する第一転換ユニット、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントを前記タッチ入力イベントと共存する第二入力イベントに転換する第二転換ユニットを含む、請求項7に記載の入力操作処理装置。 - 前記検出モジュールは、前記入力イベントインターフェースに前記インテリジェント端末OSのフレームワーク層から前記入力イベントが受信されるかどうかを検出する、請求項6〜8のいずれか一項に記載の入力操作処理装置。
- 前記プリセットモジュールに入力操作と入力イベントとの少なくとも二種の写像関係がプリセットされる時に、前記写像関係は各入力イベントの識別ビットを含み、
前記識別モジュールは、前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作を識別する、請求項6〜8のいずれか一項に記載の入力操作処理装置。 - コンピュータプログラムがメモリーされて、インテリジェント端末に受信された入力操作を処理するように構成される、コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサーにより実行されている時に、
入力操作と入力イベントとの少なくとも二種の写像関係がアプリケーションプログラム内でプリセットするステップS106、
前記アプリケーションプログラムの入力イベントインターフェイスが入力イベントを受信したかどうかを検出するステップS107、
前記入力イベントインターフェイスが任意の入力イベントを受信する時に、アプリケーションプログラムによって、写像関係により前記入力イベントに対応する入力操作を識別するステップS108、
識別された入力イベントを他種の入力イベントと共存する入力イベントに転換するステップS109、
他種の入力イベントと共存する前記入力イベントを報告するステップS110を作動させる、前記コンピュータ読み取り可能な記憶媒体。 - ステップS106において、前記入力操作は、前記インテリジェント端末のタッチスクリーンに受信されたタッチ操作と、前記インテリジェント端末と接続している外部入力デバイスに受信された外部入力操作とを含み、前記タッチ操作はタッチ入力イベントに対応し、前記外部入力操作は外部入力イベントに対応する、請求項11に記載のコンピュータ読み取り可能な記憶媒体。
- ステップS109は、
前記入力イベントインターフェイスが前記タッチ入力イベントを受信する時、前記タッチ入力イベントを前記外部入力イベントと共存する第一入力イベントに転換するステップS109-1、
前記入力イベントインターフェイスが前記外部入力イベントを受信する時に、前記外部入力イベントを前記タッチ入力イベントと共存する第二入力イベントに転換するステップS109-2を含む、請求項12に記載のコンピュータ読み取り可能な記憶媒体。 - ステップS107において、前記入力イベントインターフェースは、前記インテリジェント端末OSのフレームワーク層から前記入力イベントを受信する、請求項11〜13のいずれか一項に記載のコンピュータ読み取り可能な記憶媒体。
- ステップS106において、前記写像関係は各入力イベントの識別ビットを含み、
ステップS108において、前記アプリケーションプログラムは、前記入力イベントの識別ビットに従って前記入力イベントに対応する入力操作を識別する、請求項11〜13のいずれか一項に記載のコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711191433.X | 2017-11-24 | ||
| CN201711191433.XA CN108008992B (zh) | 2017-11-24 | 2017-11-24 | 一种输入操作处理方法、处理装置及计算机可读存储介质 |
| PCT/CN2018/111756 WO2019100898A1 (zh) | 2017-11-24 | 2018-10-24 | 一种输入操作处理方法、处理装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021504823A true JP2021504823A (ja) | 2021-02-15 |
Family
ID=62053415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020528445A Pending JP2021504823A (ja) | 2017-11-24 | 2018-10-24 | 入力操作処理方法、処理装置およびコンピュータ読み取り可能な記憶媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20200293385A1 (ja) |
| EP (1) | EP3702913A4 (ja) |
| JP (1) | JP2021504823A (ja) |
| KR (1) | KR20200090785A (ja) |
| CN (1) | CN108008992B (ja) |
| WO (1) | WO2019100898A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108008992B (zh) * | 2017-11-24 | 2020-08-18 | 南昌黑鲨科技有限公司 | 一种输入操作处理方法、处理装置及计算机可读存储介质 |
| CN110750370B (zh) * | 2019-10-17 | 2022-06-14 | Oppo（重庆）智能科技有限公司 | 信息处理方法及装置、设备、存储介质 |
| CN110898424B (zh) * | 2019-10-21 | 2023-10-20 | 维沃移动通信有限公司 | 一种显示控制方法及电子设备 |
| CN110865894B (zh) * | 2019-11-22 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 跨终端控制应用程序的方法及装置 |
| CN111399739B (zh) * | 2020-03-11 | 2022-04-19 | 努比亚技术有限公司 | 触摸事件转换处理方法、终端和计算机可读存储介质 |
| CN112214264A (zh) * | 2020-10-10 | 2021-01-12 | 交通运输部规划研究院 | Ais交互操作处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508675A (zh) * | 2011-12-28 | 2012-06-20 | Tcl集团股份有限公司 | 基于android平台鼠标移动的响应处理方法及装置 |
| US20140121010A1 (en) * | 2012-10-29 | 2014-05-01 | Nishith Shah | Method and system for video gaming using game-specific input adaptation |
| JP2014516185A (ja) * | 2012-04-27 | 2014-07-07 | 深▲セン▼瑞高信息技術有限公司 | タッチスクリーン用アプリケーションプログラムの仮想アイコン操作変換方法及びタッチスクリーン端末 |
| CN105893067A (zh) * | 2015-06-03 | 2016-08-24 | 福建创意嘉和软件有限公司 | 基于PC机实现运行Android系统应用的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120100900A1 (en) * | 2010-10-21 | 2012-04-26 | Aibelive Co., Ltd | Method for operating a mobile device to control a main Unit in playing a video game |
| CN103164265A (zh) * | 2011-12-16 | 2013-06-19 | 盛乐信息技术（上海）有限公司 | 基于Linux系统的输入事件处理方法和系统 |
| CN105477854B (zh) * | 2014-12-19 | 2019-04-02 | 广州爱九游信息技术有限公司 | 应用于智能终端的手柄控制方法、装置及系统 |
| CN106569829B (zh) * | 2016-11-10 | 2020-11-20 | 北京小鸟看看科技有限公司 | 触摸屏工作模式切换实现方法、触摸屏装置和头戴式设备 |
| CN106730820A (zh) * | 2016-12-12 | 2017-05-31 | 苏州蜗牛数字科技股份有限公司 | 一种适配多种游戏手柄的方法及Android终端设备 |
| CN107357560A (zh) * | 2017-04-28 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 交互处理方法及装置 |
| CN108008992B (zh) * | 2017-11-24 | 2020-08-18 | 南昌黑鲨科技有限公司 | 一种输入操作处理方法、处理装置及计算机可读存储介质 |
-
2017
- 2017-11-24 CN CN201711191433.XA patent/CN108008992B/zh active Active
-
2018
- 2018-10-24 EP EP18882068.2A patent/EP3702913A4/en not_active Withdrawn
- 2018-10-24 WO PCT/CN2018/111756 patent/WO2019100898A1/zh unknown
- 2018-10-24 JP JP2020528445A patent/JP2021504823A/ja active Pending
- 2018-10-24 KR KR1020207014913A patent/KR20200090785A/ko not_active Application Discontinuation
-
2020
- 2020-05-22 US US16/882,436 patent/US20200293385A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508675A (zh) * | 2011-12-28 | 2012-06-20 | Tcl集团股份有限公司 | 基于android平台鼠标移动的响应处理方法及装置 |
| JP2014516185A (ja) * | 2012-04-27 | 2014-07-07 | 深▲セン▼瑞高信息技術有限公司 | タッチスクリーン用アプリケーションプログラムの仮想アイコン操作変換方法及びタッチスクリーン端末 |
| US20140121010A1 (en) * | 2012-10-29 | 2014-05-01 | Nishith Shah | Method and system for video gaming using game-specific input adaptation |
| CN105893067A (zh) * | 2015-06-03 | 2016-08-24 | 福建创意嘉和软件有限公司 | 基于PC机实现运行Android系统应用的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3702913A1 (en) | 2020-09-02 |
| WO2019100898A1 (zh) | 2019-05-31 |
| CN108008992A (zh) | 2018-05-08 |
| CN108008992B (zh) | 2020-08-18 |
| EP3702913A4 (en) | 2021-08-04 |
| KR20200090785A (ko) | 2020-07-29 |
| US20200293385A1 (en) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021504823A (ja) | 入力操作処理方法、処理装置およびコンピュータ読み取り可能な記憶媒体 | |
| US9354919B2 (en) | Method and device for loading android virtual machine application | |
| CA2560747A1 (en) | Profile based capture component for monitoring events in applications | |
| WO2018077041A1 (zh) | 应用运行的方法及装置 | |
| CN110888615A (zh) | 用于Android系统双屏异显的多输入设备交互方法、装置及介质 | |
| CN107885635B (zh) | 黑屏检测方法、移动终端及计算机可读存储介质 | |
| CN108009033B (zh) | 模拟触控方法、装置和移动终端 | |
| EP2807541B1 (en) | Image-based application automation | |
| WO2022222510A1 (zh) | 交互控制方法、终端设备及存储介质 | |
| US20150074609A1 (en) | Image-based application automation | |
| EP0538745B1 (en) | Method for buffering high bandwidth data from an input device | |
| CN115454296B (zh) | 一种跨运行环境的用户行为智能融合方法 | |
| CN107423187B (zh) | 一种屏幕监控方法、装置及系统 | |
| CN109766028B (zh) | 一种红外触摸屏触控分管系统和方法 | |
| CN110837465A (zh) | 一种基于Android的句柄泄露检测方法及其系统 | |
| CN115469937A (zh) | 插件运行方法、装置、电子设备及存储介质 | |
| CN113961064A (zh) | 基于工作站的设备交互控制方法、装置、设备及存储介质 | |
| CN106970884B (zh) | 应用于安卓系统运行层处理串口命令的方法及装置 | |
| CN110794986A (zh) | 基于红外触控框的会议平板控制方法、装置及会议平板 | |
| CN113672289B (zh) | 一种文件打开方法及设备 | |
| CN108920944B (zh) | 辅助点击事件的检测方法、装置、计算机设备及存储介质 | |
| CN110008039B (zh) | 接口控制方法、装置、计算机可读存储介质和计算机设备 | |
| CN113127069B (zh) | 基于双系统的位置服务管理方法、装置和终端设备 | |
| CN107908519B (zh) | 卡屏检测方法、移动终端及计算机可读存储介质 | |
| CN115344189A (zh) | 通过虚拟小屏对大屏进行触控的方法、装置、电子书写设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221121 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230615 |