JP2021517328A - 仮想入力装置によりｐｃをリモートコントロールする方法及びシステム - Google Patents

仮想入力装置によりｐｃをリモートコントロールする方法及びシステム Download PDF

Info

Publication number
JP2021517328A
JP2021517328A JP2020568020A JP2020568020A JP2021517328A JP 2021517328 A JP2021517328 A JP 2021517328A JP 2020568020 A JP2020568020 A JP 2020568020A JP 2020568020 A JP2020568020 A JP 2020568020A JP 2021517328 A JP2021517328 A JP 2021517328A
Authority
JP
Japan
Prior art keywords
gui
input
input gui
virtual
custom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020568020A
Other languages
English (en)
Inventor
政 王
政 王
氷雁 楊
氷雁 楊
淑英 劉
淑英 劉
義磊 柴
義磊 柴
美龍 姚
美龍 姚
Original Assignee
上海達龍信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海達龍信息科技有限公司 filed Critical 上海達龍信息科技有限公司
Publication of JP2021517328A publication Critical patent/JP2021517328A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本発明は、仮想入力装置によりＰＣをリモートコントロールする方法を提供する。当該方法は、モバイル端末デバイスがＰＣ端末にリモートログインしたあと、モバイル端末デバイスにおいて仮想入力装置を起動させる。そして、仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了する。また、上記の方法を実行するシステムは、モバイル端末デバイスと仮想入力装置を含み、前記モバイル端末デバイスがＰＣ端末にリモートログインしたあと、モバイル端末デバイスにおいて仮想入力装置を起動させる。前記仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了する。本発明によれば、ユーザはモバイル端末デバイスを通じてＰＣのデスクトップにリモートアクセスし、関連の操作を行うことが可能である。また、ユーザが周辺機器を購入する必要もない。

Description

本発明はＰＣをコントロールする方法に関し、特に、仮想入力装置によりＰＣをリモートコントロールする方法及びシステムに関する。
科学技術やテクノロジーが進歩を続け、スマートモバイル端末デバイスの普及が進むなかで、各社製の携帯電話、タブレット、ウェアラブルスマートデバイスが続々と登場している。しかし、これらは例外なくソフトウェアキーボード（仮想キーボード）によってユーザによる端末アプリへの情報入力を実現している。ユーザはスマートモバイル端末デバイスのソフトウェアキーボードを用いてキー操作を行うが、各種ソフトウェアキーボードのレイアウトや設計はそれぞれ微妙に異なっており、ソフトウェアによってはソフトウェアキーボードのカスタマイズが可能な場合もある。しかし、こうした数々の技術はいずれもモバイル端末デバイスのアプリを対象として実現されている。これに対し、現在はクラウドコンピューティングの発展に伴って、少数の会社がモバイル端末デバイスを用いたＰＣデスクトップへのリモートアクセスを実現しており、ローカルＰＣを操作するのと同様に、例えば、ＰＣゲーム、ソーシャルソフトウェア、オフィスソフトといったＰＣデスクトップのアプリケーションをモバイル端末デバイスを使って操作可能としている。しかし、現在のところ、このような新たな事業分野の発展に対し、各メーカーは、例えば物理的キーボードやマウス、ゲームコントローラといった周辺機器を用いた入力操作を採用しており、これに対して革新的な方策を打ち出しているメーカーは今のところ存在しない。即ち、モバイル端末デバイスでＰＣのリモートデスクトップにリモートアクセスしてコントロールする際に、仮想入力装置でＰＣ端末をコントロールすることで、周辺機器を必要とせず、時間や場所を選ばずにモバイル端末デバイスとＰＣ端末とのシームレスハンドオーバーを実現可能とするような開発はなされていない。
上記の課題に存在する瑕疵に対し、本発明は、ユーザがモバイル端末デバイスでＰＣのデスクトップにリモートアクセスして関連のコントロールを実行可能であり、且つ、ユーザが周辺機器を購入する必要のない、時間の節約、費用の節約、時間や場所を選ばずに使用できるとの特性を有する仮想入力装置によりＰＣをリモートコントロールする方法及びシステムを提供する。
上記の目的を実現するために、本発明は、仮想入力装置によりＰＣをリモートコントロールする方法を提供する。当該方法は、以下のステップを含む。
ステップ１：モバイル端末デバイスがＰＣ端末にリモートログインしたあと、モバイル端末デバイスにおいて仮想入力装置を起動させる。
ステップ２：仮想入力装置で初期化入力ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了する。
上記の仮想入力装置によりＰＣをリモートコントロールする方法において、ステップ２では、以下のステップによって初期化入力ＧＵＩとカスタム入力ＧＵＩの選択を実現する。
ステップ２ａ：仮想入力装置にログインしたあと、入力ＧＵＩ選択画面に進む。
ステップ２ｂ：入力ＧＵＩ選択画面に進んだあと、初期化入力ＧＵＩ又は現在のカスタム入力ＧＵＩを選択する。初期化入力ＧＵＩの使用を選択する場合にはステップ２ｃに進み、選択しない場合にはステップ２ｄに進む。
ステップ２ｃ：初期化入力ＧＵＩの使用を選択したあと、初期化入力ＧＵＩ内のキーを使用して、そのままステップ２ｈに進む。
ステップ２ｄ：初期化入力ＧＵＩに不満な場合、或いは、現在のカスタム入力ＧＵＩに不満な場合には、新たなカスタム入力ＧＵＩを再設定可能である。
ステップ２ｅ：新たなカスタム入力ＧＵＩの設定完了後は、現在の操作の放棄を選択し、そのままステップ２ｇに進んでもよい。一方、現在の設定の保存を選択する場合にはステップ２ｆに進む。
ステップ２ｆ：ユーザは、編集・設定済みのカスタム入力ＧＵＩに名前を付けて保存し、ステップ２ｈに進む。
ステップ２ｇ：仮想入力装置を終了する。
ステップ２ｈ：仮想入力装置を使用する。
上記の仮想入力装置によりＰＣをリモートコントロールする方法において、ステップ２ｄでは、以下のステップにより新たなカスタム入力ＧＵＩを再設定する。
仮想入力装置の編集画面で複数の所望のキーを選択する。
編集画面において、自身のニーズに基づき所望のキーの名称を設定するとともに、複数の所望のキーと入力ＧＵＩの表示効果とをレイアウトする。
編集済みの複数の所望のキーと入力ＧＵＩの表示効果とを保存することで、仮想入力装置のカスタム入力ＧＵＩを生成する。
上記の仮想入力装置によりＰＣをリモートコントロールする方法において、ステップ２ｅでは、新たなカスタム入力ＧＵＩの設定完了後に、ほかのユーザによる選択、ダウンロード使用、評価、シェア及び編集に供するべく、新たなカスタム入力ＧＵＩをカスタムＧＵＩサーバに送信可能である。
上記の仮想入力装置によりＰＣをリモートコントロールする方法において、カスタム入力ＧＵＩにおいて所望のキーについて実施されるレイアウトには、入力ＧＵＩにおける所望のキーの位置、所望のキーのサイズ、所望のキーの色、及び所望のキーの形状等の設定が含まれる。また、入力ＧＵＩの表示効果について実施されるレイアウトには、入力ＧＵＩのスタイルの設定が含まれる。
上記の仮想入力装置によりＰＣをリモートコントロールする方法において、前記カスタム入力ＧＵＩには、物理的キーボード、物理的マウス又は物理的コントローラの少なくとも１つが含まれる。前記物理的キーボードは、文字キー、ファンクションキー、方向キー及びテンキー等のキーのうち少なくとも１つを含む。前記物理的マウスは、キー及び／又はスクロールホイールを含む。前記物理的コントローラは、キー及び／又はジョイスティックを含む。
本発明は、更に、仮想入力装置によりＰＣをリモートコントロールするシステムを提供する。当該システムは、モバイル端末デバイスと仮想入力装置を含む。
前記モバイル端末デバイスがＰＣ端末にリモートログインしたあと、モバイル端末デバイスにおいて仮想入力装置を起動させる。
前記仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了する。
上記のシステムにおいて、前記カスタム入力ＧＵＩには、物理的キーボード、物理的マウス又は物理的コントローラの少なくとも１つが含まれる。
前記物理的キーボードは、文字キー、ファンクションキー、方向キー及びテンキー等のキーのうち少なくとも１つを含む。
前記物理的マウスは、キー及び／又はスクロールホイールを含む。
前記物理的コントローラは、キー及び／又はジョイスティックを含む。
上記のシステムにおいて、前記モバイル端末デバイスには、スマートフォン、タブレットＰＣ及びその他のタッチ式スマートモバイルデバイスが含まれる。
上記のシステムにおいて、カスタムＧＵＩサーバを更に含み、新たなカスタム入力ＧＵＩの設定完了後に、ほかのユーザによる選択、ダウンロード使用、評価、シェア及び編集に供するべく、仮想入力装置を通じて新たなカスタム入力ＧＵＩをカスタムＧＵＩサーバに送信する。
従来技術と比較して、本発明は以下の利点を有する。
本発明は、従来の仮想入力装置の欠点に鑑みて、ユーザの使用ニーズを解決した。ＰＣ端末の各アプリケーションに必要な入力デバイス、ユーザの個性等の面から検討した結果、ユーザがモバイル端末デバイスを通じてＰＣのデスクトップにリモートアクセスし、関連のコントロールを行えるようにするとともに、ユーザによる周辺機器の購入も不要とした。これにより、時間の節約、費用の節約、時間や場所を選ばずに使用できるとの特性が備わるとともに、ユーザのパーソナライズニーズも達成可能となる。
図１は、本発明の方法の一部のフローチャートである。 図２は、本発明において２種類の入力ＧＵＩを選択する際のフローチャートである。 図３は、本発明において新たなカスタム入力ＧＵＩを再設定する際のフローチャートである。 図４は、本発明のシステム部分の構造のブロック図である。
図１〜図３に示すように、本発明は、仮想入力装置によりＰＣをリモートコントロールする方法を提供する。当該方法は、以下のステップを含む。
ステップ１：モバイル端末デバイスがＰＣ端末にリモートログインしたあと、モバイル端末デバイスにおいて仮想入力装置を起動させる。
ステップ２：仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了する。
ステップ２では、以下のステップによって初期化入力ＧＵＩとカスタム入力ＧＵＩの選択を実現する。
ステップ２ａ：仮想入力装置にログインしたあと、入力ＧＵＩ選択画面に進む。
ステップ２ｂ：入力ＧＵＩ選択画面に進んだあと、初期化入力ＧＵＩ又は現在のカスタム入力ＧＵＩを選択する。初期化入力ＧＵＩの使用を選択する場合にはステップ２ｃに進み、選択しない場合にはステップ２ｄに進む。
ステップ２ｃ：初期化入力ＧＵＩの使用を選択したあと、初期化入力ＧＵＩ内のキーを使用して、そのままステップ２ｈに進む。
ステップ２ｄ：初期化入力ＧＵＩに不満な場合、或いは、現在のカスタム入力ＧＵＩに不満な場合には、新たなカスタム入力ＧＵＩを再設定可能である。
ステップ２ｅ：新たなカスタム入力ＧＵＩの設定完了後は、現在の操作の放棄を選択し、そのままステップ２ｇに進んでもよい。一方、現在の設定の保存を選択する場合にはステップ２ｆに進む。
ステップ２ｆ：ユーザは、編集・設定済みのカスタム入力ＧＵＩに名前を付けて保存し、ステップ２ｈに進む。
ステップ２ｇ：仮想入力装置を終了する。
ステップ２ｈ：仮想入力装置を使用する。
また、ステップ２ｂ及びステップ２ｄにおいて、現在のカスタム入力ＧＵＩと新たなカスタム入力ＧＵＩはいずれも以下のステップで生成される。
仮想入力装置の編集画面で複数の所望のキーを選択する。
編集画面において、自身のニーズに基づき所望のキーの名称を設定するとともに、複数の所望のキーと入力ＧＵＩの表示効果とをレイアウトする。
編集済みの複数の所望のキーと入力ＧＵＩの表示効果とを保存することで、仮想入力装置のカスタム入力ＧＵＩを生成する。
また、ステップ２ｅでは、新たなカスタム入力ＧＵＩの設定完了後に、新たなカスタム入力ＧＵＩをカスタムＧＵＩサーバに送信可能である。
カスタム入力ＧＵＩにおいて所望のキーについて実施されるレイアウトには、入力ＧＵＩにおける所望のキーの位置、所望のキーのサイズ、所望のキーの色、及び所望のキーの形状の設定が含まれる。
入力ＧＵＩの表示効果について実施されるレイアウトには、入力ＧＵＩのスタイルの設定が含まれる。
入力ＧＵＩのスタイルには、入力ＧＵＩの色、サイズ、形状等が含まれる。
また、カスタム入力ＧＵＩには、物理的キーボード、物理的マウス又は物理的コントローラの少なくとも１つが含まれる。
物理的キーボードは、文字キー、ファンクションキー、方向キー及びテンキー等のキーのうち少なくとも１つを含む。
物理的マウスは、キー及び／又はスクロールホイールを含む。
物理的コントローラは、キー及び／又はジョイスティックを含む。
図４に示すように、本発明は、仮想入力装置によりＰＣをリモートコントロールするシステムを更に提供する。当該システムは、モバイル端末デバイス１と仮想入力装置２を含む。
モバイル端末デバイス１がＰＣ端末３にリモートログインしたあと、モバイル端末デバイス１において仮想入力装置２を起動させる。
仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了する。
仮想入力装置では、以下のステップによって初期化入力ＧＵＩとカスタム入力ＧＵＩの選択を実現する。
仮想入力装置にログインしたあと、入力ＧＵＩ選択画面に進む。
入力ＧＵＩ選択画面に進んだあと、初期化入力ＧＵＩ又は現在のカスタム入力ＧＵＩを選択する。初期化入力ＧＵＩの使用を選択する場合には、入力ＧＵＩ選択画面における初期化入力ＧＵＩ選択ボタンをクリックすることで初期化入力ＧＵＩに進む。
初期化入力ＧＵＩに不満な場合、或いは、現在のカスタム入力ＧＵＩに不満な場合には、新たなカスタム入力ＧＵＩを再設定可能である。
新たなカスタム入力ＧＵＩの設定完了後は、現在の操作の放棄を選択し、そのまま仮想入力装置を終了してもよい。
また、現在の設定を保存する旨を選択した場合、ユーザは編集・設定済みのカスタム入力ＧＵＩに名前を付けて保存する。保存後は、カスタム入力ＧＵＩの使用状態に進む旨をそのまま選択してもよいし、次に仮想入力装置にログインしたときに、カスタム入力ＧＵＩをそのまま使用する旨又はカスタム入力ＧＵＩを編集する旨を選択してもよい。
現在のカスタム入力ＧＵＩと新たなカスタム入力ＧＵＩは、いずれも以下のステップで生成される。
仮想入力装置の編集画面で複数の所望のキーを選択する。
編集画面において、自身のニーズに基づき所望のキーの名称を設定するとともに、複数の所望のキーと入力ＧＵＩの表示効果とをレイアウトする。
編集済みの複数の所望のキーと入力ＧＵＩの表示効果とを保存することで、仮想入力装置のカスタム入力ＧＵＩを生成する。
カスタム入力ＧＵＩにおいて所望のキーについて実施されるレイアウトには、入力ＧＵＩにおける所望のキーの位置、所望のキーのサイズ、所望のキーの色、及び所望のキーの形状の設定が含まれる。
入力ＧＵＩの表示効果について実施されるレイアウトには、入力ＧＵＩのスタイルの設定が含まれる。入力ＧＵＩのスタイルには、入力ＧＵＩの色、サイズ、形状等が含まれる。
また、カスタム入力ＧＵＩには、物理的キーボード、物理的マウス又は物理的コントローラの少なくとも１つが含まれる。
物理的キーボードは、文字キー、ファンクションキー、方向キー及びテンキー等のキーのうち少なくとも１つを含む。
物理的マウスは、キー及び／又はスクロールホイールを含む。
物理的コントローラは、キー及び／又はジョイスティックを含む。
本発明によれば、モバイル端末デバイスは、周辺機器のない条件でＰＣの各種アプリケーションをリモートコントロール可能となる。なお、モバイル端末デバイスには、スマートフォン、タブレットＰＣ及びその他のタッチ式スマートデバイスが含まれるがこれらに限らない。
本発明における仮想入力装置は、ユーザの各種ニーズを満たすために、予めセットされたソフトウェアキーボード、各種ゲームの汎用キー配列及びゲーム個別の専用キー配列からなる初期化入力ＧＵＩと、ユーザが実際のニーズに基づいて所望のキーをレイアウトして形成したカスタム入力ＧＵＩを提供可能である。
また、カスタムＧＵＩサーバ４を更に含み、新たなカスタム入力ＧＵＩの設定完了後に、仮想入力装置２を通じて新たなカスタム入力ＧＵＩをカスタムＧＵＩサーバ４に送信する。
仮想入力装置はカスタムＧＵＩサーバと情報のやりとりが可能であるため、ユーザは、自身が構築した、且つ使用効果に満足しているカスタム入力ＧＵＩを仮想入力装置を通じてカスタムＧＵＩサーバにアップロード可能である。ほかのユーザは、これを装置から直接ダウンロードして使用したり、編集操作の後に保存して使用するとともに、元のアップロード作品に「いいね」をクリックしたり、評価したり等の操作を実行可能である。
ユーザがカスタマイズして構築する仮想入力装置のキーには、所望のキーの内容、個数、位置（スクリーンの任意の位置へドラッグ可能であり、限定されない）、サイズ、レイアウト及びキー形式等が設定されており、更に、キーの色や風合い等をパーソナライズ設定して保存することも可能である。また、保存後に設定を修正したい場合には、元々保存していたものをベースに引き続き編集操作を行うことも可能である。
本発明の目的は、モバイル端末デバイスを用いてＰＣのデスクトップにリモートアクセスしたいが周辺機器を持っていないユーザを対象として開発を行うことである。これまでの従来技術では、少数のモバイル端末でカスタマイズした仮想キーボードは、例えばソーシャルチャットやネットワークアクセスといったモバイル端末のアプリにしか適用されていなかった。また、各種スマホゲームには、ゲームメーカーが自身で開発したゲーム操作装置が配備されているため、現在既知であるモバイル端末のカスタムキーボードは応用範囲が広いとはいえず、大変局限されている。これに対し、本発明では、周辺機器がない状況でＰＣ端末にリモートアクセスするための仮想キーボード（ファンクションキー、文字キー、方向キー、記号キー、テンキー等を含む）、仮想マウス、仮想コントローラを含むカスタム入力ＧＵＩをユーザに提供することで、コミュニケーション、ネットワークアクセス、ＰＣゲームにおけるアクセシビリティを実現する。また、更には、ユーザのＰＣ使用習慣や特定タスク、手触り等に基づいてカスタマイズ設定を行い、ユーザのパーソナライズニーズを満たすことが可能なため、ユーザはより容易且つ柔軟な操作が可能となる。
以上は本発明の好ましい実施例にすぎず、発明を説明するためのものであって、限定を意図していない。当業者であれば理解可能なように、特許請求の範囲で限定する精神及び範囲内において様々な変形や修正、ひいては等価性の実現が可能であり、これらはいずれも本発明の保護の範囲に含まれる。
１ モバイル端末デバイス
２ 仮想入力装置
３ ＰＣ端末
４ カスタムＧＵＩサーバ

Claims (10)

  1. 仮想入力装置によりＰＣをリモートコントロールする方法であって、
    モバイル端末デバイスがＰＣ端末にリモートログインしたあと、モバイル端末において仮想入力装置を起動させるステップ１と、
    仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了するステップ２とを含む方法。
  2. ステップ２において、初期化入力ＧＵＩとカスタム入力ＧＵＩの選択は、
    仮想入力装置にログインしたあと、入力ＧＵＩ選択画面に進むステップ２ａと、
    入力ＧＵＩ選択画面に進んだあと、初期化入力ＧＵＩ又は現在のカスタム入力ＧＵＩを選択するステップであって、初期化入力ＧＵＩの使用を選択する場合にはステップ２ｃに進み、選択しない場合にはステップ２ｄに進むステップ２ｂと、
    初期化入力ＧＵＩの使用を選択したあと、初期化入力ＧＵＩ内のキーを使用して、そのままステップ２ｈに進むステップ２ｃと、
    初期化入力ＧＵＩに不満な場合、或いは、現在のカスタム入力ＧＵＩに不満な場合には、新たなカスタム入力ＧＵＩを再設定可能であるステップ２ｄと、
    新たなカスタム入力ＧＵＩの設定完了後は、現在の操作の放棄を選択し、そのままステップ２ｇに進んでもよく、現在の設定の保存を選択する場合にはステップ２ｆに進むステップ２ｅと、
    ユーザが、編集・設定済みのカスタム入力ＧＵＩに名前を付けて保存し、ステップ２ｈに進むステップ２ｆと、
    仮想入力装置を終了するステップ２ｇと、
    仮想入力装置を使用するステップ２ｈと、
    によって実現されることを特徴とする請求項１に記載の仮想入力装置によりＰＣをリモートコントロールする方法。
  3. ステップ２ｂ及びステップ２ｄにおいて、現在のカスタム入力ＧＵＩと新たなカスタム入力ＧＵＩは、
    仮想入力装置の編集画面で複数の所望のキーを選択し、
    編集画面において、自身のニーズに基づき所望のキーの名称を設定するとともに、複数の所望のキーと入力ＧＵＩの表示効果とをレイアウトし、
    編集済みの複数の所望のキーと入力ＧＵＩの表示効果とを保存することで、仮想入力装置のカスタム入力ＧＵＩを生成する、
    とのステップで生成されることを特徴とする請求項２に記載の仮想入力装置によりＰＣをリモートコントロールする方法。
  4. ステップ２ｅでは、新たなカスタム入力ＧＵＩの設定完了後に、ほかのユーザによる選択、ダウンロード使用、評価、シェア及び編集に供するべく、新たなカスタム入力ＧＵＩをカスタムＧＵＩサーバに送信可能であることを特徴とする請求項３に記載の仮想入力装置によりＰＣをリモートコントロールする方法。
  5. カスタム入力ＧＵＩにおいて所望のキーについて実施されるレイアウトには、入力ＧＵＩにおける所望のキーの位置、所望のキーのサイズ、所望のキーの色、及び所望のキーの形状等の設定が含まれ、
    入力ＧＵＩの表示効果について実施されるレイアウトには、入力ＧＵＩのスタイルの設定が含まれることを特徴とする請求項４に記載の仮想入力装置によりＰＣをリモートコントロールする方法。
  6. 前記カスタム入力ＧＵＩには、物理的キーボード、物理的マウス又は物理的コントローラの少なくとも１つが含まれ、
    前記物理的キーボードは、文字キー、ファンクションキー、方向キー及びテンキー等のキーのうち少なくとも１つを含み、
    前記物理的マウスは、キー及び／又はスクロールホイールを含み、
    前記物理的コントローラは、キー及び／又はジョイスティックを含むことを特徴とする請求項１乃至５のいずれかに記載の仮想入力装置によりＰＣをリモートコントロールする方法。
  7. 請求項１に記載の仮想入力装置によりＰＣをリモートコントロールする方法を実行するシステムであって、
    モバイル端末デバイスと仮想入力装置を含み、
    前記モバイル端末デバイスがＰＣ端末にリモートログインしたあと、前記モバイル端末デバイスにおいて仮想入力装置を起動させ、
    前記仮想入力装置で初期化入力ＧＵＩ又はカスタム入力ＧＵＩを選択したあと、入力ＧＵＩ内のキーをクリックし、入力した要求に基づいて当該キーに対応する仮想キーコードを呼び出すことで、対応するコントロールを完了することを特徴とするシステム。
  8. 前記カスタム入力ＧＵＩには、物理的キーボード、物理的マウス又は物理的コントローラの少なくとも１つが含まれ、
    前記物理的キーボードは、文字キー、ファンクションキー、方向キー及びテンキー等のキーのうち少なくとも１つを含み、
    前記物理的マウスは、キー及び／又はスクロールホイールを含み、
    前記物理的コントローラは、キー及び／又はジョイスティックを含むことを特徴とする請求項７に記載のシステム。
  9. 前記モバイル端末デバイスには、スマートフォン、タブレットＰＣ及びその他のタッチ式スマートモバイルデバイスが含まれることを特徴とする請求項７に記載のシステム。
  10. カスタムＧＵＩサーバを更に含み、新たなカスタム入力ＧＵＩの設定完了後に、ほかのユーザによる選択、ダウンロード使用、評価、シェア及び編集に供するべく、仮想入力装置を通じて新たなカスタム入力ＧＵＩをカスタムＧＵＩサーバに送信することを特徴とする請求項７に記載のシステム。
JP2020568020A 2018-09-30 2019-08-22 仮想入力装置によりｐｃをリモートコントロールする方法及びシステム Pending JP2021517328A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811154833.8 2018-09-30
CN201811154833.8A CN109358937A (zh) 2018-09-30 2018-09-30 一种基于虚拟输入装置远程操控pc的方法及系统
PCT/CN2019/101984 WO2020063214A1 (zh) 2018-09-30 2019-08-22 一种基于虚拟输入装置远程操控pc的方法及系统

Publications (1)

Publication Number Publication Date
JP2021517328A true JP2021517328A (ja) 2021-07-15

Family

ID=65348609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568020A Pending JP2021517328A (ja) 2018-09-30 2019-08-22 仮想入力装置によりｐｃをリモートコントロールする方法及びシステム

Country Status (4)

Country Link
US (2) US20200364066A1 (ja)
JP (1) JP2021517328A (ja)
CN (1) CN109358937A (ja)
WO (1) WO2020063214A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358937A (zh) 2018-09-30 2019-02-19 上海达龙信息科技有限公司 一种基于虚拟输入装置远程操控pc的方法及系统
CN110175059A (zh) * 2019-04-16 2019-08-27 上海达龙信息科技有限公司 基于陀螺仪的远程桌面操控方法及系统、存储介质、服务器
CN111103532A (zh) * 2019-12-13 2020-05-05 青岛海信智慧家居系统股份有限公司 一种智能按键面板检测触点的方法及装置
CN113918080B (zh) * 2021-09-09 2024-03-29 西安震有信通科技有限公司 一种虚拟键盘的控制方法、系统及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341813A (ja) * 2003-05-15 2004-12-02 Casio Comput Co Ltd 入力装置表示制御方法及び入力装置
JP2009512047A (ja) * 2005-10-11 2009-03-19 アブデルラヒム エンナディ タッチスクリーン式ユニバーサルキーボード
JP2011523736A (ja) * 2008-05-15 2011-08-18 マイクロソフト コーポレーション データビューア管理
JP2013219610A (ja) * 2012-04-10 2013-10-24 Asuko:Kk 情報処理装置、情報処理方法およびキーボード作成システム
JP2014137671A (ja) * 2013-01-16 2014-07-28 Japan Digital Laboratory Co Ltd リモートアクセス制御システム、方法、およびプログラム
JP2015513159A (ja) * 2012-03-27 2015-04-30 株式会社エムエル情報技術Ｍｌｉｎｆｏｔｅｃｈ Ｃｏ．， Ｌｔｄ 個人化仮想キーボード提供方法
WO2017091411A1 (en) * 2015-11-26 2017-06-01 Citrix Systems, Inc. Synchronizing a server-side keyboard layout with a client-side keyboard layout in a virtual session

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US7770135B2 (en) * 2002-10-18 2010-08-03 Autodesk, Inc. Tracking menus, system and method
CN1786887A (zh) * 2004-12-08 2006-06-14 上海环达计算机科技有限公司 在个人数字助理上实现个人计算机远程操作的方法
US8413075B2 (en) * 2008-01-04 2013-04-02 Apple Inc. Gesture movies
US20100192102A1 (en) * 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
EP2553561A4 (en) * 2010-04-01 2016-03-30 Citrix Systems Inc INTERACTION WITH REMOTE APPLICATIONS DISPLAYED ON A VIRTUAL DESKTOP OF A TABLET COMPUTER DEVICE
US20140055400A1 (en) * 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
KR101811755B1 (ko) * 2011-07-15 2018-01-26 엘지전자 주식회사 이동 단말기
US9116611B2 (en) * 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
CN103513896B (zh) * 2012-06-20 2017-03-08 Tcl集团股份有限公司 一种自定义电子终端的虚拟键盘的方法及系统
CN108958685B (zh) * 2012-09-10 2021-11-02 三星电子株式会社 连接移动终端和外部显示器的方法和实现该方法的装置
CN102866848B (zh) * 2012-09-13 2015-01-21 电子科技大学 基于wifi的云教室智能教鞭的控制方法
US9195368B2 (en) * 2012-09-13 2015-11-24 Google Inc. Providing radial menus with touchscreens
KR20140132917A (ko) * 2013-05-09 2014-11-19 삼성전자주식회사 휴대 전자기기와 연결 가능한 부가 장치를 통한 표시 방법 및 장치
CN103345303B (zh) * 2013-06-19 2016-10-05 华南理工大学 一种用智能移动设备全替代鼠标键盘的系统及实现方法
KR101558354B1 (ko) * 2013-11-13 2015-10-20 현대자동차 주식회사 차량용 블라인드 콘트롤 시스템
US20150138089A1 (en) * 2013-11-15 2015-05-21 TabiTop, LLC Input devices and methods
CN103607618A (zh) * 2013-11-21 2014-02-26 乐视致新电子科技（天津）有限公司 智能电视中游戏控制方法和装置
US9197697B2 (en) * 2014-03-10 2015-11-24 Gazoo, Inc. Cloud computing system and method
CN104281385B (zh) * 2014-09-17 2017-03-15 北京搜狗科技发展有限公司 输入法虚拟键盘的调整方法和输入法装置
US20160371048A1 (en) * 2015-06-16 2016-12-22 T1V, Inc. Remote gesture control, input monitor, systems including the same, and associated methods
CN105653189A (zh) * 2015-12-28 2016-06-08 网宿科技股份有限公司 基于智能终端的虚拟主机手柄的方法及系统
CN106227416A (zh) * 2016-08-05 2016-12-14 上海贝锐信息科技有限公司 一种远程桌面虚拟鼠标控制方法及系统
US11169831B1 (en) * 2017-11-27 2021-11-09 Parallels International Gmbh System and method for providing a customized graphical user interface based on user inputs
CN109358937A (zh) * 2018-09-30 2019-02-19 上海达龙信息科技有限公司 一种基于虚拟输入装置远程操控pc的方法及系统
US11579830B2 (en) * 2018-10-31 2023-02-14 International Business Machines Corporation Displaying a window of a remote desktop computer on a mobile device with a native layout
US11093046B2 (en) * 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
IL294963A (en) * 2020-01-22 2022-09-01 Methodical Mind Llc Graphical user interface system
US11860766B2 (en) * 2021-10-08 2024-01-02 Microsoft Technology Licensing, Llc What-if analysis for notebooks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341813A (ja) * 2003-05-15 2004-12-02 Casio Comput Co Ltd 入力装置表示制御方法及び入力装置
JP2009512047A (ja) * 2005-10-11 2009-03-19 アブデルラヒム エンナディ タッチスクリーン式ユニバーサルキーボード
JP2011523736A (ja) * 2008-05-15 2011-08-18 マイクロソフト コーポレーション データビューア管理
JP2015513159A (ja) * 2012-03-27 2015-04-30 株式会社エムエル情報技術Ｍｌｉｎｆｏｔｅｃｈ Ｃｏ．， Ｌｔｄ 個人化仮想キーボード提供方法
JP2013219610A (ja) * 2012-04-10 2013-10-24 Asuko:Kk 情報処理装置、情報処理方法およびキーボード作成システム
JP2014137671A (ja) * 2013-01-16 2014-07-28 Japan Digital Laboratory Co Ltd リモートアクセス制御システム、方法、およびプログラム
WO2017091411A1 (en) * 2015-11-26 2017-06-01 Citrix Systems, Inc. Synchronizing a server-side keyboard layout with a client-side keyboard layout in a virtual session

Also Published As

Publication number Publication date
WO2020063214A1 (zh) 2020-04-02
CN109358937A (zh) 2019-02-19
US11907741B2 (en) 2024-02-20
US20220188054A1 (en) 2022-06-16
US20200364066A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
JP2021517328A (ja) 仮想入力装置によりｐｃをリモートコントロールする方法及びシステム
KR101017099B1 (ko) 통신 단말기를 사용해 데이터를 전송하기 위한 사용자인터페이스
TWI360107B (en) Display method of graphical user interface for han
US20200042110A1 (en) Controlling a local application running on a user device that displays a touchscreen image on a touchscreen via mouse input from external electronic equipment
US20070013665A1 (en) Method for shifting a shortcut in an electronic device, a display unit of the device, and an electronic device
KR100490373B1 (ko) 포인팅 장치를 구비한 이동 단말의 사용자 인터페이스구동 방법 및 장치
WO2017152654A1 (zh) 计算器应用的数据处理方法和装置
CN105190523A (zh) 通过与便携式电子设备可连接的子设备显示用户界面的方法和装置
US20140218289A1 (en) Electronic device with control interface and methods therefor
KR20180111397A (ko) 외부 입력장치를 이용한 게임 가상 컨트롤러 생성 및 매핑 방법
WO2012155479A1 (zh) 一种触摸屏键盘调整方法、装置及终端
WO2017128849A1 (zh) 一种自定义键盘的布局方法及装置
CN107438835A (zh) 实现对另一操作系统操作的方法、装置及电子设备
TWI770429B (zh) 具有多種圖形化使用者介面之股票報價裝置與方法
WO2013149421A1 (zh) 一种处理键盘输入的方法及设备
WO2011140752A1 (zh) 电子装置及获取用户操作的方法
CN112274910A (zh) 虚拟按键配置方法、虚拟按键方法及相关装置
KR20170103379A (ko) 반응형 유저인터페이스 제공 방법
JP3192299U (ja) リモート操作システム
JP2015158914A (ja) スクリーンショットを用いた移動体通信端末の遠隔サポート方法
JP6963851B2 (ja) インタラクティブキーボード提供方法及びそのシステム
CN104317606A (zh) 远程操作系统
TW201445370A (zh) 應用遙控器的快捷輸入系統及方法
KR20200069703A (ko) 가상키보드에 입력창을 동적으로 변화시키는 입력시스템 및 입력방법
KR102055181B1 (ko) 매크로 복합 리모콘

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220425