JP2022523989A - Ｕｉコンポーネントを表示するための方法及び電子デバイス - Google Patents

Ｕｉコンポーネントを表示するための方法及び電子デバイス Download PDF

Info

Publication number
JP2022523989A
JP2022523989A JP2021552668A JP2021552668A JP2022523989A JP 2022523989 A JP2022523989 A JP 2022523989A JP 2021552668 A JP2021552668 A JP 2021552668A JP 2021552668 A JP2021552668 A JP 2021552668A JP 2022523989 A JP2022523989 A JP 2022523989A
Authority
JP
Japan
Prior art keywords
component
information
display
application
destination device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021552668A
Other languages
English (en)
Inventor
ファン，ジェンホワ
ツァオ，ユエン
シャオ，ティエンユイ
ジャーン，ジーン
リン，ヨウホゥイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022523989A publication Critical patent/JP2022523989A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

この出願は、送信元デバイスのＵＩコンポーネントを宛先デバイス、送信元デバイス、及び宛先デバイス上で表示するための方法を提供する。本方法では、送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールをＵＩコンポーネント内に組み合わせることができ、ＵＩコンポーネントを別の宛先デバイスに表示する。追加的に、宛先デバイスのＵＩコンポーネントに含まれる任意の機能コントロールに対して操作を行うことができ、操作結果を実行するために送信元デバイスに送信することができ、送信元デバイスと宛先デバイスとの操作整合性を確保する。本方法では、ユーザインターフェース及びサービスを複数の端末デバイス間で自由に送信することができ、第１のアプリケーションの機能コントロールを分割及び組み合わせ、複数の端末デバイス間で送信し、端末の複数の画面サイズに適応する。これは、使用を容易にし、ユーザ体験を改善する。

Description

この出願は、２０１９年３月６日に中国国家知的所有権管理局に出願され、「ＭＥＴＨＯＤ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＵＩ ＣＯＭＰＯＮＥＮＴ ＡＮＤ ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ」と題された中国特許出願第２０１９１０１６９５１３．８号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
この出願は、電子技術の分野に関し、特に、送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法、宛先デバイス、及び送信元デバイスに関する。
インテリジェント端末デバイスの普及と通信技術の発展に伴い、より多くのタイプのインテリジェント端末デバイスがあり、複数のインテリジェント端末を相互接続してネットワークを形成することにより、１つのデバイスの能力とサービスを他のデバイスで広く利用できるようにしている。例えば、携帯電話デバイスは車両搭載デバイスに相互接続される。モノのインターネット（ＩｏＴ）の発展に伴い、すべてのインターネット（ＩｏＥ）は今後の発展傾向である。すべてのインターネットは、携帯電話、時計、タブレットコンピュータ、スマートテレビ、パーソナルコンピュータ、及び車載端末間の自由な接続を実施する。
ユーザの様々なインテリジェント端末デバイスが相互接続されるときに、一般的なシナリオは、１つのインテリジェント端末デバイスが、別のインテリジェント端末デバイスの能力及びサービスを使用することである。例えば、インテリジェント端末デバイスＡが別のインテリジェント端末デバイスＢの能力を使用するときに、デバイスＡは、デバイスＢのインターフェースを直接表示し、操作を行う必要があることがある。しかし、特定の使用プロセスでは、デバイスＡの表示画面のサイズ及び機能がデバイスＢのものと異なるため、デバイスＡのインターフェースがデバイスＢ上で直接表示される。結果として、低下した表示効果が引き起こされ、デバイスＡの操作をデバイスＢに対して行うことができない。
この出願は、ＵＩコンポーネントを表示するための方法、送信元デバイス、及び宛先デバイスを提供する。本方法では、複数の端末デバイス間でユーザインターフェースとサービスを自由に送信することができ、アプリケーションの機能コントロールを分割及び結合し、複数の端末デバイス間で送信し、端末デバイスの複数の画面サイズに適応する。これは、使用を容易にし、ユーザ体験を改善する。
第１の態様によれば、送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法が提供される。この方法は、送信元デバイスが第１のＵＩコンポーネントを判定することを含む。第１のＵＩコンポーネントは、送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む。送信元デバイスは、第１のＵＩコンポーネントの設定情報を取得する。第１のＵＩコンポーネントの設定情報は、宛先デバイス上で第１のＵＩコンポーネントを表示する方式を示すために使用される。送信元デバイスは、第１のＵＩコンポーネントの設定情報を宛先デバイスに送信し、宛先デバイスは、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示するようにする。
上述の解決策によれば、アプリケーションの固有のインターフェースの表示モードは、送信元デバイスから宛先デバイスへＵＩコンポーネントを表示するプロセスにおいて変更することができる。アプリケーションの固有のインターフェースは、部分的に分割され、複数の端末デバイス間で送信される。本方法では、ユーザは、１つのインターフェース上で複数のアプリケーションの機能を閲覧することができ、ユーザは、複数のアプリケーションに対して同時に操作を行うようにサポートされる。ユーザは、宛先デバイス端で操作インターフェースでの操作を行うことができる。操作結果が実行のために送信元デバイスに送信され、送信元デバイスと宛先デバイスとの操作整合性を確保する。さらに、分割されたインターフェースは、端末デバイスの複数の表示画面サイズに適応し、より完全な表示を実施し、ユーザ体験を向上させることができる。
例えば、家事や調理の間、主婦は、携帯電話を使って、再生中の音楽を変更したり、プレイモードを設定したりすることは不便であるが、携帯電話の音楽アプリケーションのいくつかの機能コントロールをスマートウォッチの出力デバイス上に表示するように設定することができる。ユーザは、スマートウォッチの出力デバイスでの「次へ」などのコントロールをタップして再生中の曲を変更したり、停止コントロールをタップして音楽再生を停止したりすることができる。これは、ユーザの使用を非常に容易にする。この出願では、様々な可能なアプリケーションシナリオは制限されない。
第１の態様に関して、第１の態様のいくつかの実施態様では、送信元デバイスが第１のＵＩコンポーネントを判定することは、送信元デバイスが第１のインターフェースを表示し、第１のインターフェースでのユーザの第１の操作を検出し、送信元デバイスが第１の操作に応答して第１のＵＩコンポーネントを判定することを含む。
第１の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、 前記第１のインターフェースは、前記第１のアプリケーションの少なくとも１つの機能コントロールを含み、前記第１の操作は、前記ユーザが前記第１のインターフェースに表示される前記第１のＵＩコンポーネントを選択する操作であるか、又は第１のインターフェースは、前記第１のアプリケーションのＵＩコンポーネントリストを含み、前記ＵＩコンポーネントリスト内の各ＵＩコンポーネントは、前記第１のアプリケーションの少なくとも１つの機能コントロールを含み、前記第１の操作は、前記ユーザが前記ＵＩコンポーネントリスト内の前記第１のＵＩコンポーネントを選択する操作である。
第１の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、第１の情報を含む。第１の情報は、宛先デバイス上での少なくとも１つの機能コントロールの各々の表示情報を示すために使用され、第１の情報は、宛先デバイス上での少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含む。
前記送信元デバイスが前記第１のＵＩコンポーネントの前記設定情報を前記宛先デバイスに送信することは、前記送信元デバイスが前記第１の情報を前記宛先デバイスに送信することを含む
第１の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第２の情報を含む。第２の情報は、少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される。
第１の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様において、本方法は、さらに、送信元デバイスが、宛先デバイスによって送信された第２の操作の操作情報を受信することを含む。第２の操作は、宛先デバイス上で表示された第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される。第２の操作の操作情報は、第１の機能コントロールの第２の情報を含む。送信元デバイスは、第２の操作の操作情報に基づいて第１の機能コントロールの識別子を判定する。送信元デバイスは、第１の機能コントロールの識別子に基づいて第１の機能コントロールを判定する。送信元デバイスは、第１の機能コントロールに対応する機能を実行する。
第１の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第２の操作は、第１の状態で宛先デバイス上に表示される第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される。送信元デバイスが第１の機能コントロールに対応する機能を実行することは、送信元デバイスの第１のアプリケーションが、第２の操作の操作情報及び第１の機能コントロールに基づいて、第１の機能コントロールの第１の状態に対応する機能を実行することを含む。第１の機能コントロールは、第１の状態で表示される。
結論として、この出願に提供されるＵＩコンポーネントを表示するための方法によれば、送信元デバイスの元のアプリケーションインターフェースの一部は、異なる機能コントロール又は複数の機能コントロールの組み合わせに分割され得る。異なる機能コントロール又は複数の機能コントロールの組み合わせは、新しい操作インターフェースを生成するために使用される。操作インターフェースは、他の宛先デバイス上で表示され得る。操作が、宛先デバイスの操作インターフェースに含まれる任意の機能コントロールに対して行われ、操作結果が、実行のために送信元デバイスに送信されて、送信元デバイスと宛先デバイスとの操作整合性を確保する。本方法では、複数の端末デバイス間でユーザインターフェース及びサービスを自由に送信することができ、異なるデバイス間のボトルネックを解消し、元のアプリケーションインターフェースを部分的に分割し、複数の端末デバイス間で送信する。分割されたインターフェースは、端末の複数の画面サイズにより容易に適応することができ、より完全な表示を達成することができる。宛先デバイス端で表示される新しい操作インターフェースは、同じアプリケーションの機能コントロール、又は異なるアプリケーションの機能コントロールを含み得る。これにより、異なるアプリケーション間の境界を解消し、ユーザは、１つのインターフェース上で複数のアプリケーションの機能を閲覧し、複数のアプリケーションに対して同時に操作を行うことができるようにする。したがって、すべての操作は、送信元デバイスの元のアプリケーションサービスに転送される。ユーザは、送信元デバイスと宛先デバイスの両方でアプリケーションサービスを同時に制御することができる。これは、使用を容易にし、ユーザ体験を改善する。
第１の態様及び前述の実施態様を参照すると、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第３の情報を含む。第３の情報は、少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される。
第１の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第４の情報を含む。第４の情報は、第１のＵＩコンポーネントにおける各機能コントロールが宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報である。送信元デバイスが第１のＵＩコンポーネントを判定することは、さらに、送信元デバイスが、第４の情報に基づいて、第１のＵＩコンポーネントにおける各機能コントロールが宛先デバイス上での表示をサポートすると判定する。
第２の態様によれば、送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法が提供される。本方法は、宛先デバイスが、送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信することを含む。第１のＵＩコンポーネントの設定情報は、宛先デバイス上で第１のＵＩコンポーネントを表示する方式を示すために使用される。第１のＵＩコンポーネントは、送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む。宛先デバイスは、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示する。
第２の態様に関して、第２の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、第１の情報を含む。第１の情報は、宛先デバイス上での少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含む。宛先デバイスが、送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信することは、宛先デバイスが、送信元デバイスによって送信された第１の情報を受信することを含む。
第２の態様及び前述の実施態様に関して、第２の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第２の情報を含む。第２の情報は、少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される。
第２の態様及び前述の実施態様に関して、第２の態様のいくつかの実施態様では、本方法は、さらに、宛先デバイスが、ユーザの第２の操作を検出することを含む。第２の操作は、宛先デバイス上に表示された第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される。宛先デバイスは、第２の操作に基づいて第１の機能コントロールの識別子を判定する。宛先デバイスは、第２の操作の操作情報を送信元デバイスに送信する。第２の操作の操作情報は、第１の機能コントロールの識別子を含む。
第２の態様及び前述の実施態様に関して、第２の態様のいくつかの実施態様では、第２の操作は、第１の状態で宛先デバイス上に表示される第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される。第２の操作の操作情報は、さらに、第１の機能コントロールの第１の状態に対応する機能を実行するために送信元デバイスの第１のアプリケーションを示すために用いられる。第１の機能コントロールは、第１の状態で送信元デバイス上に表示される。
第２の態様及び前述の実施態様に関して、第２の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第３の情報を含む。第３の情報は、少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される。
第２の態様及び前述の実施態様に関して、第２の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第４の情報を含む。第４の情報は、第１のＵＩコンポーネントにおける各機能コントロールが宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報である。宛先デバイスが、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示することは、さらに、宛先デバイスが、第４の情報に基づいて、宛先デバイス上での表示をサポートする第１のＵＩコンポーネントにおける各機能を表示することを含む。
第３の態様によれば、電子デバイスが提供される。電子デバイスは、１つ以上のプロセッサ、１つ以上のメモリ、複数のアプリケーション、及び１つ以上のプログラムを含む。１つ以上のプログラムは、１つ以上のメモリに記憶される。１つ以上のプログラムが１つ以上のプロセッサによって実行されるときに、電子デバイスは、第１のＵＩコンポーネントを判定することであって、第１のＵＩコンポーネントは、電子デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む、ことと、第１のＵＩコンポーネントの設定情報を取得することであって、第１のＵＩコンポーネントの設定情報は、宛先デバイス上で第１のＵＩコンポーネントを表示する方式を示すために使用される、ことと、第１のＵＩコンポーネントの設定情報を宛先デバイスに送信し、宛先デバイスが、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示するようにすることと、を行うことが可能となる。
第３の態様に関して、第１の態様のいくつかの実施態様では、命令が１つ以上のプロセッサによって実行されるときに、電子デバイスは、さらに、第１のインターフェースを表示することと、第１のインターフェースでのユーザの第１の操作を検出することと、第１の操作に応答して第１のＵＩコンポーネントを判定することと、を行うことが可能となる。
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のインターフェースは、第１のアプリケーションの少なくとも１つの機能コントロールを含み、第１の操作は、ユーザが第１のインターフェースに表示される第１のＵＩコンポーネントを選択する操作であるか、又は第１のインターフェースは、第１のアプリケーションのＵＩコンポーネントリストを含み、ＵＩコンポーネントリスト内の各ＵＩコンポーネントは、第１のアプリケーションの少なくとも１つの機能コントロールを含み、第１の操作は、ユーザがＵＩコンポーネントリスト内の第１のＵＩコンポーネントを選択する操作である。
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、第１の情報を含む。第１の情報は、宛先デバイス上での少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含む。命令が１つ以上のプロセッサによって実行されるときに、電子デバイスは、さらに、第１の情報を宛先デバイスに送信することを行うことが可能となる。
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第２の情報を含む。第２の情報は、少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される。
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、命令が１つ以上のプロセッサによって実行されるときに、電子デバイスは、さらに、宛先デバイスによって送信された第２の操作の操作情報を受信することであって、第２の操作は、宛先デバイス上に表示される第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用され、第２の操作の操作情報は、第１の機能コントロールの第２の情報を含む、ことと、第２の操作の操作情報に基づいて第１の機能コントロールの識別子を判定することと、第１の機能コントロールの識別子に基づいて第１の機能コントロールを判定することと、第１の機能コントロールに対応する機能を実行することと、を行うことが可能となる。
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第２の操作は、第１の状態で宛先デバイス上に表示される第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される命令が１つ以上のプロセッサによって実行されるときに、電子デバイスは、さらに、第１のアプリケーションによって、第２の操作の操作情報及び第１の機能コントロールに基づいて、第１の機能コントロールの第１の状態に対応する機能を実行することであって、第１の機能コントロールは、第１の状態で表示される、ことを行うことが可能となる、
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第３の情報を含む。第３の情報は、少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される。
第３の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第４の情報を含む。第４の情報は、第１のＵＩコンポーネントにおける各機能コントロールが宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報である。命令が１つ以上のプロセッサによって実行されるときに、電子デバイスは、さらに、第４の情報に基づいて、宛先デバイス上での表示をサポートする第１のＵＩコンポーネントにおける各機能コントロールを判定することを行うことが可能となる。
第４の態様によれば、電子デバイスが提供される。電子デバイスは、１つ以上のプロセッサ、１つ以上のメモリ、複数のアプリケーション、及び１つ以上のプログラムを含む。１つ以上のプログラムは、１つ以上のメモリに記憶される。１つ以上のプログラムが１つ以上のプロセッサによって実行されるときに、電子デバイスは、送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信することであって、第１のＵＩコンポーネントの設定情報は、電子デバイス上での第１のＵＩコンポーネントを表示する方式を示すために使用され、第１のＵＩコンポーネントは、送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む、ことと、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示することと、を行うことが可能となる。
第４の態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、第１の情報を含む。第１の情報は、電子デバイス上での少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含む。１つ以上のプログラムが１つ以上のプロセッサによって実行されるときに、電子デバイスは、送信元デバイスによって送信された第１の情報を受信することを行うことが可能となる。
第４の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第２の情報を含む。第２の情報は、少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される。
第４の態様及び前述の実施態様に関し、第１の態様のいくつかの実施態様では、１つ以上のプログラムが１つ以上のプロセッサによって実行されるときに、電子デバイスは、ユーザの第２の操作を検出することであって、第２の操作は、電子デバイス上に表示された第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される、ことと、第２の操作に基づいて第１の機能コントロールの識別子を判定することと、第２の操作の操作情報を送信元に送信することであって、第２の操作の操作情報は、第１の機能情報の識別子を含む、ことと、を行うことが可能となる。
第４の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第２の操作は、第１の状態で電子デバイス上に表示される第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される。第２の操作の操作情報は、さらに、第１の機能コントロールの第１の状態に対応する機能を実行するために送信元デバイスの第１のアプリケーションを示すために使用される。第１の機能コントロールは、第１の状態で送信元デバイス上に表示される。
第４の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第３の情報を含む。第３の情報は、少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される。
第４の態様及び前述の実施態様に関して、第１の態様のいくつかの実施態様では、第１のＵＩコンポーネントの設定情報は、さらに、第４の情報を含む。第４の情報は、第１のＵＩコンポーネントにおける各機能コントロールが電子デバイス上での表示をサポートするかどうかを識別するために使用される情報である。１つ以上のプログラムが１つ以上のプロセッサによって実行されるときに、第４の情報に基づいて、宛先デバイス上での表示をサポートする第１のＵＩコンポーネントにおける各機能コントロールを表示することを行うことが可能となる。
第５の態様によれば、この出願は、装置を提供する。装置は、電子デバイスに含まれ、装置は、前述の態様及び前述の態様の可能な実施態様における電子デバイスの挙動を実施する機能を有する。機能は、ハードウェアによって実施されてもよいし、対応するソフトウェアを実行することによってハードウェアによって実施されてもよい。ハードウェア又はソフトウェアは、前述の機能に対応する１つ以上のモジュール又はユニット、例えば、受信モジュール又はユニット、送信モジュール又はユニット、表示モジュール又はユニット、検出モジュール又はユニット、又は処理モジュール又はユニットを含む。
第６の態様によれば、この出願は、タッチスクリーンを含む電子デバイスを提供する。タッチスクリーンは、接触感知表面及びディスプレイ、カメラ、１つ以上のプロセッサ、メモリ、複数のアプリケーション、並びに１つ以上のコンピュータプログラムを含む。１つ以上のコンピュータプログラムはメモリに記憶され、１つ以上のコンピュータプログラムは命令を含む。命令が電子デバイスによって実行されるときに、電子デバイスは、前述の態様のいずれかの任意の可能な実施態様においてＵＩコンポーネントを表示するための方法を実行することが可能となる。
第７の態様によれば、この出願は、１つ以上のプロセッサ及び１つ以上のメモリを含む電子デバイスを提供する。１つ以上のメモリは、１つ以上のプロセッサに結合される。１つ以上のメモリは、コンピュータプログラムコードを記憶するように構成されている。コンピュータプログラムコードは、コンピュータ命令を含む。１つ以上のプロセッサがコンピュータ命令を実行するときに、電子デバイスは、前述の態様のいずれかの任意の可能な実施態様においてＵＩコンポーネントを表示するための方法を実行することが可能である。
第８の態様によれば、この出願は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で動作されるときに、電子デバイスは、前述の態様のいずれかの任意の可能な実施態様においてＵＩコンポーネントを表示するための方法を実行することが可能となる。
第９の態様によれば、この出願は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が電子デバイス上で動作するときに、電子デバイスは、前述の態様のいずれかの任意の可能な実施態様においてＵＩコンポーネントを表示するための方法を実行することが可能となる。
この出願の一実施形態による電子デバイスのハードウェア構造の概略図である。 この出願の一実施形態による電子デバイスのソフトウェア構造の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする一例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の例の概略図である。 この出願の一実施形態によるＵＩコンポーネントを表示するために使用されるグラフィカルユーザインターフェースの一例の概略図である。 この出願の一実施形態によるＵＩコンポーネントを表示するために使用されるグラフィカルユーザインターフェースの一例の概略図である。 この出願の一実施形態によるＵＩコンポーネントを表示するために使用されるグラフィカルユーザインターフェースの一例の概略図である。 この出願の一実施形態によるＵＩコンポーネントを表示するために使用されるグラフィカルユーザインターフェースの一例の概略図である。 この出願の一実施形態による複数のアプリケーションサービスの複数の機能コントロールの組み合わせの一例の概略図である。 この出願の一実施形態による宛先デバイスの表示インターフェースの一例の概略図である。 この出願の一実施形態による宛先デバイスの表示インターフェースの一例の概略図である。 この出願の一実施形態による送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法の一例のフローチャートである。 この出願の一実施形態による送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法の一例のフローチャートである。 この出願の一実施形態による宛先デバイスの表示インターフェースの一例の概略図である。 この出願の一実施形態による宛先デバイスの表示インターフェースの一例の概略図である。 この出願の一実施形態による送信元デバイスと宛先デバイスとの間のＵＩコンポーネントを表示する概略相互作用図である。 この出願の一実施形態によるＵＩコンポーネントを表示するための方法を実行する一例のフローチャートである。 この出願の一実施形態によるＵＩコンポーネントを表示するための方法を実行する一例のフローチャートである。 この出願の一実施形態によるネットワーキングマナーの一例の概略図である。 この出願の一実施形態によるネットワーキングマナーの一例の概略図である。 この出願の一実施形態によるネットワーキングマナーの一例の概略図である。 この出願の一実施形態によるネットワーキングマナーの一例の概略図である。 この出願の一実施形態によるＵＩコンポーネントを表示するための方法の概略フローチャートである。 この出願の一実施形態によるＵＩコンポーネントを表示するための方法の別の例の概略フローチャートである。 この出願の一実施形態による電子デバイスの一例の概略構成図である。 この出願の一実施形態による電子デバイスの別の例の概略構成図である。
以下、この出願の実施態様における添付図面を参照して、この出願の実施態様における技術的解決策を説明する。この出願の実施形態の説明において、「／」とは、特に断らない限り、「又は」を意味する。例えば、Ａ／Ｂは、Ａ又はＢを表してもよい。本明細書において、「及び／又は」とは、関連するオブジェクトを説明するための関連関係のみを説明し、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、Ａのみ存在し、ＡとＢの両方が存在し、Ｂのみが存在することを表してもよい。追加的に、この出願の実施形態の説明においては、「複数の」とは、２つ以上を意味する。
以下の用語「第１の」及び「第２の」は、単に説明のためのものに過ぎず、示された技術的特徴の数の相対的重要性又は暗示的表示の表示又は示唆として理解されるものではない。したがって、「第１の」又は「第２の」によって限定される特徴は、１つ以上の特徴を明示的又は暗示的に含むことができる。実施形態の説明において、特に断らない限り、「複数の」とは、２つ以上を意味する。
この出願の実施形態は、ＵＩコンポーネントを表示するための方法を提供する。本方法は、電子デバイスに適用することも、独立したアプリケーションに適用することもできる。本出願は、複数の端末デバイス間で異なるインターフェースコンポーネントを表示することができる。具体的には、この方法では、送信元デバイスの元のアプリケーションインターフェースの一部を、異なる機能コントロール又は複数の機能コントロールの組み合わせに分割することができる。異なる機能コントロール又は複数の機能コントロールの組み合わせは、新しい操作インターフェースを生成するために使用する。操作インターフェースは、別の宛先デバイス上に表示され得る。操作が宛先デバイスの操作インターフェースに含まれる任意の機能コントロールに対して行われ、操作結果が実行のために送信元デバイスに送信されて、送信元デバイスと宛先デバイスとの操作整合性を確保する。
この出願の実施形態において提供されるビデオにおける単語又は文章を再読するための方法は、携帯電話、タブレットコンピュータ、ウェアラブルデバイス、車載デバイス、拡張リアリティ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）デバイス／バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）デバイス、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＵＭＰＣ）、ネットブック、又はパーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）などの電子デバイスに適用することができる。電子デバイスの特定のタイプは、この出願の実施態様において限定されない。
例えば、図１は、電子デバイス１００の構造の概略図である。
電子デバイス１００は、プロセッサ１１０、外部メモリインターフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）ポート１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、移動通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０Ａ、受信機１７０Ｂ、マイクロホン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、キー１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ、ＳＩＭ）カードインターフェース１９５などを含み得る。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロスコープセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、周辺光センサ１８０Ｌ、骨伝導センサ１８０Ｍなどを含み得る。
本発明のこの実施形態に示される構造は、電子デバイス１００に対する具体的な限定を構成しないと理解されよう。この出願の他のいくつかの実施形態において、電子デバイス１００は、図に示すものよりも多くの、又は少ないコンポーネントを含むことができ、いくつかのコンポーネントを組み合わせることができ、いくつかのコンポーネントを分割することができ、又は異なるコンポーネント配置を有することができる。図に示すコンポーネントは、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせを使用することによって実施することができる。
プロセッサ１１０は、１つ以上の処理ユニットを含み得る。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＮＰＵ）を含んでもよい。異なる処理ユニットは、独立したデバイスであってもよいし、１つ以上のプロセッサに統合されてもよい。
コントローラは、命令動作コード及び時間シーケンス信号に基づいて動作制御信号を生成して、命令フェッチ及び命令実行の完全な制御を行うことができる。
メモリは、さらに、プロセッサ１１０内に配置されてもよく、命令及びデータを記憶するように構成されている。いくつかの実施形態では、プロセッサ１１０内のメモリはキャッシュメモリである。メモリは、プロセッサ１１０によってちょうど使用されるか又は周期的に使用される命令又はデータを記憶することができる。プロセッサ１１０が命令又はデータを再度使用する必要がある場合、プロセッサ１１０は、メモリから命令又はデータを直接呼び出すことができる。これは、繰り返されるアクセスを回避し、プロセッサ１１０の待ち時間を短縮し、それによって、システムの効率を改善する。
いくつかの実施形態において、プロセッサ１１０は、１つ以上のインターフェースを含んでもよい。このインターフェースは、集積回路間（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、Ｉ２Ｃ）インターフェース、集積回路間サウンド（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｓｏｕｎｄ、Ｉ２Ｓ）インターフェース、パルスコード変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ、ＰＣＭ）インターフェース、汎用非同期受信機／送信機（ｕｎｉｖｅｒｓａｌ ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅｃｅｉｖｅｒ／ｔｒａｎｓｍｉｔｔｅｒ、ＵＡＲＴ）インターフェース、モバイル産業用プロセッサインターフェース（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ、ＭＩＰＩ）、汎用入出力（ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ／ｏｕｔｐｕｔ、ＧＰＩＯ）インターフェース、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）インターフェース、汎用シリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）ポート、及び／又はこれらに類するものを含み得る。
Ｉ２Ｃインターフェースは、双方向同期シリアルバスであり、１つのシリアルデータライン（ｓｅｒｉａｌ ｄａｔａ ｌｉｎｅ、ＳＤＡ）と１つのシリアルクロックライン（ｓｅｒｉａｌ ｃｌｏｃｋ ｌｉｎｅ、ＳＣＬ）を１つ含む。いくつかの実施形態では、プロセッサ１１０は、複数のグループのＩ２Ｃバスを含み得る。プロセッサ１１０は、異なるＩ２Ｃバスインターフェースを介して、タッチセンサ１８０Ｋ、充電器、フラッシュライト、カメラ１９３などに別々に結合され得る。例えば、プロセッサ１１０は、Ｉ２Ｃインターフェースを介してタッチセンサ１８０Ｋに結合されてもよく、プロセッサ１１０は、Ｉ２Ｃバスインターフェースを介してタッチセンサ１８０Ｋと通信して、電子デバイス１００のタッチ機能を実施するようにする。
Ｉ２Ｓインターフェースは、オーディオ通信を行うように構成され得る。いくつかの実施形態において、プロセッサ１１０は、複数のグループのＩ２Ｓバスを含んでもよい。プロセッサ１１０は、Ｉ２Ｓバスを介してオーディオモジュール１７０に結合されて、プロセッサ１１０とオーディオモジュール１７０との間の通信を実施することができる。いくつかの実施形態では、オーディオモジュール１７０は、Ｉ２Ｓインターフェースを介してオーディオ信号を無線通信モジュール１６０に送信して、Ｂｌｕｅｔｏｏｔｈヘッドセットを使用することによって電話に出る機能を実施してもよい。
ＰＣＭインターフェースはまた、オーディオ通信、及びサンプル、量子化、及びアナログ信号のコード化を行うように構成されてもよい。いくつかの実施形態では、オーディオモジュール１７０は、ＰＣＭバスインターフェースを介して無線通信モジュール１６０に結合されてもよい。いくつかの実施形態では、オーディオモジュール１７０はまた、ＰＣＭインターフェースを介してオーディオ信号を無線通信モジュール１６０に送信して、Ｂｌｕｅｔｏｏｔｈヘッドセットを使用することによって電話に出る機能を実施してもよい。Ｉ２ＳインターフェースとＰＣＭインターフェースの両方とも、オーディオ通信を行うように設定され得る。
ＵＡＲＴインターフェースはユニバーサルシリアルデータバスであり、非同期通信を行うように設定されています。バスは、双方向通信バスであってもよく、シリアル通信とパラレル通信との間で送信されるべきデータを変換する。いくつかの実施形態では、ＵＡＲＴインターフェースは、通常、プロセッサ１１０を無線通信モジュール１６０に接続するように構成されている。例えば、プロセッサ１１０は、ＵＡＲＴインターフェースを介して無線通信モジュール１６０内のＢｌｕｅｔｏｏｔｈモジュールと通信して、Ｂｌｕｅｔｏｏｔｈ機能を実施する。いくつかの実施形態では、オーディオモジュール１７０は、ＵＡＲＴインターフェースを介してオーディオ信号を無線通信モジュール１６０に送信して、Ｂｌｕｅｔｏｏｔｈヘッドセットを使用することによって音楽を再生する機能を実施することができる。
ＭＩＰＩインターフェースは、プロセッサ１１０をディスプレイ１９４又はカメラ１９３などの周辺コンポーネントに接続するように構成され得る。ＭＩＰＩインターフェースは、カメラシリアルインターフェース（ｃａｍｅｒａ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ、ＣＳＩ）、ディスプレイシリアルインターフェース（ｄｉｓｐｌａｙ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ、ＤＳＩ）などを含む。いくつかの実施形態では、プロセッサ１１０は、ＣＳＩインターフェースを介してカメラ１９３と通信して、電子デバイス１００の撮影機能を実施する。プロセッサ１１０は、ＤＳＩインターフェースを介してディスプレイ１９４と通信して、電子デバイス１００の表示機能を実施する。
ＧＰＩＯインターフェースは、ソフトウェアを使用することによって設定され得る。ＧＰＩＯインターフェースは、制御信号又はデータ信号として構成され得る。いくつかの実施形態では、ＧＰＩＯインターフェースは、プロセッサ１１０をカメラ１９３、ディスプレイ１９４、無線通信モジュール１６０、オーディオモジュール１７０、センサモジュール１８０などに接続するように構成され得る。ＧＰＩＯインターフェースは、代替的には、Ｉ２Ｃインターフェース、Ｉ２Ｓインターフェース、ＵＡＲＴインターフェース、ＭＩＰＩインターフェースなどとして構成されてもよい。
ＵＳＢポート１３０は、ＵＳＢ標準仕様に準拠するポートであり、具体的には、ミニＵＳＢポート、マイクロＵＳＢポート、ＵＳＢタイプＣポートなどであり得る。ＵＳＢポート１３０は、電子デバイス１００を充電するために充電器に接続するように構成されてもよいし、電子デバイス１００と周辺デバイスとの間でデータを送信するように構成されてもよいし、ヘッドセットを使用することによってオーディオを再生するためにヘッドセットに接続するように構成されてもよい。代替的には、ポートは、他の電子デバイス、例えば、ＡＲデバイスに接続するように構成されてもよい。
本発明のこの実施形態で示されるモジュール間のインターフェース接続関係は、単なる説明ための例に過ぎず、電子デバイス１００の構造に対する限定を構成しないと理解されよう。この出願のいくつかの他の実施形態では、電子デバイス１００は、代替的には、前述の実施形態とは異なるインターフェース接続方式、又は複数のインターフェース接続方法の組み合わせを使用することができる。
充電管理モジュール１４０は、充電器からの充電入力を受信するように構成されている。充電器は、無線充電器又は有線充電器であり得る。有線充電のいくつかの実施形態では、充電管理モジュール１４０は、ＵＳＢポート１３０を介して有線充電器からの充電入力を受信することができる。無線充電のいくつかの実施形態では、充電管理モジュール１４０は、電子デバイス１００の無線充電コイルを介して無線充電入力を受信することができる。充電管理モジュール１４０は、バッテリ１４２を充電しながら、さらに、電力管理モジュール１４１を介して電子デバイスに電力を供給することができる。
電力管理モジュール１４１は、バッテリ１４２及び充電管理モジュール１４０をプロセッサ１１０に接続するように構成されている。電力管理モジュール１４１は、バッテリ１４２の入力及び／又は充電管理モジュール１４０の入力を受信し、プロセッサ１１０、内部メモリ１２１、ディスプレイ１９４、カメラ１９３、無線通信モジュール１６０などに電力を供給する。電力管理モジュール１４１は、さらに、バッテリ容量、バッテリサイクル数、及びバッテリ健康状態（漏電又はインピーダンス）などのパラメータを監視するように構成され得る。いくつかの他の実施形態では、電力管理モジュール１４１は、代替的にプロセッサ１１０内に設けられてもよい。いくつかの他の実施形態では、電力管理モジュール１４１及び充電管理モジュール１４０は、代替的には、同じデバイス内に設けられてもよい。
電子デバイス１００の無線通信機能は、アンテナ１、アンテナ２、移動通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサなどを介して実施され得る。
アンテナ１及びアンテナ２は、電磁波信号を送信及び受信するように構成されている。電子デバイス１００内の各アンテナは、１つ以上の通信帯域をカバーするように構成され得る。異なるアンテナをさらに多重化して、アンテナ利用率を改善することができる。例えば、アンテナ１は、無線ローカルエリアネットワーク内のダイバーシチアンテナとして多重化してもよい。他の実施形態では、アンテナは、調整スイッチと組み合わせて使用してもよい。
移動通信モジュール１５０は、２Ｇ／３Ｇ／４Ｇ／５Ｇなどを含み、電子デバイス１００に適用される無線通信ソリューションを提供することができる。移動通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ＬＮＡ）などを含むことができる。移動通信モジュール１５０は、アンテナ１を介して電磁波を受信し、受信された電磁波に対するフィルタリング又は増幅などの処理を行い、処理された電磁波を復調のためにモデムプロセッサに送信することができる。移動通信モジュール１５０は、モデムプロセッサによって変調された信号をさらに増幅し、増幅された信号を放射のためにアンテナ１を介して電磁波に変換することができる。いくつかの実施形態では、移動通信モジュール１５０内の少なくともいくつかの機能モジュールは、プロセッサ１１０内に設けられてもよい。いくつかの実施形態では、移動通信モジュール１５０内の少なくともいくつかの機能モジュールは、プロセッサ１１０内の少なくともいくつかのモジュールと同じデバイス内に設けられてもよい。
モデムプロセッサは、変調器及び復調器を含み得る。変調器は、送信される低周波ベースバンド信号を中高周波信号に変調するように構成されている。復調器は、受信された電磁波信号を低周波ベースバンド信号に復調するように構成されている。次に、復調器は、復調を介して取得された低周波ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波ベースバンド信号は、ベースバンドプロセッサによって処理され、次に、アプリケーションプロセッサに送信される。アプリケーションプロセッサは、オーディオデバイス（スピーカ１７０Ａ、受信機１７０Ｂなどに限定されない）を使用することによって音声信号を出力するか、又はディスプレイ１９４を介して画像又はビデオを表示する。いくつかの実施形態において、モデムプロセッサは、独立したコンポーネントであってもよい。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ１１０から独立していてもよく、移動通信モジュール１５０又は別の機能モジュールと同じデバイスに設けられる。
無線通信モジュール１６０は、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋｓ、無線ＬＡＮ） （例えば、無線フィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ）ネットワーク）、Ｂｌｕｅｔｏｏｔｈ（ｂｌｕｅｔｏｏｔｈ、ＢＴ）、グローバルナビゲーション衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ、ＦＭ）、近接場通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）技術、赤外線（ｉｎｆｒａｒｅｄ、赤外線）技術などを含み、電子デバイス１００に適用される無線通信ソリューションを提供することができる。無線通信モジュール１６０は、少なくとも１つの通信プロセッサモジュールに統合された１つ以上のコンポーネントとすることができる。無線通信モジュール１６０は、アンテナ２を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタ処理を行い、処理された信号をプロセッサ１１０に送信する。無線通信モジュール１６０は、さらに、プロセッサ１１０から送信される信号を受信し、その信号に対して周波数変調及び増幅を行い、処理された信号をアンテナ２を介して放射のために電磁波に変換することができる。
いくつかの実施形態では、電子デバイス１００内のアンテナ１及び移動通信モジュール１５０は結合され、電子デバイス１００内のアンテナ２及び無線通信モジュール１６０は結合され、電子デバイス１００は、無線通信技術を使用することによってネットワーク及び別のデバイスと通信することができるようにする。無線通信技術は、移動通信のためのグローバルシステム（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＧＳＭ）、一般パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多重接続（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＷＣＤＭＡ）、時分割符号分割多重接続（ｔｉｍｅ－ｄｉｖｉｓｉｏｎ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＴＤ－ＳＣＤＭＡ）、ロング・ターム・エボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ技術などを含み得る。ＧＮＳＳは、全地球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、全地球航法衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＬＯＮＡＳＳ）、北斗航法衛星システム（ｂｅｉｄｏｕ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＢＤＳ）、準天頂衛星システム（ｑｕａｓｉ－ｚｅｎｉｔｈ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＱＺＳＳ）、及び／又は衛星ベースの増強システム（ｓａｔｅｌｌｉｔｅ ｂａｓｅｄ ａｕｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍｓ、ＳＢＡＳ）を含み得る。
電子デバイス１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサなどを使用することによってディスプレイ機能を実施する。ＧＰＵは画像処理のためのマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続される。ＧＰＵは、数学的及び幾何学的計算を行い、画像をレンダリングするように構成されている。プロセッサ１１０は、表示情報を生成又は変更するプログラム命令を実行する１つ以上のＧＰＵを含み得る。
ディスプレイ１９４は、画像、ビデオなどを表示するように構成されている。ディスプレイ１９４は、ディスプレイパネルを含む。表示パネルは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、アクティブマトリックス有機発光ダイオード又はアクティブマトリックス有機発光ダイオード（ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（ｆｌｅｘ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＦＬＥＤ）、Ｍｉｎｉｌｅｄ、ＭｉｃｒｏＬｅｄ、Ｍｉｃｒｏ－ｏＬｅｄ、量子ドット発光ダイオード（ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅｓ、ＱＬＥＤ）などであり得る。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のディスプレイ１９４を含んでもよく、Ｎは、１よりも大きい正の整数である。
電子デバイス１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサなどを使用することによって、撮影機能を実施することができる。
ＩＳＰは、カメラ１９３によってフィードバックされたデータを処理するように構成されている。例えば、撮影中にシャッタを押すと、レンズを介してカメラの感光体に光が伝達され、光信号が電気信号に変換され、カメラの感光体が処理のためにＩＳＰに電気信号を送信し、電気信号を可視画像に変換する。ＩＳＰは、さらに、画像のノイズ、輝度、及び顔色に関してアルゴリズム最適化を行うことができる。ＩＳＰは、さらに、撮影シナリオの露光及び色温度などのパラメータを最適化することができる。いくつかの実施形態において、ＩＳＰは、カメラ１９３内に設けられてもよい。
カメラ１９３は、静止画像又はビデオを捕捉するように構成されている。物体の光学画像は、レンズを通して生成され、感光体にプロジェクションされる。感光体は、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）又は相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）フォトトランジスタであり得る。感光体は、光信号を電気信号に変換した後、電気信号をＩＳＰに送信して、電気信号をデジタル画像信号に変換する。ＩＳＰは、デジタル画像信号を処理のためにＤＳＰに出力する。ＤＳＰは、デジタル画像信号をＲＧＢフォーマット又はＹＵＶフォーマットなどの標準フォーマットの画像信号に変換する。いくつかの実施形態では、電子デバイス１００は、１つ又はＮ個のカメラ１９３を含んでもよく、Ｎは、１よりも大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成されており、デジタル画像信号に加えて別のデジタル信号を処理することができる。例えば、電子デバイス１００が周波数を選択するときに、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換などを行うように構成されている。
ビデオコーデックは、デジタルビデオを圧縮又は解凍するように構成されている。電子デバイス１００は、１つ以上のビデオコーデックをサポートすることができる。このようにして、電子デバイス１００は、複数の符号化フォーマット、例えば、動画エキスパートグループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）－１、ＭＰＥＧ－２、ＭＰＥＧ－３、及びＭＰＥＧ－４でビデオを再生又は記録することができる。
ＮＰＵは、ニューラルネットワーク（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ、ＮＮ）計算プロセッサであり、例えば、ヒト脳ニューロン間の伝達モードを参照することによって、生物学的ニューラルネットワークの構造を参照することにより入力情報を迅速に処理し、さらに、自己学習を継続的に行うことができる。ＮＰＵは、画像認識、顔認識、音声認識、及びテキスト理解のような電子デバイス１００のインテリジェント認知のようなアプリケーションを実施することができる。
外部メモリインターフェース１２０は、外部メモリカード、例えばマイクロＳＤカードに接続するように構成され、電子デバイス１００の記憶能力を拡張することができる。外部メモリカードは、外部メモリインターフェース１２０を介してプロセッサ１１０と通信し、データ記憶機能を実施する。例えば、音楽やビデオなどのファイルは外部メモリカードに記憶される。
内部メモリ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成され得る。実行可能プログラムコードは命令を含む。内部メモリ１２１は、プログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能又は画像再生機能）によって必要とされるアプリケーションなどを記憶することができる。データ記憶領域は、電子デバイス１００を使用するプロセスで作成されたデータ（例えば、オーディオデータ、及び電話帳）などを記憶することができる。追加的に、内部メモリ１２１は、高速ランダムアクセスメモリを含んでもよいし、さらに、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ、ＵＦＳ）を含んでもよい。プロセッサ１１０は、内部メモリ１２１に記憶された命令及び／又はプロセッサ内に設けられたメモリに記憶された命令を動作させ、電子デバイス１００の様々な機能アプリケーション及びデータ処理を行う。
電子デバイス１００は、オーディオ機能、例えば、オーディオモジュール１７０、スピーカ１７０Ａ、受信機１７０Ｂ、マイクロホン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサなどを介して、音楽の再生及び録音を実施することができる。
オーディオモジュール１７０は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成されており、アナログオーディオ入力をデジタルオーディオ信号に変換するように構成されている。オーディオモジュール１７０は、さらに、オーディオ信号を符号化及び復号するように構成され得る。いくつかの実施形態では、オーディオモジュール１７０は、プロセッサ１１０内に設けられてもよく、又はオーディオモジュール１７０のいくつかの機能モジュールは、プロセッサ１１０内に設けられてもよい。
スピーカ１７０Ａは、「ホーン」とも呼ばれ、電気オーディオ信号を音声信号に変換するように構成されている。電子デバイス１００は、スピーカ１７０Ａを使用することによって、音楽を聞くか、又はハンズフリーで電話に出るように構成されてもよい。
受信機１７０Ｂは、「イヤピース」とも呼ばれ、電気オーディオ信号を音声信号に変換するように構成されている。電子デバイス１００を使用することによって、電話に出たり、発話情報を受信したりするときに、受信機１７０Ｂを人間の耳の近くに置いて、発話を受信することができる。
マイクロホン１７０Ｃは、「マイク」又は「マイクロホン」とも呼ばれ、音声信号を電気信号に変換するように構成されている。電話をかけたり、発話情報を送信するときに、ユーザは、マイクロホン１７０Ｃの近くで人間の口を動かして音声を発し、音声信号をマイクロホン１７０Ｃに入力することができる。少なくとも１つのマイクロホン１７０Ｃが、電子デバイス１００内に設けられてもよい。いくつかの他の実施形態では、２つのマイクロホン１７０Ｃを電子デバイス１００内に設けて、音声信号を収集することに加えて、ノイズ低減機能を実施してもよい。他のいくつかの実施形態では、３つ、４つ、又はそれ以上のマイクロホン１７０Ｃを、代替的には、電子デバイス１００内に設けて、音響信号を収集し、ノイズを低減し、音源を識別し、方向性記録機能を実施してもよい。
ヘッドセットジャック１７０Ｄは、有線ヘッドセットに接続するように構成されている。ヘッドセットジャック１７０Ｄは、ＵＳＢポート１３０であってもよいし、３．５ｍｍのオープンモバイル電子デバイスプラットフォーム（ｏｐｅｎ ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ ｐｌａｔｆｏｒｍ、ＯＭＴＰ）標準インターフェース、又は米国のセルラー通信業界協会（ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎｄｕｓｔｒｙ ａｓｓｏｃｉａｔｉｏｎ ｏｆ ｔｈｅ ＵＳＡ、ＣＴＩＡ）標準インターフェースであってもよい。
圧力センサ１８０Ａは、圧力信号を感知するように構成されており、圧力信号を電気信号に変換してもよい。いくつかの実施形態において、圧力センサ１８０Ａは、ディスプレイ１９４に設けられてもよい。圧力センサ１８０Ａには、抵抗圧力センサ、誘導圧力センサ、及び容量性圧力センサなど、多くのタイプがある。
容量性圧力センサは、導電性材料で作製された少なくとも２つの平行プレートを含むことができる。圧力センサ１８０Ａに力が加えられると、電極間のキャパシタンスが変化する。電子デバイス１００は、静電容量変化に基づいて圧力強度を判定する。タッチ操作がディスプレイ１９４上で行われるときに、電子デバイス１００は、圧力センサ１８０Ａを使用することによってタッチ操作の強度を検出する。電子デバイス１００は、圧力センサ１８０Ａの検出信号に基づいてタッチ位置を計算することができる。いくつかの実施形態では、同じタッチ位置で行われるが、異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応してもよい。例えば、ＳＭＳアプリケーションアイコン上で、第１の圧力閾値よりも小さいタッチ操作強度のタッチ操作を行うときに、ＳＭＳメッセージを閲覧するための命令が実行される。ＳＭＳアプリケーションアイコン上で、第１の圧力閾値以上であるタッチ操作強度のタッチ操作を行うときに、ＳＭＳメッセージを作成するための命令が実行される。
ジャイロスコープセンサ１８０Ｂは、電子デバイス１００の運動姿勢を判定するように構成されてもよい。いくつかの実施形態において、３つの軸（すなわち、軸ｘ、ｙ、及びｚ）を中心とした電子デバイス１００の角速度は、ジャイロスコープセンサ１８０Ｂを使用することによって判定されてもよい。ジャイロスコープセンサ１８０Ｂは、撮影中に手ぶれ補正を実施するように構成され得る。例えば、シャッタが押されると、ジャイロスコープセンサ１８０Ｂは、電子デバイス１００がジッタを発生させる角度を検出し、レンズモジュールが補償する必要がある距離を角度に基づいた計算を通して取得し、レンズが、反転運動を通して電子デバイス１００のジッタを相殺して、手ぶれ補償を実施することを可能にする。ジャイロスコープセンサ１８０Ｂは、さらに、ナビゲーションシナリオ及び運動感知ゲームシナリオにおいて使用され得る。
気圧センサ１８０Ｃは、気圧を測定するように構成されている。いくつかの実施形態では、電子デバイス１００は、気圧センサ１８０Ｃによって測定された気圧値に基づいて高度を計算して、位置決め及びナビゲーションを支援する。
磁気センサ１８０Ｄは、Ｈａｌｌセンサを含む。電子デバイス１００は、磁気センサ１８０Ｄを使用することによって、フリップカバーの開閉を検出することができる。いくつかの実施形態では、電子デバイス１００がクラムシェル電話である場合、電子デバイス１００は、磁気センサ１８０Ｄを使用することによって、クラムシェルの開閉を検出してもよい。さらに、フリップカバーの開閉時の自動ロック解除などの機能は、皮革ケースの検出された開閉状態又はフリップカバーの検出された開閉状態に基づいて設定される。
加速度センサ１８０Ｅは、電子デバイス１００の種々の方向（通常は３軸）の加速度を検出することができ、電子デバイス１００が静止しているときに重力の大きさ及び方向を検出することができる。加速度センサ１８０Ｅは、さらに、電子デバイスの姿勢を識別するように構成されてもよく、景観モードと人物モード又は歩数計との間の切り替えのようなアプリケーションで使用される。
距離センサ１８０Ｆは、距離を測定するように構成されている。電子デバイス１００は、距離を赤外線方式又はレーザ方式で測定することができる。いくつかの実施形態において、撮影シナリオにおいて、電子デバイス１００は、距離センサ１８０Ｆを使用することによって距離を測定して、迅速な焦点合わせを実施してもよい。
光学近接センサ１８０Ｇは、例えば、発光ダイオード（ＬＥＤ）及び光学検出器、例えば、フォトダイオードを含んでもよい。発光ダイオードは赤外線発光ダイオードであり得る。電子デバイス１００は、発光ダイオードを使用することによって赤外線を放出する。電子デバイス１００は、近傍の物体からの赤外線反射光をフォトダイオード使用することによって検出する。十分な反射光を検出するときに、電子デバイス１００は、電子デバイス１００の近くに物体があると判定することができる。不十分な反射光を検出するときに、電子デバイス１００は、電子デバイス１００の近くに物体がないと判定してもよい。電子デバイス１００は、光近接センサ１８０Ｇを使用することによって、ユーザが電子デバイス１００を通話のための耳の近くに保持していることを検出することができ、電子デバイス１００が電力を節約するためにスクリーンを自動的にオフにするようにする。光近接センサ１８０Ｇはまた、スマートカバーモード又はポケットモードで使用して、スクリーンのロック解除又はロックを自動的に行ってもよい。
周囲光センサ１８０Ｌは、周囲光の輝度を感知するように構成されている。電子デバイス１００は、感知された周囲光の明るさに基づいてディスプレイ１９４の明るさを適応的に調整することができる。周囲光センサ１８０Ｌはまた、撮影中にホワイトバランスを自動的に調整するように構成され得る。周囲光センサ１８０Ｌはまた、電子デバイス１００がポケットに入っているかどうかを検出するために、光近接センサ１８０Ｇと協働して、偶発的な接触を回避することができる。
指紋センサ１８０Ｈは、指紋を収集するように構成されている。電子デバイス１００は、収集された指紋の特徴を使用して、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの撮影、指紋ベースで電話に出ることなどを実施することができる。
温度センサ１８０Ｊは、温度を検出するように構成されている。いくつかの実施形態では、電子デバイス１００は、温度センサ１８０Ｊによって検出された温度に基づいて温度処理方針を実行する。例えば、温度センサ１８０Ｊによって報告された温度が閾値を超えるときに、電子デバイス１００は、温度センサ１８０Ｊの近くに位置するプロセッサの性能を低下させて、熱保護を実施するための電力消費を低減する。いくつかの他の実施形態では、温度が別の閾値よりも小さいときに、電子デバイス１００は、低温のために電子デバイス１００が異常にシャットダウンされるのを防止するために、バッテリ１４２を加熱する。いくつかの他の実施形態では、温度がさらに別の閾値よりも小さいときに、電子デバイス１００は、低温による異常なシャットダウンを回避するために、バッテリ１４２の出力電圧を上昇させる。
タッチセンサ１８０Ｋは、「タッチコンポーネント」とも呼ばれる。タッチセンサ１８０Ｋは、ディスプレイ１９４に設けられてもよく、タッチセンサ１８０Ｋ及びディスプレイ１９４は、「タッチスクリーン」とも呼ばれるタッチ画面を形成する。タッチセンサ１８０Ｋは、タッチセンサ１８０Ｋ又はその近くで行われるタッチ操作を検出するように構成されている。タッチセンサは、検出されたタッチ操作をアプリケーションプロセッサに転送して、タッチイベントのタイプを判定することができる。タッチ操作に関する視覚出力は、ディスプレイ１９４を使用することによって提供され得る。いくつかの他の実施形態において、タッチセンサ１８０Ｋは、代替的には、ディスプレイ１９４の位置とは異なる位置に電子デバイス１００の表面に設けられてもよい。
骨伝導センサ１８０Ｍは、振動信号を取得することができる。いくつかの実施形態において、骨伝導センサ１８０Ｍは、ヒト声帯部の振動骨の振動信号を取得することができる。骨伝導センサ１８０Ｍはまた、ヒトパルスと接触して、血圧拍動信号を受信してもよい。いくつかの実施形態において、骨伝導センサ１８０Ｍは、代替的には、骨伝導ヘッドセットを形成するためにヘッドセットに設けられてもよい。オーディオモジュール１７０は、声帯部分の振動骨のものであり、かつ骨伝導センサ１８０Ｍによって取得される振動信号に基づいて、解析を通してボイス信号を取得して、ボイス機能を実施することができる、アプリケーションプロセッサは、骨伝導センサ１８０Ｍによって取得された血圧拍動信号に基づいて心拍数情報を解析して、心拍数検出機能を実施することができる。
キー１９０は、電源キー、ボリュームキー等を含む。キー１９０は、機械的キーであってもよいし、タッチキーであってもよい。電子デバイス１００は、キー入力を受信し、電子デバイス１００のユーザ設定及び機能コントロールに関するキー信号入力を生成することができる。
モータ１９１は、振動プロンプトを生成することができる。モータ１９１は、着信振動プロンプト及びタッチ振動フィードバックを提供するように構成され得る。例えば、異なるアプリケーション（例えば、撮影及びオーディオ再生）に対して行われるタッチ操作は、異なる振動フィードバック効果に対応することができる。モータ１９１はまた、ディスプレイ１９４の異なる領域で行われるタッチ操作に対する異なる振動フィードバック効果に対応することができる。異なるアプリケーションシナリオ（例えば、時間リマインダ、情報受信、目覚まし時計、ゲーム）もまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果はさらにカスタマイズされてもよい。
インジケータ１９２は、インジケータライトであってもよいし、充電状態及び電力変化を示すように構成されてもよいし、メッセージ、不在着信、通知などを示すように構成されてもよい。
ＳＩＭカードインターフェース１９５は、ＳＩＭカードに接続するように構成される。ＳＩＭカードは、ＳＩＭカードインターフェース１９５に挿入されるか、ＳＩＭカードインターフェース１９５から取り外されて、電子デバイス１００との接触又は電子デバイス１００からの分離を実施することができる。電子デバイス１００は、１つ又はＮ個のＳＩＭカードインターフェースをサポートすることができ、Ｎは、１よりも大きい正の整数である。ＳＩＭカードインターフェース１９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカードなどをサポートすることができる。複数のカードが同じＳＩＭカードインターフェース１９５に同時に挿入され得る。複数のカードは、同じタイプのものであっても、異なるタイプのものであってもよい。ＳＩＭカードインターフェース１９５は、異なるタイプのＳＩＭカードと互換性があり得る。ＳＩＭカードインターフェース１９５はまた、外部メモリカードと互換性があり得る。電子デバイス１００は、ＳＩＭカードを介してネットワークと相互作用し、呼び出し及びデータ通信などの機能を実施する。いくつかの実施形態では、電子デバイス１００は、ｅＳＩＭ、すなわち、埋め込み型ＳＩＭカードを使用する。ｅＳＩＭカードは、電子デバイス１００内に埋め込まれてもよく、電子デバイス１００から分離することができない。
電子デバイス１００のソフトウェアシステムは、階層化アーキテクチャ、イベント駆動アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを使用することができる。本発明のこの実施形態では、電子デバイス１００のソフトウェア構造を例示するために、階層化アーキテクチャを有するＡｎｄｒｏｉｄシステムが一例として使用される。
図２は、この出願のこの実施形態による電子デバイス１００のソフトウェア構造のブロック図である。
階層化アーキテクチャでは、ソフトウェアは複数の階層に分割され、各階層は明確な役割とタスクを有する。これらの層は、ソフトウェアインターフェースを介して互いに通信する。いくつかの実施態様では、Ａｎｄｒｏｉｄシステムは、上から下まで、アプリケーション層、アプリケーションフレームワーク層、Ａｎｄｒｏｉｄランタイム（Ａｎｄｒｏｉｄランタイム）及びシステムライブラリ、及びカーネル層の４つの層に分割される。アプリケーション層は、一連のアプリケーションパッケージを含み得る。
図２に示すように、アプリケーションパッケージは、「カメラ」、「ギャラリー」、「カレンダー」、「電話」、「地図」、「ナビゲーション」、「ＷＬＡＮ」、「Ｂｌｕｅｔｏｏｔｈ」、「音楽」、「ビデオ」、及び「メッセージ」などのアプリケーションを含み得る。
アプリケーションフレームワーク層は、アプリケーション・プログラミング・インターフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ、ＡＰＩ）と、アプリケーション層におけるアプリケーションのためのプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、事前定義された機能をいくつか含む。
図２に示すように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャなどを含み得る。
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成されている。ウィンドウマネージャは、ディスプレイのサイズを取得し、ステータスバーを提示するかどうか、スクリーンをロックするかどうか、画面をキャプチャするかどうかなどを判定することができる。
コンテンツプロバイダは、データを保存し、取得し、アプリケーションがデータにアクセスできるように構成されている。データは、ビデオ、画像、オーディオ、発信と着信、閲覧履歴、ブックマーク、電話帳などを含む。
ビューシステムは、テキストを表示するためのコンポーネント、又はピクチャを表示するためのコンポーネントなどのビジュアルコンポーネントを含む。ビューシステムは、アプリケーションを構築するように構成され得る。ディスプレイインターフェースは、１つ以上のビューを含み得る。例えば、メッセージ通知アイコンを含む表示インターフェースは、テキスト表示ビュー及びピクチャ表示ビューを含み得る。
電話マネージャは、電子デバイス１００の通信機能、例えば、通話状態の管理（応答又は拒否を含む）を提供するように構成されている。
リソースマネージャは、ローカライズされた文字列、アイコン、ピクチャ、レイアウトファイル、及びビデオファイルなどのさまざまなリソースをアプリケーションに提供する。
通知マネージャは、アプリケーションが通知情報をステータスバーに表示することを可能にし、通知タイプメッセージを伝達するように構成され得る。通知マネージャは、ユーザとの相互作用なしに、短い一時停止の後、自動的に消えてしまってもよい。例えば、通知マネージャは、ダウンロード完了の通知、メッセージプロンプトなどを提供するように構成されている。代替的には、通知マネージャは、グラフ又はスクロールバーテキストの形式でシステムの最上位ステータスバーに現れる通知、例えば、バックグラウンドで動作中のアプリケーションの通知、又はダイアログウィンドウの形式で画面に現れる通知であってもよい。例えば、テキスト情報がステータスバーでプロンプト表示されるか、アナウンスが生成されるか、電子デバイスが振動するか、又はインジケータライトが点滅したりする。
Ａｎｄｒｏｉｄランタイムは、カーネルライブラリと仮想マシンを含む。Ａｎｄｒｏｉｄランタイムは、Ａｎｄｒｏｉｄシステムのスケジューリングと管理を担当します。
カーネルライブラリは、Ｊａｖａ言語で呼び出す必要のある関数と、Ａｎｄｒｏｉｄのコアライブラリの２つの部分を含む。
アプリケーション層とアプリケーションフレームワーク層は、仮想マシン上で動作する。仮想マシンは、アプリケーション層とアプリケーションフレームワーク層においてＪａｖａファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティと例外管理、ガーベジコレクションなどの機能を実施するように構成されている。
システムライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ（ｓｕｒｆａｃｅ ｍａｎａｇｅｒ）、メディアライブラリ（ｍｅｄｉａ ｌｉｂｒａｒｉｅｓ）、３次元グラフィックス処理ライブラリ（例えば、ＯｐｅｎＧＬ ＥＳ）、及び２Ｄグラフィックスエンジン（例えば、ＳＧＬ）を含み得る。
サーフェスマネージャは、表示サブシステムを管理し、複数のアプリケーションに２Ｄ及び３Ｄ層のフュージョンを提供するように構成されている。
メディアライブラリは、複数の一般的に使用されるオーディオ及びビデオフォーマット、静止画像ファイルなどの再生及び記録をサポートする。メディアライブラリは、ＭＰＥＧ－４、Ｈ．２６４、ＭＰ３、ＡＡＣ、ＡＭＲ、ＪＰＧ、及びＰＮＧなどの複数のオーディオ及びビデオ符号化フォーマットをサポートすることができる。
３次元グラフィックス処理ライブラリは、３次元グラフィックス描画、画像レンダリング、合成、レイヤ処理などを実施するように構成されている。
２Ｄグラフィックスエンジンは２Ｄ描画のための描画エンジンである。
カーネル層は、ハードウェアとソフトウェアの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ、及びセンサドライバを含む。
理解を容易にするために、この出願の以下の実施形態では、図１及び図２に示す構造を有する電子デバイスが、添付の図面及びアプリケーションシナリオを参照して、この出願の実施形態において提供されるインターフェースコンポーネントを表示するための方法を詳細に説明するための一例として使用される。
背景に説明されているように、デバイスＡがデバイスＢの能力とサービスを使用することを可能にするためには、まず、デバイスＢのインターフェースをデバイスＡ上に直接表示する必要がある。画面プロジェクションは、送信元デバイスの表示インターフェースを宛先デバイス上に直接プロジェクション及び表示する操作である。現在、デジタル・リビング・ネットワーク・アライアンス（ｄｉｇｉｔａｌ ｌｉｖｉｎｇ ｎｅｔｗｏｒｋ ａｌｌｉａｎｃｅ、ＤＬＮＡ）により導入され、かつＷｉ－Ｆｉ直接無線直接接続技術に基づく「Ｍｉｒａｃａｓｔ」など、無線オーディオ及びビデオ伝送技術を主に含む複数の画面プロジェクションソリューションが市場にある。画面プロジェクションは、テレビジョン端及び携帯電話端におけるアプリケーションの両方が、写真、オーディオ、及びビデオなどのファイルを携帯電話からテレビジョン端へプロジェクションし、表示するために、対応するプロトコルに準拠することが必要である。
画面プロジェクション技術は、宛先デバイスのインターフェースのサイズ及び解像度、及び宛先デバイスの表示インターフェースに対する特定の要件を考慮することなく、送信元デバイスのインターフェースを宛先デバイス上で直接マップ及び表示するためにのみ使用することができる。追加的に、画面プロジェクションプロセスでは、一度に表示されるアプリケーションインターフェースは１つだけであり、複数のインターフェース機能を表示のために組み合わせることができず、いくつかのインターフェースｎコンポーネントは、分割して個別に表示することができない。ほとんどの場合、画面プロジェクション技術は、宛先デバイスからの送信元デバイスに対する操作を実行することをサポートしない。
前述の画面プロジェクション技術に加えて、Ａｐｐｌｅ Ｉｎｃ．によってリリースされた車載型システムＣａｒＰｌａｙは、ユーザのｉＯＳデバイス及びｉＯＳの使用体験をダッシュボードシステムとシームレスに統合することができる。ＣａｒＰｌａｙは、車の制御パネルを使用することによってｉＰｈｏｎｅの基本的な機能のほとんどを使用することができる。これらの機能のうちのいくつかは、音声アシスタントツールＳｉｒｉ、音楽プレーヤーｉＴｕｎｅｓ、Ａｐｐｌｅマップ、メッセージサービスを含む。ＣａｒＰｌａｙに基づいて、ドライバはハンドルを離れずに電話をかけたり受けたりすることができ、ボイスメールを聞くことができる。ユーザは、容易かつ安全に電話をかけたり、音楽を聞きたり、メッセージを送信及び受信したり、ナビゲーションを使用するなどをすることができる。ｉＰｈｏｎｅを車載システムＣａｒＰｌａｙに接続するプロセスでは、ユーザは車内の駆動制御パネルに触れてｉＰｈｏｎｅを制御することができる。
しかし、ＣａｒＰｌａｙは車載デバイスに限定され、特定のアプリケーションのみをサポートするに過ぎない。追加的に、車内の制御パネルの表示は、ｉＰｈｏｎｅの現在のアプリケーションインターフェースにも完全にコピーされており、ｉＰｈｏｎｅのアプリケーションインターフェースのいくつかのコンポーネントを分割して別々に表示することができない。
この出願は、ＵＩコンポーネントを使用することによってＵＩコンポーネントを表示する方法を提供する。この方法では、送信元デバイスのアプリケーションのいくつかの機能又はインターフェースのいくつかの機能コントロールを、独立した操作インターフェースに分離して、宛先デバイス上で表示することができるか、又は複数のアプリケーションのいくつかの機能又はインターフェースの複数の機能コントロールを組み合わせて、独立した操作インターフェースを形成して、宛先デバイス上で表示する。追加的に、この出願におけるＵＩコンポーネントを表示するため方法によれば、宛先デバイス上に表示された操作インターフェースに対して操作を行って、送信元デバイスに対応するアプリケーションに対する操作を実施することができ、操作結果を宛先デバイスから送信元デバイスに転送する。したがって、ユーザは、様々な異なるシナリオにおいて、操作インターフェースに含まれるアプリケーションに対して操作を行うことができる。これは、ユーザが使用するのに都合がよい。
この出願におけるＵＩコンポーネントを表示するための方法を説明する前に、電子デバイスのＵＩコンポーネント表示機能を有効にする必要がある。この出願では、説明のために送信元デバイスとして携帯電話が使用される。
可能な実施形態では、図３（ａ）～図３（ｎ）に示すように、携帯電話のＵＩコンポーネント表示機能を有効にすることができる。図３（ａ）～図３（ｎ）は、この出願の実施形態による携帯電話のＵＩコンポーネント表示機能を有効にするために使用されるグラフィカルユーザインターフェース（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＧＵＩ）の一例の概略図である。図３（ａ）に示すように、携帯電話の画面表示システムは、現在の出力インターフェースコンテンツ３０１を携帯電話のロック解除モードで表示する。インターフェースコンテンツ３０１は、携帯電話のホーム画面である。インターフェースコンテンツ３０１は、Ａｌｉｐａｙ、Ｔａｓｋ Ｃａｒｄ Ｓｔｏｒｅ、Ｗｅｉｂｏ、アルバム、音楽、ＷｅＣｈａｔ、Ｃａｒｄｓ、設定、及びカメラなどの複数のサードパーティアプリケーションを表示する。インターフェースコンテンツ３０１は、さらに、より多くのアプリケーションを含んでもよいと理解されたい。これは、この出願において限定されない。ユーザは「設定」を操作することにより、ＵＩコンポーネント表示機能を有効にすることができる。
例えば、図３（ａ）に示すように、ユーザ操作を「設定」に対して行い、ユーザ操作は、図３（ａ）に示すタップ操作のように、携帯電話上に表示される「設定」のアイコンをユーザがタップする操作を含み得る。ユーザのタップ操作に応じて、携帯電話は「設定」のインターフェースに移行する。
図３（ｂ）に示すインターフェース３０２は、この出願による「設定」のインターフェースの一例の概略図である。インターフェース３０２は、複数のメニューバーを含んでもよく、各メニューバーに対して異なる機能が設定され得る。例えば、インターフェース３０２は、無線＆セルラメニューバー、デバイス接続メニューバー、デスクトップ＆壁紙メニューバー、ディスプレイ＆明るさメニューバー、サウンドメニューバー、及びその他の設定メニューバーを含む。各メニューバーの機能は、ここでは再度説明しない。
ユーザは、図３（ｂ）に示すデバイス接続メニューバーをタップする操作を行うことができる。タップ操作に応答して、携帯電話は、図３（ｃ）に示すインターフェース３０３に移行する。インターフェース３０３は、複数のメニューバー、例えば、Ｂｌｕｅｔｏｏｔｈメニューバー、近距離通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）メニューバー、Ｈｕａｗｅｉ Ｓｈａｒｅメニューバー、イージープロジェクション・メニューバー、ＵＳＢ設定メニューバー、及びプリントメニューバーを含んでもよい。ユーザは、図３（ｃ）に示す携帯電話のイージープロジェクション・メニューバーをタップする操作を行う。タップ操作に応答して、携帯電話は、図３（ｄ）に示すインターフェース３０４に移行する。インターフェース３０４は、複数の機能領域、例えば、イージープロジェクションモード設定領域及び無線プロジェクション設定領域を含み得る。「無線プロジェクション」コントロールを有効にする、をタップする（図中の制御選択ボックスがＯＮ状態）ことによって、利用可能なデバイスリストが検索される。利用可能なデバイスリスト内のデバイスは、例えば、スマートウォッチデバイス又はこの出願における車載端末などの、ユーザのタッチ操作を受けることができる携帯電話である、プロジェクションをサポートすることができるすべてのデバイスである。
ユーザは、図３（ｄ）に示すスマートウォッチデバイス・メニューバーをタップする操作を行う。タップ操作に応答して、携帯電話は、図３（ｅ）に示すインターフェース３０５に移行する。インターフェース３０５は、例えば、図３（ｅ）に示す音楽、Ｈｕａｗｅｉ Ｖｉｄｅｏ、ＷｅＣｈａｔ、Ａｌｉｐａｙ、Ｗｅｉｂｏ、ＡｕｔｏＮａｖｉマップ、及びメモなどの異なるアプリケーションタイプに対して、アプリケーションリストと、アプリケーションのＵＩコンポーネントの表示機能を有効にする切り替えコントロールとを含んでもよく、ユーザは、各アプリケーションのＵＩコンポーネントの表示機能の切り替えコントロールをタップして、アプリケーションのＵＩコンポーネントの表示機能を有効にするかどうかを判定することができる。任意選択で、ユーザは、現在、プロジェクションされ、宛先デバイス上に表示する必要のあるアプリケーション（音楽、ＡｕｔｏＮａｖｉマップ、又はメモ）を有効にすることができ、現在、有効にする必要のないチャットタイプのプライベートなアプリケーション（ＷｅＣｈａｔ、Ｗｅｉｂｏ、Ａｌｉｐａｙ、Ｈｕａｗｅｉ Ｖｉｄｅｏなど）を無効な状態に保持することができる。携帯電話は、図３（ｆ）に示すインターフェース３０６を表示することができる。
宛先デバイス上に表示する必要のあるアプリケーションを設定した後、ユーザは、ＵＩコンポーネント表示機能が既に有効になっているアプリケーションに移行することができる。図３（ｇ）は、携帯電話のホーム画面３０１を示し、ユーザのタップ操作は、ホーム画面３０１の音楽アプリケーションに対して行われる。ユーザのタップ操作に応答して、携帯電話は、図３（ｈ）に示す音楽アプリケーションの表示インターフェース３０８に移行する。ユーザのタップ操作は、ディスプレイインターフェース３０８に対して行われる。ユーザのタップ操作に応答して、携帯電話は、図３（ｉ）に示す音楽再生インターフェース３０９に移行する。
図３（ｉ）に示すように、再生インターフェース３０９は複数の機能領域を含み得る。各機能領域は、異なる機能コントロールを含み、１つ以上の機能コントロールは、ユーザインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＵＩ）コンポーネントを形成する。言い換えると、各ＵＩコンポーネントは、アプリケーションインターフェースでの１つ以上の機能コントロールのセット又はカスタム機能コントロールである。この出願のこの実施形態の説明では、音楽アプリケーションの再生インターフェース３０９は、複数の機能コントロールを含む。図３に示すように、機能コントロールは、曲名表示コントロール３１０、戻りコントロール３１１、歌詞表示コントロール３１２、ダウンロードコントロール３１３、及び共有コントロール３１４、音量調整コントロール３１５、曲詳細コントロール３１６、繰り返し設定コントロール３１７、前の曲選択コントロール３１８、再生コントロール３１９、次の曲選択コントロール３２０、及びお気に入りコントロール３２１を含み得る。
可能な実施態様では、ユーザは、ジェスチャ選択を介して、再生インターフェース３０９上で、宛先デバイスに表示する必要があるＵＩコンポーネントを選択してもよい。図３（ｋ）に示すように、携帯電話の音楽アプリケーションの再生インターフェース上では、ユーザは、宛先デバイスの表示画面サイズ及びそのインターフェースの機能コントロールのためのユーザの使用要件に応じて、宛先デバイス上に表示する必要のある機能コントロールを宛先画面で選択して、ＵＩコンポーネントを形成することができる。例えば、ユーザが音楽再生インターフェースの破線ボックスに示された領域を選択することは、ユーザが、前の曲選択コントロール、再生コントロール、及び次の曲選択コントロールを選択することとして理解されてもよい。破線ボックスに示す領域を選択する操作は、例えば、図中に示された破線ボックスの左上隅の開始座標位置１からその領域の右下隅の座標位置２までのスライド操作、又は破線ボックスの右下隅の開始座標位置２からその領域の左上隅の座標位置１までのスライド操作である、破線ボックスに示す領域の対角線の２つの位置座標に沿ったユーザのスライド操作であり得る。これは、この出願において限定されない。
ユーザが宛先デバイス上に表示する必要がある、前の曲選択コントロール、再生コントロール及び次の曲選択コントロールの３つの機能コントロールを含むＵＩコンポーネントを選択するときに、ユーザの選択操作に応答して、携帯電話は、プロジェクションモードを有効にするための確認ダイアログボックスを表示する。図３（ｍ）は、携帯電話の表示インターフェース３２４を示す。プロジェクションモードを有効にするための表示された確認ダイアログボックスでは、「Ｙｅｓ」選択コントロールと「Ｎｏ」選択コントロールがある。ユーザが「Ｙｅｓ」をタップするときに、図３（ｎ）のように、スマートウォッチのディスプレイインターフェースに、選択されたＵＩコンポーネントが表示される。
以上、この出願における携帯電話のＵＩコンポーネントの表示を有効にする方法について説明した。「音楽」アプリケーションのプロジェクション機能は、まず携帯電話の「設定」アプリケーションで有効になり、次に、スマートウォッチ上に表示する必要のあるＵＩコンポーネントに含まれる機能コントロールが選択され、最後に選択されたＵＩコンポーネントがスマートウォッチの表示インターフェースに表示されることが判定される。
別の可能な実施態様では、このアプリケーションのＵＩコンポーネント表示機能は、アプリケーションにおけるユーザのジェスチャを識別することによって有効にしてもよい。
例えば、図４（ａ）～図４（ｎ）は、この出願の一実施形態による携帯電話のＵＩコンポーネント表示機能を有効にする別の実施形態の概略図である。図４（ａ）は、携帯電話のホーム画面４０１を示す。ホーム画面４０１に含まれるスクリーンコンテンツは、図３（ａ）～図３（ｎ）において上述されている。簡潔にするために、詳細は、ここでは再度説明しない。図４（ｂ）は、ユーザが図４（ａ）に示すタップ操作を行った後に表示される音楽アプリケーションのホーム画面４０２である。図４（ｃ）は、音楽アプリケーションの再生インターフェース４０３である。ユーザは、音楽アプリケーションのホーム画面４０２又は音楽アプリケーションの再生インターフェース４０３で第１の操作を行うことができる。第１の操作は、携帯電話がＵＩコンポーネントの表示機能を有効にすることをトリガするために使用され得る。ユーザによって行われた第１の操作に応答して、携帯電話は、プロジェクションモードを可能にするための確認ダイアログボックス４０４を表示することができる。プロジェクションモードを有効にするための確認ダイアログボックス４０４は、「Ｙｅｓ」選択コントロール及び「Ｎｏ」選択コントロールを含む。ユーザが「Ｙｅｓ」をタップした後、携帯電話は、図４（ｅ）に示すディスプレイプロジェクション設定インターフェース４０５に移行することができる。
任意選択で、第１の操作は、インターフェース上のユーザの指のスライド操作、又は別のタッチ操作であってもよいし、第１の操作は、インターフェース上のユーザの指関節のスライド操作、又は別のタッチ操作であってもよい。例えば、第１の操作は、図４（ｂ）及び図４（ｃ）に示すユーザによる閉じた円滑り、又は閉じていない「Ｃ」形状のような別の可能な形状であってもよい。ユーザの第１の操作は、この出願では限定されない。
図４（ｅ）に示すように、プロジェクション設定インターフェース４０５は、宛先デバイス上にＵＩコンポーネントを表示するプロセスにおける複数の設定メニューを含み得る。例えば、設定メニューは、宛先デバイス設定メニュー、プロジェクションコンポーネント設定メニュー、表示サイズ設定メニュー、プロジェクションタイプ設定メニューなどであってもよい。ユーザが、図４（ｅ）に示す宛先デバイス設定メニューをタップする操作を行って、図４（ｆ）に示す表示インターフェース４０６に移行するときに、ユーザは、表示インターフェース４０６に含まれる利用可能なデバイスリストから少なくとも１つの宛先デバイスを選択することができる。例えば、ユーザは、スマートウォッチデバイスを選択してもよいし、ウォッチデバイス及び車載表示デバイスのような複数のデバイスを同時に選択してもよい。この出願では、ＵＩコンポーネントの表示プロセスにおける宛先デバイスの数は限定されない。
追加的に、図４（ｇ）に示すように、ユーザは、プロジェクション設定インターフェース４０５上のプロジェクションコンポーネント設定メニューをタップして、図４（ｈ）に示すプロジェクションコンポーネント選択インターフェース４０７に移行してもよい。プロジェクションコンポーネント選択インターフェース４０７は、複数のコンポーネントタイプを含み得る。プロジェクションコンポーネント選択インターフェース４０７に示すコンポーネントタイプ１～コンポーネントタイプ７は、システムによって事前設定された異なるＵＩコンポーネントであり得る。各コンポーネントタイプは、異なる数の異なるタイプの機能コントロールを含む。例えば、コンポーネントタイプ１は、音楽再生コントロール３１９及び前の曲選択コントロール３１８を含んでもよい。ユーザは、任意のコンポーネントタイプをタップして、宛先デバイスの表示インターフェース上に、コンポーネントタイプに含まれる機能コントロールを表示する
プロジェクションコンポーネント選択インターフェース４０７は、さらに、図４（ｈ）に示すように、カスタムコンポーネントタイプの追加メニューを含み得る。ユーザは、カスタムコンポーネントタイプの追加メニューをタップして、図４（ｉ）に示すＵＩコンポーネント選択インターフェース４０８に移行することができる。ＵＩコンポーネント選択インターフェース４０８では、音楽アプリケーションのすべての限定された機能コントロールは、小さなアイコン又はテキストボックスなどでリストに表示される。ユーザは、各機能コントロールの小さなアイコン又はテキストボックスをタップし、少なくとも１つの機能コントロールを選択し、保存コントロールをタップして、選択された機能コントロールをカスタムコンポーネントタイプ１のＵＩコンポーネントとして保存することができる。携帯電話のディスプレイインターフェース４０９が、図に示されてもよい。
インターフェース４０９上の任意のＵＩコンポーネントタイプは、追加、修正、又は削除など、ユーザの操作を受け入れることができると理解されたい。例えば、ユーザが今回、カスタムコンポーネントタイプ１を作成するときに、カスタムコンポーネントタイプ１は、次の設定で、プロジェクションコンポーネントリストに含まれてもよい。ユーザは、カスタムコンポーネントタイプ１を長押しすることにより、カスタムコンポーネントタイプ１を削除又は修正することができる。これは、この出願において限定されない。
図４（ｍ）に示すように、ユーザは、プロジェクション設定インターフェース４０５上の表示サイズ設定メニューをタップして、図４（ｎ）に示す宛先デバイスの表示サイズ設定インターフェース４１０に移行することができる。設定インターフェース４１０は、宛先デバイスに関する開始座標設定、表示ボックスサイズ設定、高さ設定などを含んでもよい。ユーザが宛先デバイス設定インターフェース４０６において宛先デバイスを選択するとき、例えば、ユーザがスマートウォッチを選択するときに、ユーザは、スマートウォッチの出力インターフェースのサイズに基づいて、スマートウォッチの出力インターフェース上に表示されるＵＩコンポーネントのサイズを設定し、設定を保存することができる。図４（ｎ）は、宛先デバイスがスマートウォッチであるときの携帯電話上の表示サイズを設定するためのインターフェースのみを示す。ユーザが複数の宛先デバイスを選択するときに、より多くの設定インターフェースが含まれ得る。これは、この出願において限定されない。
前述の列挙された設定メニューは、音楽アプリケーションにおいてユーザによって設定されてもよいし、ユーザが、図４（ｄ）に示すように、プロジェクションモードインターフェースを有効にすると判定した後に、選択されたＵＩコンポーネントを宛先デバイス上に表示するときに設定されてもよく、ユーザは、宛先デバイス端部上でＵＩコンポーネントの表示サイズなどを設定してもよいと理解されたい。これは、この出願において限定されない。前述の操作を行った後、ユーザによって選択されたＵＩコンポーネントは、スマートウォッチの表示インターフェースに表示される。
別の可能な実装では、電子デバイスのＵＩコンポーネント表示機能は、さらに、別のサードパーティアプリケーションを使用することによって有効にしてもよい。例えば、Ｈｕａｗｅｉによって開発された異種プロジェクションアプリケーションを使用して、宛先デバイス上に表示する必要のあるＵＩコンポーネントを設定してもよい。これは、この出願において限定されない。
図５（ａ）～図５（ｄ）は、この出願の一実施形態によるＵＩコンポーネントを表示するために使用されるグラフィカルユーザインターフェースの一例の概略図である。この出願では、携帯電話が、送信元デバイスとして使用され、携帯電話の音楽アプリケーションが、この出願によるＵＩコンポーネントを表示するための方法を詳細に説明するための一例として使用される。図５（ａ）に示すように、携帯電話の音楽アプリケーションの再生インターフェース３０９に含まれる複数の機能コントロールは、例えば、図５（ａ）に示す機能領域５０１、機能領域５０２、機能領域５０３の３つの機能領域に分割されている。図５（ｃ）に示すように、機能領域５０１における機能コントロールは、曲名表示コントロール５０４、戻りコントロール５０５、曲名表示コントロール５１５が位置する領域を含み得る。機能領域５０２における機能コントロールは、ダウンロードコントロール５０６、共有コントロール５０７、音量調整コントロール５０８、及び曲詳細コントロール５０９が位置する領域を含んでもよい。機能領域５０３における機能コントロールは、ループ設定コントロール５１０、前の曲選択コントロール５１１、再生コントロール５１２、次の曲選択コントロール５１３、及びお気に入りコントロール５１４を含み得る。
携帯電話が、送信元デバイスとして使用され、スマートウォッチが、宛先デバイスとして使用される。この出願で提供されるＵＩコンポーネントを使用することによってＵＩコンポーネントを表示する方法によれば、携帯電話の音楽アプリケーションの音楽インターフェース３０９の任意の１つ以上の機能コントロールを独立した操作インターフェースに組み合わせて、スマートウォッチの出力デバイス（例えば、ディスプレイ）上に表示することができる。代替的には、携帯電話の音楽アプリケーションの再生インターフェース３０９の機能エリア５０１、機能エリア５０２、及び機能エリア５０３のうちのいずれか１つのすべての機能コントロールが、独立した１つの操作インターフェースに組み合わせられて、スマートウォッチの出力デバイス上に表示される。
例えば、図５（ｂ）に示すように、携帯電話の音楽アプリケーションの音楽インターフェース３０９の機能領域５０３に含まれる機能コントロールは、スマートウォッチ端上に表示され、スマートウォッチ端の表示インターフェース５１６は、機能領域５０３におけるすべての機能コントロールを含んでもよい。この出願のこの実施形態の説明では、宛先デバイス端上に表示されるすべての機能コントロールの組み合わせは、「アトマイゼーション・コンポーネント」と呼ばれる。例えば、機能領域５０３がスマートウォッチの表示インターフェースに表示される場合、機能領域５０３に含まれるすべての機能コントロールの組み合わせは、アトマイゼーション・コンポーネントの一例である。スマートウォッチ上のアトマイゼーション・コンポーネントの表示領域は、アトマイゼーション・コンポーネント表示領域と呼ばれる。
任意選択で、機能領域５０３に含まれるすべての機能コントロールの組み合わせを表示することに加えて、スマートウォッチ端部の表示インターフェース５１６は、携帯電話の音楽アプリケーションによって再生されている曲名の表示領域、すなわち曲名表示コントロール５０４をさらに含んでもよい。
可能な実施形態では、機能領域５０３におけるすべての機能コントロールが宛先デバイス上に表示されるプロセスにおいて、電子デバイスは、宛先デバイスの表示インターフェースのサイズ及び宛先デバイスの表示インターフェースの形状に基づいて、異なる組み合わせ及び配置を行ってもよい。例えば、この出願のこの実施形態では、スマートウォッチの表示インターフェースは、携帯電話の表示インターフェース、すなわち送信元デバイスよりも小さく、スマートウォッチの表示インターフェースは、通常、円形を提示する。機能領域５０３におけるすべての機能コントロールは、図５（ｂ）に示すディスプレイインターフェース５１６上に、ある配置方式で提示され、コントロールは時計回りに配置される。代替的には、機能領域５０３すべての機能コントロールは、図５（ｃ）に示される表示インターフェース５１７上に、ある配列方式で提示され、コントロールは反時計回りに配置される。図５（ｂ）及び図５（ｃ）におけるスマートウォッチの表示インターフェースの各々の破線ボックスは、上述のアトマイゼーションコントロール表示領域３１９である。
なお、図に示したコントロール配置方式に加えて、異なる配置方式があり得ると理解されたい。代替的には、機能コントロールは、ユーザの意図に従ってドラッグされてもよく、例えば、ユーザは、長押しして、機能コントロールをターゲット領域にドラッグする。宛先デバイスの表示インターフェースでの機能コントロールの配置方法及び機能コントロールの表示位置を変更する方法は、この出願において限定されない。
前述の実施形態では、送信元デバイスから宛先デバイスへの表示プロセスは、複数の機能コントロールを含む機能領域５０３を一例として使用することによって説明したと理解されたい。追加的に、携帯電話の音楽アプリケーションの再生インターフェース３０９における任意の機能コントロールは、スマートウォッチのディスプレイインターフェース、例えば、図５（ｄ）に示すディスプレイインターフェース５１９に別々に表示されてもよい。スマートウォッチ端の表示インターフェースは、歌詞表示領域５１５のみを表示することができる。宛先デバイスのディスプレイインターフェースに表示される機能コントロールの数及びタイプは、この出願において限定されない。
ＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための上述の方法によれば、送信元デバイスのアプリケーションサービスのいくつかの機能を独立した操作インターフェースとして分離することができ、操作ＵＩコンポーネントを宛先デバイス端に表示する。ユーザが送信元デバイスを使用するのに不便であるが、宛先デバイスを使用するシナリオでは、アプリケーション操作又は制御がより便利である。これは、ユーザ体験を向上させる。
可能な実施形態では、送信元デバイスの複数のアプリケーションサービスの複数の機能コントロールを組み合わせて、複数の機能コントロールを統合する操作インターフェースを形成することができ、操作ＵＩコンポーネントは、宛先デバイス端に表示される。
限定の代わりに、図６は、この出願の一実施形態による複数のアプリケーションサービスの複数の機能コントロールの組み合わせの一例の概略図である。携帯電話が、送信元デバイスとして使用され、車載端末の制御パネルが、宛先デバイスとして使用される。図６に示すように、車載端末の制御パネル６０１は、操作インターフェース６０２に、音楽アプリケーション、メモアプリケーション、及び携帯電話の設定管理アプリケーションのいくつかの機能コントロールの組み合わせを表示する。本方法では、宛先デバイスの表示インターフェースのサイズ及び形状が考慮され得ると理解されたい。例えば、車載端末の制御パネルは、通常、携帯電話のディスプレイインターフェースよりも大きい。
具体的には、図６に示すように、操作インターフェース６０２は、携帯電話上の音楽アプリケーションの前の曲選択コントロール、再生コントロール、次の曲選択コントロールと、メモアプリケーションによって記録されたリマインダ項目及びメモ追加コントロールと、設定管理アプリケーションの位置ネットワークコントロール、Ｗｉ－Ｆｉコントロール、位置情報コントロール、Ｂｌｕｅｔｏｏｔｈコントロール、パーソナルホットスポット、及び明るさ調整コントロールを含み得る。言い換えると、操作インターフェース６０２における機能コントロールは、同じアプリケーション又は異なるアプリケーションからのものであってもよいし、自由に組み合わされてもよい。操作インターフェース６０２に含まれるアプリケーションのタイプ及び数、並びに各アプリケーションにおける機能コントロールのタイプ及び数は、この出願において限定されないと理解されたい。
さらに、操作インターフェース６０２での各アプリケーションの機能コントロールが位置する位置領域は、ユーザの習慣に基づいて調整されてもよく、操作インターフェース６０２の形状及びサイズは、ユーザの調整に基づいて変更されてもよいと理解されたい。任意選択で、ユーザが操作インターフェースの形状及びサイズを設定しないときに、システムは、デフォルトで、操作インターフェース６０２の形状及びサイズが、ユーザの以前の設定に基づいて表示されることを考慮するか、又は操作インターフェース６０２を形成するために、宛先デバイスの表示インターフェースの形状及びサイズに基づいて、同じ比率でスケーリングを行ってもよい。
例えば、図５（ａ）～図５（ｄ）において、携帯電話の音楽アプリケーションがスマートウォッチ上に表示されるときに、操作インターフェースは、スマートウォッチの表示インターフェースと同様であり、円を提示してもよい。図６において、車載端末の制御パネル上に携帯電話の音楽アプリが表示されるときに、操作インターフェースでの音楽アプリケーションの機能コントロールにより提示される領域は、車載端末の制御パネルの表示インターフェースと同様であり、矩形を提示することができる。これは、この出願において限定されない。
図５（ａ）～図５（ｄ）に示すＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法と、図６に示すＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法について、送信元デバイスから宛先デバイスまでの一例を使用することによって説明する。共有ＵＩコンポーネントを表示するための前述の方法は、複数の端末デバイスに適用することができると理解されたい。例えば、スマートウォッチと車載端末の制御パネル上には、携帯電話の複数のアプリケーションの機能コントロールを組み合わせて形成されたアトマイゼーション・コンポーネントの操作インターフェースが同時に表示される。ＵＩコンポーネントを表示するプロセスにおける端末デバイスの数は、この出願において限定されない。
この出願の実施形態において提供されるＵＩコンポーネントを表示するための方法によれば、アプリケーションの固有のインターフェースの表示モードを変更することができる。アプリケーションの固有のインターフェースは、部分的に分割され、複数の端末デバイス間で送信される。本方法では、ユーザは、１つのインターフェースで複数のアプリケーションの機能を閲覧することができ、ユーザは、複数のアプリケーションに対して同時に操作を行うようにサポートされる。さらに、分割インターフェースは、端末デバイスの複数の表示画面サイズに適応し、より完全な表示を実施し、ユーザ体験を改善することができる。
前述の実施形態の説明によれば、ＵＩコンポーネントは、送信元デバイスから宛先デバイスに表示される。上述のＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法については、操作インターフェースが宛先デバイス上に表示される。この出願の実施形態において提供されるＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法によれば、ユーザは、宛先デバイス端の操作インターフェース上で操作を行うことができる。また、操作結果が送信元デバイスに転送されて、宛先デバイスと送信元デバイスとの操作整合性を確保することができる。したがって、送信元デバイスのアプリケーションの実行プロセスは、宛先デバイスの操作インターフェースで制御される。
図７（ａ）及び図７（ｂ）は、この出願の一実施形態による操作共有の一例の概略図である。図７（ａ）は、スマートウォッチ上に提示された、携帯電話の音楽アプリケーションのいくつかの機能コントロールの操作インターフェース７０１を示す。携帯電話で音楽が再生されているときに、ユーザは、図７（ａ）に示す操作を行う。操作は、ユーザが音楽アプリケーションの再生コントロールをタップする操作を含み得る。ユーザのタップ操作に応答して、スマートウォッチの操作インターフェース７０１での音楽アプリケーションの再生コントロールは停止状態を提示する。これに対応して、携帯電話の音楽の再生インターフェース７０２も、再生を停止する。
携帯電話の音楽再生インターフェース７０３の再生コントロールが再生トップ状態を提示するときに、ユーザは、図７（ｂ）に示す操作を行う。操作は、音楽アプリケーションの再生コントロールでユーザによって行われるタップ操作を含み得る。ユーザのタップ操作に応答して、携帯電話の音楽アプリケーションの再生インターフェース７０３における再生コントロールが再生状態に変化する。これに対応して、スマートウォッチの操作インターフェース７０１における音楽アプリケーションの再生コントロールも再生状態に移行する。
以上は、携帯電話の音楽アプリをスマートウォッチ端で表示する例を用いて、ユーザが携帯電話端とスマートウォッチ端とで対応する操作を行う場合を説明し、音楽アプリを制御すると理解されたい。同様に、図６の複数のアプリケーションの複数の機能コントロールを組み合わせた操作インターフェース６０２についても、ユーザが、車載端末の制御パネル上の操作インターフェース４０２における任意の機能コントロールを行ってもよいし、操作結果を携帯電話端に転送して、対応して携帯電話のアプリケーションを制御してもよい。
上述の解決策によれば、アプリケーションの固有のインターフェースの表示モードは、送信元デバイスから宛先デバイスへＵＩコンポーネントを表示するプロセスにおいて変更されてもよい。アプリケーションの固有のインターフェースは、部分的に分割され、複数の端末デバイス間で送信される。本方法では、ユーザは、１つのインターフェースで複数のアプリケーションの機能を見ることができ、ユーザは、複数のアプリケーションに対して同時に操作を行うようにサポートされる。ユーザは、宛先デバイス端で操作インターフェース上で操作を行うことができる。操作結果が実行のために送信元デバイスに送信されて、送信元デバイスと宛先デバイスとの操作整合性を確保する。追加的に、分割インターフェースは、端末デバイスの複数の表示画面サイズに適応し、より完全な表示を実施し、ユーザ体験を改善することができる。例えば、家事や調理の間、主婦は、携帯電話を使用して、再生中の音楽を変更したり、再生モードを設定したりすることは不便であるが、携帯電話の音楽アプリケーションのいくつかの機能コントロールをスマートウォッチの出力デバイス上で表示するように設定することができる。ユーザは、スマートウォッチの出力デバイス上で「次へ」などのコントロールをタップして、再生中の曲を変更したり、「停止」コントロールをタップして、音楽再生を停止したりすることができます。これは、ユーザの使用を非常に容易にする。このアプリケーションでは、可能なさまざまなアプリケーションシナリオに限定されない。
宛先デバイスの表示インターフェースが送信元デバイスの表示インターフェースよりも小さいときに、宛先デバイスのすべての表示インターフェースを使用して、機能コントロールの組み合わせを表示してもよい。例えば、スマートウォッチの表示インターフェースが携帯電話の音楽アプリケーションの機能領域５０３におけるすべての機能コントロールを表示するときに、スマートウォッチの元の表示インターフェースと携帯電話の機能コントロールの現在表示されているインターフェースとは異なる表示インターフェースであってもよく、すなわち、アトマイゼーション・コンポーネントが位置する表示インターフェースは宛先デバイスの独立した表示インターフェースである。ユーザがスマートウォッチの元の表示インターフェースに切り替える必要がある場合、特定の切り替え操作を行う必要がある。
図８（ａ）及び図８（ｂ）は、この出願の一実施形態によるインターフェーススイッチングの一例の概略図である。可能な実施態様では、宛先デバイスのインターフェースは、ユーザによって画面をスライドさせることによって切り替えることができる。
例えば、図８に示すように、スマートウォッチの表示インターフェース８０３は、表示インターフェースを切り替えるために使用されるスイッチング制御８０１を含む。ユーザは、図８（ａ）に示す操作を行う。操作は、スマートウォッチのディスプレイインターフェース８０３上でユーザによって行われるスライド操作を含み得る。ユーザのスライド操作に応答して、スマートウォッチの表示インターフェース８０３は、スマートウォッチのホーム画面８０４に切り替わる。ホーム画面は、図８（ａ）に示され、時計及び日付を表示するために使用されるインターフェースであり得る。
図８（ａ）のユーザのスライド操作の方向は、この出願のこの実施形態において限定されないと理解されたい。例えば、表示インターフェース８０３は、左スライド又は右スライドのいずれかを介してスマートウォッチのホーム画面８０４に切り替えてもよい。これは、この出願において限定されない。
代替的には、図８（ｂ）に示すように、スマートウォッチの表示インターフェース８０５は、表示インターフェースを切り替えるために使用されるフロートコントロール８０２を含む。ユーザは、図８（ｂ）に示す操作を行う。操作は、スマートウォッチのディスプレイインターフェース８０５上のフローとコントロール８０２上でユーザによって行われるタップ操作を含み得る。ユーザのタップ操作に応答して、スマートウォッチの表示インターフェース８０５は、スマートウォッチのホーム画面８０６に切り替わる。ホーム画面は、ホーム画面８０６に表示され、時計及び日付を表示するために使用されるインターフェースであってもよい。
図８（ｂ）において、ユーザによるフロートコントロール８０２のタッピングの操作は、スマートウォッチのディスプレイインターフェース８０５とスマートウォッチのホーム画面８０６との間の前後切替を実施することができると理解されたい。例えば、スマートウォッチがディスプレイインターフェース８０５を提示するときに、ユーザは、フロートコントロール８０２をタップして、スマートウォッチのホーム画面８０６に切り替えてもよい。同様に、スマートウォッチがホーム画面８０６を提示するときに、ユーザは、フロートコントロール８０２をタップして、スマートウォッチのディスプレイインターフェース８０５に切り替えてもよい。
スマートウォッチの前述の列挙されたホーム画面８０６は、さらに、他のディスプレイコンテンツを含み得ると理解されたい。追加的に、別のインターフェース切り替え方式があってもよい。これは、この出願において限定されない。
ＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための前述の方法は、ユーザに多くの利便性を提供することができる。例えば、携帯電話が音楽を再生するシナリオでは、多くの場合、音楽が再生された後に、ユーザの携帯電話がユーザの周囲にないことがある。例えば、ユーザが走っているとき、又は主婦が料理やクリーニングをしているときのような異なるシナリオでは、ユーザは、携帯電話の音楽アプリケーションの機能コントロールを使用することによって、音楽の再生、停止、次の曲、及びお気に入りへの追加などの操作を都合よく制御することができない。しかし、スマートウォッチ上で操作を行うことによって音楽を制御する場合、かなり高い利便性がユーザに提供される。これは、良好なユーザ体験をもたらす。ただし、スマートウォッチの表示インターフェースが小さいため、スマートウォッチは、音楽アプリケーションのすべてのインターフェースを表示することができるわけではない。いくつかの一般的な音楽操作があり、スマートウォッチは完全な音楽インターフェースを表示する必要もありません。この出願で提供されるＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法は、このアプリケーションシナリオの問題を完全に解決することができる。音楽アプリケーションのいくつかの機能コントロールがスマートウォッチ端で表示される。ユーザは、スマートウォッチの操作を使用することによって、携帯電話上の音楽の再生、停止、次の曲、お気に入りなどを制御することができる。これは、ポータブルサービスを提供し、ユーザ操作を容易にし、ユーザ体験を改善する。
可能な実施形態では、アトマイゼーション・コンポーネント表示領域のサイズは、宛先デバイスの表示画面のサイズに基づいて調整されてもよい。
図９（ａ）及び図９（ｂ）は、この出願の一実施形態による宛先デバイスの表示インターフェースの一例の概略図である。携帯電話が送信元として使用され、車載端末の制御パネルが宛先デバイスとして使用される。車載端末の制御パネルの領域は、通常、携帯電話の表示インターフェースの領域よりも大きい。図９（ａ）に示すように、携帯電話の音楽アプリケーションのアトマイゼーション・コンポーネント表示ボックス９０１は、スケーリングされてもよく、車載端末の制御パネルの領域の一部のみを占める。
任意選択で、車両搭載端末の制御パネルの別の領域が、例えば図９（ａ）の車両搭載ナビゲーションインターフェース９０２である車両搭載システムのアプリケーションを同時に表示してもよいし、車両搭載端末の制御パネルの別の領域が、例えば図９（ｂ）の携帯電話のホーム画面９０３である携帯電話の別のインターフェース、又は携帯電話の別のアプリケーションの表示インターフェースを同時に表示してもよい。これは、この出願において限定されない。
結論として、この出願で提供されるＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法を、添付図面を参照して説明する。この方法では、送信元デバイスの元のアプリケーションインターフェースの一部を、異なる機能コントロール又は複数の機能コントロールの組み合わせに分割することができる。異なる機能コントロール又は複数の機能コントロールの組み合わせは、新しい操作インターフェースを生成するために使用される。操作インターフェースは、別の宛先デバイス上に表示されることがある。操作が宛先デバイスの操作インターフェースに含まれる任意の機能コントロールに対して行われ、操作結果が実行のために送信元デバイスに送信されて、送信元デバイスと宛先デバイスとの操作整合性を確保する。本方法では、複数の端末デバイス間でユーザインターフェース及びサービスを自由に送信することができ、異なるデバイス間のボトルネックを解消し、元のアプリケーションインターフェースを部分的に分割し、複数の端末デバイス間で送信する。分割インターフェースは、端末の複数の画面サイズにより容易に適応し、より完全な表示を達成することができる。宛先デバイス端で表示される新しい操作インターフェースは、同じアプリケーションの機能コントロール、又は異なるアプリケーションの機能コントロールを含み得る。これにより、異なるアプリケーション間の境界を解消し、ユーザは、１つのインターフェース上で複数のアプリケーションの機能を閲覧し、複数のアプリケーションに対して同時に操作を行うことができるようにする。したがって、すべての操作は、送信元デバイスの元のアプリケーションサービスに送信される。ユーザは、送信元デバイスと宛先デバイスの両方でアプリケーションサービスを同時に制御することができる。これは、使用を容易にし、ユーザ体験を改善する。
前述の説明では、図３（ａ）～図９（ｂ）を参照して、この出願のマン－マシン相互作用の実施形態を詳細に説明した。この出願で提供されているＵＩコンポーネントを表示するための方法をよりよく理解するために、以下、具体的な実施プロセスを説明する。
送信元デバイス及び宛先デバイスの観点から、図１０は、この出願の一実施形態による、送信元デバイスと宛先デバイスとの間でＵＩコンポーネントを表示する概略的相互作用図である。相互作用プロセスは、以下のコンテンツを含む。
Ｓ１００１：送信元デバイスは、ＵＩコンポーネントの設定情報を取得する。
例えば、ＵＩコンポーネントの設定情報は、ＵＩコンポーネントにおける各機能コントロールの設定情報を含む。各機能コントロールの設定情報は、機能コントロールの名称、機能、識別子ＩＤなどの情報を含み得る。
任意選択で、各機能コントロールの設定情報は、送信元デバイスの表示インターフェースでの機能コントロールの位置情報、例えば、機能コントロールの左上隅の開始点の座標情報、並びに機能コントロールの表示幅及び表示高さをさらに含んでもよい。
任意選択で、各機能コントロールの設定情報は、さらに、機能コントロールが宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報を含む。
送信元デバイスは、各機能コントロールの前述の情報を取得する。送信元デバイスは、ＵＩコンポーネントを生成するプロセスにおいて、ＵＩコンポーネントにおける各機能コントロールの前述の情報を抽出し、宛先デバイス上にＵＩコンポーネントを表示する。
Ｓ１００１のプロセスは、アプリケーションの開発プロセスであってもよく、又は、送信元デバイスがアプリケーションをインストールするときに、送信元デバイスは、アプリケーションに含まれる限定された数の機能コントロールの設定情報、及び、異なる数の機能コントロールの異なる組み合わせによって形成される複数のＵＩコンポーネントの設定情報を取得してもよいと理解されたい。これは、この出願において限定されない。
例えば、ユーザが音楽アプリケーションをインストールするときに、送信元デバイスは、音楽アプリケーションのすべての限定された数の機能コントロールの設定情報と、異なる数の機能コントロールの異なる組み合わせによって形成された複数のＵＩコンポーネントの設定情報とを取得してもよい。代替的には、ユーザが図３（ｋ）に示す操作を行い、３つの機能コントロールを選択するときに、携帯電話は、３つの機能コントロールの設定情報を取得して、第１のＵＩコンポーネントを登録することができる。
Ｓ１００２：送信元デバイスは、ユーザの第１の操作を受信し、ユーザによって選択された第１のＵＩコンポーネントを判定し、第１のＵＩコンポーネントの設定情報を生成する。
例えば、ユーザは、図３（ｋ）に示すいくつかの機能コントロールを選択して、第１のＵＩコンポーネントを形成し、送信元デバイスは、第１のＵＩコンポーネントの設定情報を取得してもよい。第１の操作は、ユーザが第１のインターフェースに表示される第１のＵＩコンポーネントを選択する操作である。
別の例として、図４（ｈ）、図４（ｉ）、及び図４（ｋ）に示すように、ユーザは、第１のアプリケーションの複数のＵＩコンポーネントを備えたリストから第１のＵＩコンポーネントを選択する。第１の操作は、ユーザがＵＩコンポーネントリストから第１のＵＩコンポーネントを選択する操作である。
Ｓ１００１から、アプリケーションの開発プロセスにおいて、第１のＵＩコンポーネントの設定情報を生成することができ、ユーザの選択操作を受信した後に、送信元デバイスが第１のＵＩコンポーネントの設定情報を取得することが分かる。あるいは、ユーザが３つの機能コントロールを選択した後、送信元デバイスは、３つの機能コントロールの設定情報を別々に抽出し、３つの機能コントロールの設定情報に基づいて、第１のＵＩコンポーネントの設定情報を生成する。Ｓ１００３：送信元デバイスは、第１のＵＩコンポーネントの設定情報を宛先デバイスに送信する。ユーザが、この出願において提供されるＵＩコンポーネント表示機能を有効にすると判定し、宛先デバイスと判定するときに、例えば、選択された宛先デバイスが、図３（ａ）～図３（ｎ）において説明されたスマートウォッチであるときに、送信元デバイスは、取得された第１のＵＩコンポーネントの設定情報を、宛先デバイスに送信する。
Ｓ１００４：宛先デバイスは、第１のＵＩコンポーネントの設定情報を取得し、第１のＵＩコンポーネントの設定情報を記録する。
Ｓ１００５：宛先デバイスは、第１のＵＩコンポーネントの設定情報に基づいて、第１のＵＩコンポーネントの表示情報を抽出する。
Ｓ１００６：第１のＵＩコンポーネントの表示情報に基づいて、第１のＵＩコンポーネントを表示する。
宛先デバイスは、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントの表示情報を判定し、例えば、表示情報は、表示される機能コントロールのタイプ及び数、表示サイズ、機能コントロールの配置、画面サイズなどを含み、次に、表示情報に基づいて、第１のＵＩコンポーネントを宛先デバイスの出力インターフェースに表示する。前述のプロセスでは、図３（ｋ）に示す、ユーザによって選択された音楽アプリケーションの３つの機能コントロールによって形成される第１のＵＩコンポーネントが、スマートウォッチの表示インターフェースに表示され得る。
送信元デバイスから宛先デバイスへ第１のＵＩコンポーネントを表示するプロセスでは、第１のＵＩコンポーネントの表示情報、例えば、第１のＵＩコンポーネントの表示サイズ及び表示位置を判定する必要がある。このアプリケーションでは、宛先デバイスのインターフェースに表示される第１のＵＩコンポーネントのサイズと位置を、異なる方式で設定することができる。
方式１
第１のＵＩコンポーネントの表示情報は、送信元デバイス端で生成される。
具体的には、このアプリケーションが、ソフトウェア開発キット（ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ、ＳＤＫ）を提供することにより、アプリケーション開発者は、送信元アプリケーションの開発プロセスにおいて提供される設定インターフェースを使用することによって、第１のＵＩコンポーネントの設定ファイルを生成することができるようにする。設定ファイルに含まれ得るコンテンツ及び関連シーケンスは、次のように表され得る。
“ｎａｍｅ”： “ｒｕｎＢｕｔｔｏｎ”（機能コントロールの名称）
“ＩＤ”： “－１２２１６８１３１１＿ｔ＿”，（関数コントロールのＩＤ）
“ｓｒｃ”：｛
“ｌｅｆｔ”： ４１４， （左上隅の開始画素）
“ｔｏｐ”： １９７１， （頂点の先頭の画素）
“ｗｉｄｔｈ”： ２５２， （表示幅の画素）
“ｈｅｉｇｈｔ”： ２５２， （表示高さの画素）
｝
“ｄｅｓｔ”：｛（宛先デバイス）
“ｌｅｆｔ”： １０， （宛先デバイスの表示インターフェースの左上隅の開始画素）
“ｔｏｐ”： １０ （宛先デバイスの表示インターフェースの頂点の先頭の画素）
“ｗｉｄｔｈ”： １０， （宛先デバイスの表示インターフェースの表示幅の画素）
“ｈｅｉｇｈｔ”： １０， （宛先デバイスの表示インターフェースの表示高さの画素）
“ｔｒａｎｓｌａｔｉｏｎｘ”： ５０， （宛先デバイスの表示インターフェースのｘ方向の変換画素）
“ｔｒａｎｓｌａｔｉｏｎｙ”： ０， （宛先デバイスの表示インターフェースのｙ方向の変換画素）
“ｓｃａｌｅｘ”： １．０， （宛先デバイスの表示インターフェースのｘ方向のスケーリング画素）
“ｓｃａｌｅｙ”： １．０， （宛先デバイスの表示インターフェースのｙ方向のスケーリング画素値）
“ｒｏｔａｔｅｄｅｇｒｅｅ”： －９０， （宛先デバイスの表示インターフェースの回転角度）
“ｃｌｉｐＳｉｚｅ”： ０， （機能コントロールの名称）
“ｃａｎＴｏｕｃｈ”： ｔｒｕｅ （タッチされるかどうか）
｝，
設定ファイルのコンテンツはここでは説明しない。
方式１では、設定ファイルのコンテンツが設定情報として使用され、送信元デバイスから宛先デバイスに送信される。宛先機器は「ｄｅｓｔ」部分のコンテンツを取得し、第１のＵＩコンポーネントを宛先デバイスの表示インターフェースに表示する方法を判定することができる。
方式２
第１のＵＩコンポーネントの表示情報は、宛先デバイス端で判定される。
具体的には、送信元デバイスは、宛先デバイスに第１のＵＩコンポーネントの設定情報を送信する。設定情報が「ｄｅｓｔ」部分を含まないことがある。言い換えると、宛先デバイスは、送信元デバイスのアプリケーションインターフェースでの第１のＵＩコンポーネントにおける機能コントロールの表示ステータスを取得することができる。次に、宛先デバイスは、宛先デバイスの表示インターフェースのサイズに基づいて第１のＵＩコンポーネントをスケーリングし、第１のＵＩコンポーネントにおけるすべての機能コントロールを表示する。
第１のＵＩコンポーネントが宛先デバイス上で表示されるときに、すべての機能コントロールは、例えば、図５（ａ）～図５（ｄ）における関連する説明である、宛先デバイスの表示インターフェースの形状及びサイズに基づいて配置されてもよい。詳細は、ここでは再度説明しない。
Ｓ１００７：宛先デバイスは、ユーザの第２の操作を検出する。
Ｓ１００８：宛先デバイスは、第２の操作の操作情報を判定し、その情報は、第２の操作のイベントタイプと、第２の操作が機能する機能コントロールのＩＤとを含む。
Ｓ１００９：宛先デバイスは、第２の操作の操作情報を送信元デバイスに送信する。
Ｓ１０１０：送信元デバイスは、宛先デバイスによって送信された第２の操作の操作情報を受信し、第２の操作の操作情報に基づいて、操作結果を判定する。
Ｓ１０１１：送信元デバイスは、操作結果を実行する。
Ｓ１００７～Ｓ１０１０は、第１のＵＩコンポーネントがスマートウォッチのディスプレイインターフェース上に表示された後、ユーザの操作がスマートウォッチのディスプレイインターフェース上で受信されてもよく、操作結果が携帯電話に送信されて、スマートウォッチのディスプレイインターフェースから携帯電話の音楽再生を制御するプロセスである。これは、携帯電話とウォッチとの間の操作同期を実施する。例えば、図７（ａ）及び図７（ｂ）のプロセスを参照のこと。
具体的な実施プロセスでは、この出願で提供されるＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法は、３つのモジュールの連携により実施されてもよい。具体的には、３つのモジュールは、ＵＩコンポーネント登録管理モジュール、サービス管理モジュール、及びＵＩコンポーネント表示モジュールを含む。
１．ＵＩコンポーネント登録管理モジュール
ＵＩコンポーネント登録管理モジュールは、送信元デバイスのアプリケーション内に位置し、ＵＩコンポーネントの登録及び管理、並びにリモート呼び出しの最終実行を担当する。
ＵＩコンポーネントの登録は、送信元デバイスがユーザによって選択された第１のＵＩコンポーネントに含まれる各機能コントロールを判定することを示す。具体的には、送信元デバイスは、アプリケーションの限定された数の機能コントロールの設定情報、例えば、名称、機能、元の表示インターフェースでの位置情報、表示サイズ、及び各機能コントロールのタイプなどの情報を知ることができる。追加的に、各機能コントロールの設定情報は、さらに、機能コントロールが宛先デバイスでの表示をサポートするかどうかを識別するための情報を含む。送信元デバイスは、ユーザによって選択された１つ以上の機能コントロールに基づいて１つ以上の機能コントロールの設定情報を取得することができ、送信元デバイスは、ユーザによって選択された１つ以上の機能コントロールを第１のＵＩコンポーネントとして記録する。
ＵＩコンポーネントの管理は、送信元デバイスがユーザによって選択された１つ以上の機能コントロールを受信した後、ＵＩコンポーネント登録管理モジュールが１つ以上の機能コントロールの設定情報を取得することができることを示す。例えば、ユーザが音楽アプリケーションの３つの機能コントロールを選択した場合、ＵＩコンポーネント登録管理モジュールは、３つの機能コントロールの設定情報を呼び出すことができる。３つの機能コントロールの組み合わせが既に第１のＵＩコンポーネントとして記録されているときに、ＵＩコンポーネント登録管理モジュールは、第１のＵＩコンポーネントの設定情報を直接呼び出すことができる。
ＵＩコンポーネントのリモート呼び出しは、第１のＵＩコンポーネントが宛先デバイスの表示インターフェースに表示された後、第１のＵＩコンポーネントにおける機能コントロールが宛先デバイス上でされることと理解されてもよい。宛先デバイスが操作結果を送信元デバイスに送信するときに、送信元デバイスのＵＩコンポーネント登録管理モジュールが操作結果を実行する。
任意選択で、このアプリケーションはＳＤＫのセットを提供して、ＵＩコンポーネントが送信元アプリケーションの開発中に登録及び管理され得るようにする。
例えば、送信元デバイスの「音楽」アプリケーションのＵＩコンポーネント登録管理モジュールは、「音楽」アプリケーションの限定された数の機能コントロールの設定情報を取得してもよい。ユーザによって選択された３つの機能コントロールを使用することによって生成された第１のＵＩコンポーネントに対しては、ソフトウェア開発キットＳＤＫを使用して、第１のＵＩコンポーネントの設定情報を生成する、すなわち、ユーザによって選択された３つの機能コントロールの設定情報を取得し、３つの機能コントロールの設定情報に基づいて第１のＵＩコンポーネントの設定情報を生成して、第１のＵＩコンポーネントの登録プロセスを完了する。
具体的には、ユーザは、３つの機能コントロールによって形成された第１のＵＩコンポーネントを選択し、送信元デバイスの音楽アプリケーションのＵＩコンポーネント登録管理モジュールへの第１のＵＩコンポーネントの登録要求を開始する。ＵＩコンポーネント登録管理モジュールは、第１のＵＩコンポーネントの登録要求を受信し、音楽アプリケーションの３つの機能コントロールの設定情報を抽出し、第１のＵＩコンポーネントの設定情報を生成する。第１のＵＩコンポーネントの設定情報は、名称、機能、元の表示インターフェースでの位置情報、表示サイズ、第１のＵＩコンポーネントに含まれる３つの機能コントロールのタイプなどの情報を含み得る。元の表示インターフェースでの機能コントロールの位置情報は、機能コントロールの左上隅の開始点の座標情報、機能コントロールの表示幅及び表示高さなどを含み得る。追加的に、各機能コントロールの設定情報は、さらに、機能コントロールが宛先デバイス上での表示をサポートしているかどうかを識別するために使用される情報を含む。
第１のＵＩコンポーネントの登録プロセスは、上記で完了する。アプリケーションを開発するときに、アプリケーション開発者はＳＤＫを使用して、アプリケーションのプロジェクションに使用できるＵＩコントロールを設定する。例えば、ＳＤＫは、ＸＭＬ設定ファイルを提供して、設定ファイルにおいてプロジェクションに使用できるＵＩコントロールを設定する。ＳＤＫを使用することによって開発されたアプリケーションが端末デバイスにインストールされるときに、端末デバイスのオペレーティングシステムは、設定ファイルを使用することによって、アプリケーションにおけるプロジェクションに使用できるＵＩコントロールに関する情報を便宜的に取得することができる。
同時に、ＳＤＫは、ブロードキャストレシーバをアプリケーションに登録する。ブロードキャストレシーバは、サービス管理モジュールによって送信された様々なブロードキャストコマンドをリスンし、ユーザが表示されたＵＩコンポーネントに含まれる機能コントロールを変更する必要があるときに、モジュールの内部ロジックを呼び出してＵＩコンポーネントの更新メッセージを送信し、ユーザが宛先デバイスの出力インターフェースでの機能コントロールをタップする必要があるときに、アプリケーションでの機能コントロールをタップした操作結果を送信元デバイスに送信して、最終的にリモート操作を行うように構成されている。
ＵＩコンポーネント登録管理モジュールが設定されている送信元デバイスは、すべてのアプリケーションに含まれる限られた数の機能コントロールを登録し、１つ以上のＵＩコンポーネントを内部的に登録することができると理解されたい。各ＵＩコンポーネントが、アプリケーションの１つ以上の機能コントロールが含むか、各ＵＩコンポーネントが、ユーザ定義の機能コントロールのセットを含む。
ＵＩコンポーネント登録管理モジュールは、アプリケーションの固有インターフェースにおけるいくつかの機能コントロールに関する情報を取得し得るとさらに理解されたい。ユーザが第１のＵＩコンポーネントを形成するために機能コントロールを選択するときに、ＵＩコンポーネント登録モジュールは、選択された機能コントロールに関する情報に基づいて、第１のＵＩコンポーネントの設定情報を登録することができる。各ＵＩコンポーネントに対して、ＵＩコンポーネント登録管理モジュールは、ＵＩコンポーネントの名称、機能、最小表示サイズ、最大表示サイズ、及びタイプなどの情報を設定することができる。各ＵＩコンポーネントの前述の情報は、まとめてＵＩコンポーネントの設定情報と呼ばれる。言い換えると、１つのＵＩコンポーネントの設定情報は、ＵＩコンポーネントに含まれる各機能コントロールの名称、機能、元の表示インターフェースでの位置情報、表示サイズ、及びタイプなどの情報を判定するために使用される。
サービス管理モジュールは、宛先デバイス上でＵＩコンポーネントを表示するプロセスでは、ＵＩコンポーネント及びＵＩコンポーネントの設定情報を取得して、宛先デバイスの表示インターフェースで表示するためのＵＩコンポーネントの表示情報を抽出することができる。
ユーザが、現在の使用要件に従って、宛先デバイス上で表示されたＵＩコンポーネントを変更する必要があるとき、例えば、ユーザが、スマートウォッチ上で「前の曲」選択コントロール、「再生」コントロール、及び「次の曲」選択コントロールを表示するように選択するときに、ユーザはまた、スマートウォッチ上で「お気に入り」コントロールも表示する必要がある。このプロセスでは、ＵＩコンポーネント登録管理モジュールは、まず、追加されるお気に入りコントロールの表示情報を取得し、お気に入りコントロールの設定情報を取得し、追加されるお気に入り制御の表示情報をサービス管理モジュールに送信する。サービス管理モジュールは、お気に入りコントロールの設定情報を取得し、新しいＵＩコンポーネントの設定情報を形成し、新しいＵＩコンポーネントの設定情報を宛先デバイスに送信する。宛先デバイスのＵＩコンポーネント表示モジュールは、新しいＵＩコンポーネントの表示情報を取得し、新しいＵＩコンポーネントを表示して、宛先デバイスのインターフェースを更新するプロセスを完了する。
ユーザが宛先デバイス上でＵＩコンポーネントを操作するときに、ＵＩコンポーネント登録管理モジュールは、サービス管理モジュールによって送信された操作コマンドを受信してもよく、送信元デバイスの各アプリケーションは、最終的な操作を行う。
２．サービス管理モジュール
サービス管理モジュールは、すべてのアプリケーションの登録されたＵＩコンポーネントを照会及び管理し、ＵＩコンポーネントの設定情報を更新し、送信元デバイスと宛先デバイス上でＵＩコンポーネントを同期して表示する。追加的に、宛先デバイス上のユーザの操作コマンド情報が送信元デバイスに送信され、送信元デバイスのアプリケーションが最終操作を実行して、送信元デバイスと宛先デバイスとの操作整合性を確保する。
サービス管理モジュールは中間層に位置し、ＵＩコンポーネント表示モジュールとＵＩコンポーネント登録管理モジュールを接続する役割を果たすと理解されたい。実施態様プロセスでは、サービス管理モジュールは、クラウドサーバ内に位置してもよいし、送信元デバイス又は宛先デバイス内に位置してもよい。これは、この出願において限定されない。
具体的には、サービス管理モジュールは、アプリケーションの登録されたＵＩコンポーネントを取得することができ、取得されたコンテンツは、ＵＩコンポーネントの名称、機能、最小表示サイズ、最大表示サイズ、タイプなどの設定情報を含むことができる。サービス管理モジュールは、設定情報を取得するプロセスにおいて、開始された後にグローバルブロードキャストを送信する。ＵＩコンポーネント登録管理モジュールは、ブロードキャストを受信した後、登録されたＵＩコンポーネントと設定情報をサービス管理モジュールに送信する。
追加的に、サービス管理モジュールは、宛先デバイスの表示インターフェースを更新してもよい。送信元デバイスのＵＩコンポーネントが変更されるときに、送信元デバイスのコンポーネント登録管理モジュールは、新しいＵＩコンポーネントの設定情報をサービス管理モジュールに送信し、サービス管理モジュールは、ＵＩコンポーネントの更新された設定情報を宛先デバイスに送信する。宛先デバイスは、取得されたＵＩコンポーネントの更新された設定情報に基づいて、新しいＵＩコンポーネントのインターフェースを表示する。
サービス管理モジュールは、さらに、宛先デバイス端でのユーザ操作情報を送信元デバイスに転送してもよく、送信元デバイスが宛先デバイス上でユーザによって入力された操作命令を実行するようにする。ユーザが宛先デバイス上でＵＩコンポーネントにおける機能コントロールを行うときに、操作情報は、宛先デバイスのコンポーネント表示モジュールによってサービス管理モジュールに送信される。サービス管理モジュールは、操作情報を送信元デバイス端のＵＩコンポーネント登録管理モジュールに送信し、送信元デバイスのアプリケーションが最終操作を行う。
サービス管理モジュールにはデータセンターがあり、データセンターは１つ以上のアプリケーションのすべての登録されたＵＩコンポーネントとＵＩコンポーネントの設定情報を記録することができると理解されたい。
表示されたＵＩコンポーネントごとに、サービス管理モジュールは、ＵＩコンポーネントの更新及び操作などの挙動を管理するためのコンポーネントマネージャサブモジュールを作成することをさらに理解されたい。ＵＩコンポーネントが宛先デバイス端でもはや表示されなくなったときに、サービス管理モジュールは、システムリソースを節約するために、マネージャサブモジュールを一時停止又は休止する。ＵＩコンポーネント表示モジュールがＵＩコンポーネントを削除するときに、サービス管理モジュールは、そのコンポーネントに対応するマネージャサブモジュールを破棄する。
３．ＵＩコンポーネント表示モジュール
ＵＩコンポーネント表示モジュールは、宛先デバイスにある。ＵＩコンポーネント表示モジュールは、主にサービス管理モジュールからＵＩコンポーネントの設定情報を取得し、１つ以上の必要なＵＩコンポーネントを選択し、選択されたＵＩコンポーネントをＵＩコンポーネント表示モジュールの表示モジュールに表示するように構成されている。追加的に、ＵＩコンポーネント表示モジュールは、サービス管理モジュールから更新コマンドを受信し、ＵＩコンポーネントの表示インターフェースを更新してもよい。また、ＵＩコンポーネント表示モジュールは、サービス管理モジュールにユーザの様々な操作コマンド情報を送信してもよい。
ＵＩコンポーネント表示モジュールはさらに、送信元デバイスのＵＩコンポーネントを宛先デバイス上に表示し、サービス管理モジュールを使用することによって、現在のデバイスの画面サイズの要件を満たすすべてのＵＩコンポーネントを取得し、ユーザが選択するためにＵＩコンポーネントを提供するように構成されている。ユーザが表示されるコンポーネントを選択した後、ＵＩコンポーネント表示モジュールは、ユーザによって選択されたＵＩコンポーネントを表示し、サービス管理モジュールによって提供された更新情報をリスン及び受信し、リアルタイムでＵＩコンポーネントの表示情報を更新する。ユーザが宛先デバイス上に表示されたＵＩコンポーネントを操作する場合、ＵＩコンポーネント表示モジュールは、操作コマンドをサービス管理モジュールに送信する。サービス管理モジュールは、最後に、操作コマンドを送信元デバイスのコンポーネント登録管理モジュールに送信し、送信元デバイスのアプリケーションが最終操作を行う。
具体的には、ＵＩコンポーネント表示モジュールは、宛先デバイスの画面サイズに基づいて１つ以上のＵＩコンポーネントを表示することができる。特定の表示プロセスでは、ＵＩコンポーネント表示モジュールは、ＵＩコンポーネントのインターフェースデータを取得することができる。インターフェースデータは、拡張可能なマークアップ言語（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ、ＸＭＬ）、ＪａｖａＳｃｒｉｐｔオブジェクト表記（ＪａｖａＳｃｒｉｐｔ ｏｂｊｅｃｔ ｎｏｔａｔｉｏｎ、ＪＳＯＮ）、及びドメイン固有の言語（ｄｏｍａｉｎ－ｓｐｅｃｉｆｉｃ ｌａｎｇｕａｇｅ、ＤＳＬ）などの複数の形式を含み得る。これは、この出願において限定されない。
ＵＩコンポーネント表示モジュールは、説明実行インターフェース生成サブモジュールを有する。インターフェース生成サブモジュールは、送信元デバイスのインターフェースにインターフェースデータを直接復元するように設定され得る。インターフェースが生成されるときに、宛先デバイスは、さらに、その宛先デバイスの画面サイズに基づき、送信元デバイスのインターフェースをある程度変更することができる。例えば、左から右へのソートを上から下へのソートに変更したり、左から右へのソートを、時計回り又は反時計回りの円形配置に変更し、例えば、図３（ａ）～図３（ｎ）及び図５（ａ）～図５（ｄ）に示す携帯電話からスマートウォッチへの表示プロセスである。追加的に、ＵＩコンポーネント表示モジュールは、現在の宛先デバイスの画面サイズに基づいて一度に１つ以上のＵＩコンポーネントを表示するか、又はＵＩコンポーネントを組み合わせてデバイス画面上にＵＩコンポーネントを同時に表示することができる。組み合わされたＵＩコンポーネントは、１つのアプリケーション又は複数の異なるアプリケーションからの機能コントロールの組み合わせであり得る。
追加的に、宛先デバイスにすべてのＵＩコンポーネントが表示された後、送信元デバイス上のＵＩコンポーネントの操作タイプを保持することができる。タップ操作及び長押し操作は、送信元デバイス上のＵＩコンポーネントにおける１つの機能コントロールに対して行ってもよく、タップ操作及び長押し操作はまた、宛先デバイス上のＵＩコンポーネントにおける機能コントロールに対しても行ってもよいと理解されたい。機能コントロールが送信元デバイス上でタップ操作及び長押し操作を受け付けない場合、機能コントロールはまた、宛先デバイス上でタップ操作及び長押し操作も受け付けない。
ＵＩコンポーネントの更新プロセスでは、ＵＩコンポーネント表示モジュールは、サービス管理モジュールに接続する必要があり、ＵＩコンポーネントのアップデートステータスをリアルタイムで受信する。サービス管理モジュールによって送信されたＵＩコンポーネントの更新情報を受信すると、ＵＩコンポーネント表示モジュールは、新しいＵＩコンポーネントの情報を使用することによって、現在のＵＩコンポーネントの表示を直ちに更新する。
ＵＩコンポーネントの操作プロセスにおいて、ユーザが宛先デバイス上でＵＩコンポーネントにおける機能コントロールを操作するときに、ここで、操作は、タッピング、ダブルタッピング、長押し、上下スライドなどを含み、これらに限定されず、操作情報は、サービス管理モジュールに送信される。サービス管理モジュールは、操作情報を受信した後、送信元デバイスのコンポーネント登録管理モジュールに操作情報を送信し、送信元デバイスのアプリケーションが最終的に最終操作を実行する。実行後にＵＩコンポーネントが更新された場合、宛先デバイス上のＵＩコンポーネントの表示はまた、この更新においてＵＩコンポーネント更新ポリシーに従って更新される。
以上、この出願のこの実施形態において提供される宛先デバイス上のＵＩコンポーネントを使用することによって、送信元デバイス上でＵＩコンポーネントを表示するプロセスにおける３つのモジュール及び機能について説明した。図１１（Ａ）及び図１１（Ｂ）は、この出願の一実施形態に従って、宛先デバイス上のＵＩコンポーネントを使用することによって、送信元デバイス上でＵＩコンポーネントを表示するための方法を実行する一例のフローチャートである。上述の３つのモジュールを参照すると、図１１（Ａ）及び図１１（Ｂ）に示される実行手順におけるＵＩコンポーネントの表示プロセスは、以下のコンテンツを含んでもよい。
１１０１： ＵＩコンポーネント登録管理モジュールは、送信元デバイス上のアプリケーションの第１のＵＩコンポーネントの登録要求を受信する。
１１０２： ＵＩコンポーネント登録管理モジュールは、第１のＵＩコンポーネントの登録要求に基づいて、第１のＵＩコンポーネントの設定情報を生成する。
例えば、第１のＵＩコンポーネントの設定情報は、第１のＵＩコンポーネントにおける各機能コントロールの設定情報を含む。各機能コントロールの設定情報は、機能コントロールの名称、機能、元の表示インターフェースでの位置情報、表示サイズ、及びタイプなどの情報を含み得る。元の表示インターフェースでの位置情報は、機能コントロールの左上隅の開始点の座標情報、機能コントロールの表示幅及びの表示高さを含み得る。追加的に、各機能コントロールの設定情報には、さらに、宛先デバイス上での表示をサポートするかどうかを識別するための情報が含む。図１０の関連する説明において、第１のＵＩコンポーネントの設定情報は、アプリケーションの開発プロセスにおいて生成されてもよいと理解されたい。言い換えると、アプリケーションの開発プロセスにおいてステップ１１０１、１１０２が完了し、第１のＵＩコンポーネントの設定情報が生成される。代替的には、ユーザがアプリケーション操作インターフェースで複数の機能コントロールを選択するときに、ユーザは、ＵＩコンポーネント登録管理モジュールに対して、第１のＵＩコンポーネントの登録要求を開始する。ＵＩコンポーネント登録管理モジュールは、第１のＵＩコンポーネントの登録要求を受信し、第１のＵＩコンポーネントに含まれる複数の機能コントロールの設定情報を抽出し、第１のＵＩコンポーネントの設定情報を生成する。これは、この出願において限定されない。
１１０３： ＵＩコンポーネント登録管理モジュールは、第１のＵＩコンポーネントの設定情報をサービス管理モジュールに送信する。
１１０４： サービス管理モジュールは、ＵＩコンポーネント登録管理モジュールによって送信された第１のＵＩコンポーネントの設定情報を受信し、第１のＵＩコンポーネントの設定情報を取得する。
１１０５： サービス管理モジュールは、第１のＵＩコンポーネントの表示情報を抽出する。
１１０６： サービス管理モジュールは、第１のＵＩコンポーネントの表示情報をＵＩコンポーネント表示モジュールに送信する。
１１０７： ＵＩコンポーネント表示モジュールは、第１のＵＩコンポーネントの表示情報を受信し、第１のＵＩコンポーネントを表示する。
１１０８： ＵＩコンポーネント登録管理モジュールは、第１のＵＩコンポーネントの更新情報を取得し、第１のＵＩコンポーネントの更新情報をサービス管理モジュールに送信する。
１１０９： サービス管理モジュールは、第１のＵＩコンポーネントの更新された情報を取得し、第２のＵＩコンポーネントの更新された表示情報を判定する。
１１１０： サービス管理モジュールは、第２のＵＩコンポーネントの更新された表示情報を宛先デバイスのＵＩコンポーネント表示モジュールに送信する。
１１１１： ＵＩコンポーネント表示モジュールは、第２のＵＩコンポーネントの更新された表示情報を受信する。
１１１２： ＵＩコンポーネント表示モジュールは、第２のＵＩコンポーネントを表示する。
１１１３： ＵＩコンポーネント表示モジュールは、ユーザ操作コマンド情報を受信する。
１１１４： ＵＩコンポーネント表示モジュールは、操作コマンド情報をサービス管理モジュールに送信する。
１１１５： サービス管理モジュールは、操作コマンド情報を送信元デバイスのＵＩコンポーネント登録管理モジュールに送信する。
１１１６： 送信元デバイスのアプリケーションは、最終操作コマンドを実行する。
前述のステップ１１０１～１１０７は、送信元デバイスから宛先デバイスへのＵＩコンポーネントの表示プロセスを説明し、ステップ１１０８～１１１２は、ＵＩコンポーネントの更新プロセスを説明し、ステップ１１１３～１１１６は、ＵＩコンポーネントの操作プロセスを説明する。
前述のステップ１１１３～１１１６におけるＵＩコンポーネントの操作プロセスにおいて、ユーザの宛先デバイスは、ＵＩコンポーネントを操作する。宛先デバイスは、ユーザ操作コマンド情報を受信し、操作コマンド情報をサービス管理モジュールに送信する。次に、サービス管理モジュールは、操作コマンド情報を送信元アプリケーションのＵＩコンポーネント登録管理モジュールに送信する。
明細書において転送される操作コマンド情報は、ユーザによって操作される機能コントロールの識別子（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、ＩＤ）情報と、タッチイベントのタイプとを含んでもよいと理解されたい。送信元デバイスから宛先デバイスへのＵＩコンポーネントの表示プロセスにおいて、ＵＩコンポーネントにおける第１の機能コントロールは、送信元デバイスの表示インターフェースにおいて１つの第１のＩＤ情報を有し、宛先デバイスの表示インターフェースにおいて１つの第２のＩＤ情報を有する。第１の機能コントロールの２つのＩＤ情報は一意で、１対１にマッピングされる。ユーザが、宛先デバイスのＵＩコンポーネントにおける第１の機能コントロールに対するタッチ操作、例えば、前述の列挙されたタッピング、長押し、又はスライディングを行うときに、宛先デバイスは、ユーザのタッチ操作に基づいてタッチ操作のタイプを判定し、第１の機能コントロールのタッチイベント情報を生成し、第１のＩＤ情報及びタッチイベント情報を送信元デバイスのＵＩコンポーネント登録管理モジュールに転送することができる。第１のＩＤ情報に対応する第２のＩＤ情報が判定されるときに、送信元デバイスの第１の機能コントロールが判定され、タッチイベントの結果が第１の機能コントロールで応答されて、送信元デバイスと宛先デバイスとの操作整合性を確保する。
前述のすべての手順の実施態様は、３つのモジュール間の接続に基づいて確立されると理解されたい。言い換えると、ＵＩコンポーネントを使用することによってＵＩコンポーネントを表示するための方法は、送信元デバイスと宛先デバイスとの間に確立された接続アーキテクチャに基づく。この出願では、複数のネットワーキング方式がサポートされる。図１２（ａ）～図１２（ｄ）は、この出願の一実施形態によるネットワーキングマナーの概略図である。ネットワーキング方式は、以下の列挙されたネットワーキング方式を含むが、これらに限定されない。
方式１
限定ではなく例として、図１２（ａ）に示すように、ＵＩコンポーネント登録管理モジュール１２０１は、送信元デバイスのソースアプリケーション内に位置し、サービス管理モジュール１２０２はまた、送信元デバイス内に位置してもよい。送信元デバイスは、Ｂｌｕｅｔｏｏｔｈを介して宛先デバイスに接続するか、又はＷｉ－Ｆｉホットスポットを介して宛先デバイスに接続する。例えば、送信元デバイスが宛先デバイスのＷｉ－Ｆｉホットスポットにアクセスするか、宛先デバイスが送信元デバイスのＷｉ－Ｆｉホットスポットにアクセスする。したがって、ＵＩコンポーネント表示モジュール１２０３、サービス管理モジュール１２０２、及びＵＩコンポーネント登録管理モジュール１２０１の間の接続が確立される。これは、この出願において限定されない。
マナー２
制限の代わりに例として、図１２（ｂ）に示すように、ＵＩコンポーネント登録管理モジュール１２０１は、送信元デバイスのソースアプリケーション内に位置し、サービス管理モジュール１２０２は、送信元デバイス内に位置してもよい。送信元デバイス及び宛先デバイスは、同じ無線経路ノード（ａｃｃｅｓｓ ｐｏｉｎｔ、ＡＰ）、例えば、図１２（ｂ）に示される経路ノード１２１０に接続される。したがって、ＵＩコンポーネント表示モジュール１２０３、サービス管理モジュール１２０２、及びＵＩコンポーネント登録管理モジュール１２０１の間の接続が確立される。
方式３
限定ではなく例として、図１２（ｃ）に示すように、ＵＩコンポーネント登録管理モジュール１２０１は、送信元デバイス内の送信元アプリケーション内に位置し、サービス管理モジュール１２０２は、クラウドサーバ１２２０内に位置してもよい。送信元デバイス及び宛先デバイスは、同じクラウドサーバ、例えば、図１２（ｂ）に示されるクラウドサーバ１２２０に接続される。したがって、ＵＩコンポーネント表示モジュール１２０３、サービス管理モジュール１２０２、及びＵＩコンポーネント登録管理モジュール１２０１の間の接続が確立される。
代替的には、図１２（ｄ）に示すように、ＵＩコンポーネント登録管理モジュール１２０１は、送信元デバイスのソースアプリケーション内に位置し、サービス管理モジュール１２０２は、クラウドサーバ１２２０内に位置する。送信元デバイスは同じクラウドサーバに接続され、送信元デバイスは共有ネットワークを介して宛先デバイスに接続する。したがって、ＵＩコンポーネント表示モジュール１２０３、サービス管理モジュール１２０２、及びＵＩコンポーネント登録管理モジュール１２０１の間の接続が確立される。ネットワーク共有方式は、送信元デバイスと宛先デバイスが１つのＡＰに接続される方式、又は送信元デバイスと宛先デバイスがＷｉ－Ｆｉホットスポットを介して接続される方式を含み得る。これは、この出願において限定されない。
上述のいくつかの方法で、送信元デバイスは、宛先デバイスに接続する。これは、ＵＩコンポーネント表示モジュール１２０３、サービス管理モジュール１２０２、及びＵＩコンポーネント登録管理モジュール１２０１の間の接続を確実にし、この出願において提供されるＵＩコンポーネントを表示するための方法を実施することができる。
前述のステップ１００１～１００６では、送信元デバイスから宛先デバイスへのＵＩコンポーネントの表示プロセスについて説明する。ＵＩコンポーネントが登録されているときに、前述は、この出願において提供されているソフトウェア開発キットＳＤＫのセットについて説明し、各ＵＩコンポーネントは、送信元アプリケーションの開発中に便宜的に登録及び管理され得るようにする。追加的に、ＳＤＫはブロードキャストレシーバをアプリケーションに登録する。ブロードキャストレシーバは、サービス管理モジュールによって送信される種々のブロードキャストコマンドをリスンし、モジュールの内部論理を呼び出して、ＵＩコンポーネントのアップデートの伝送を完了し、最終的にリモート操作を行うように構成されている。
例えば、音楽アプリケーションのＵＩコンポーネントを例にとると、アプリケーション開発者はソフトウェア開発キットＳＤＫを使用することによってＵＩコンポーネントの設定情報を設定することができる。まず、ＵＩコンポーネント登録管理モジュールは、送信元デバイス上のアプリケーションのＵＩコンポーネントの登録要求を受信し、音楽アプリケーションの操作しているインターフェースでのＵＩコンポーネントを登録し、設定情報を生成することができる。例えば、設定情報は、ＵＩコンポーネントに含まれるすべての機能コントロールが位置する領域の位置情報を含んでもよいし、位置情報は、領域の左上隅の開始点の座標情報、領域の幅及び高さなどを含んでもよい。
次に、ＵＩコンポーネントを宛先デバイスの出力インターフェース上に表示できるかどうかが判定され、ＵＩコンポーネントが宛先デバイス上での表示をサポートするかどうかを識別するための情報がＵＩコンポーネントの設定情報内に構成される。設定情報は、ＵＩコンポーネントの表示情報及び操作情報を含み得る。表示情報は、宛先デバイスの表示インターフェースがどのように表示されるかを示すために使用される情報であり、操作情報は、機能コントロールがトリガされたときの対応する操作命令を示すために使用される。
アプリケーション開発者は、ソフトウェア開発キットＳＤＫを使用することによってＵＩコンポーネントの設定情報を登録することができ、音楽アプリケーションを使用するときに、ユーザは、直接ＵＩコンポーネントを選択し、宛先デバイスにＵＩコンポーネントを表示することができるようにする。これは、ユーザ操作を容易にする。
可能な実施態様では、宛先デバイス上に表示する必要のあるＵＩコンポーネントは、さらに、ユーザジェスチャ選択を介して判定されてもよい。図３（ｍ）は、この出願の一実施形態によるユーザジェスチャ選択の一例の概略図である。図３（ｍ）に示すように、携帯電話の音楽アプリケーションの再生インターフェース上で、ユーザは、宛先デバイスの表示インターフェースのサイズと、そのインターフェースで機能コントロールを使用するためのユーザの要件に応じて、宛先デバイス上に表示する必要のある機能コントロールを、宛先インターフェース上で選択し、ＵＩコンポーネントを形成することができる。例えば、ユーザが音楽再生インターフェース上の破線ボックスに示された領域を選択することは、ユーザが、前の曲選択コントロール、再生コントロール、及び次の曲選択コントロールを選択することとして理解されてもよい。破線ボックスに示す領域を選択する操作は、例えば、図中に示された破線ボックスの左上隅の開始座標位置１からその領域の右下隅の座標位置２までのスライド操作、又は破線ボックスの右下隅の開始座標位置２からその領域の左上隅の座標位置１までのスライド操作である、破線ボックスに示す領域の対角線の２つの位置座標に沿ったユーザのスライド操作であり得る。これは、この出願において限定されない。
次に、ＵＩコンポーネント登録管理モジュール１２０１は、選択された機能コントロールを登録してＵＩコンポーネントを形成し、ＵＩコンポーネントの設定情報、例えば、ＵＩコンポーネントの名称、機能、最小表示サイズ、最大表示サイズ、機能、タイプ、含まれる機能コントロールなどを判定する。
任意選択で、前述のプロセスは、ＵＩコンポーネント登録管理モジュール１２０１によって判定された後、送信元デバイス端に表示されてもよい。ユーザは、修正、又は設定を行うことができる。例えば、ユーザは、宛先デバイスのサイズに応じて、宛先デバイス上でＵＩコンポーネントによって表示されるインターフェースの表示サイズを設定することができる。
ユーザジェスチャ選択プロセスにおいて、選択された領域が機能コントロールの表示領域の一部を含むときに、電子デバイスは、生成されたＵＩコンポーネントに機能コントロールを含めてもよいし、生成されたＵＩコンポーネントから機能コントロールを除外してもよい。代替的には、機能コントロールの領域全体における機能コントロールの選択された部分のエリアの割合に基づいて、機能コントロールがＵＩコンポーネントに含まれるかどうかが判定される。これは、この出願において限定されない。
上述の解決策によれば、ＵＩコンポーネントの登録プロセスにおいて、ユーザは、ＵＩコンポーネントに含まれるアプリケーションコントロールの選択プロセスに参加することができる。ユーザは、ユーザの使用頻度にしたがって、ＵＩコンポーネントが機能コントロールを含む必要があるかどうかを判定してもよいし、ユーザは、ＵＩコンポーネントが宛先デバイス上に表示される前に、ＵＩコンポーネントの表示サイズを設定してもよい。これは使いやすく、表示インターフェースをよりユーザフレンドリにし、ユーザ体験を改善する。
可能な実施態様では、ソースアプリケーション開発者の視点から登録されたＵＩコンポーネントを判定することに加えて、ユーザによるアプリケーションの機能コントロールを選択する方式で、ユーザは、さらに、登録されたＵＩコンポーネントを宛先デバイス端で設定してもよい。表示されるＵＩコンポーネントのタイプとサイズは、宛先デバイス端で定義される。
例えば、宛先デバイスがスマートウォッチであるときに、アプリケーションの共通ＵＩコンポーネントの表示情報がスマートウォッチ端で設定されてもよい。「音楽」アプリケーションの場合、ユーザは、通常、「前の曲」選択コントロール、「再生」コントロール、及び「次の曲」選択コントロールを使用する。３つの機能コントロールによって形成されたＵＩコンポーネントの場合、コンポーネントの表示インターフェースサイズ及び機能コントロールの配列シーケンスが、例えば、前述の列挙された時計回りの配列シーケンス又は反時計回りの配列シーケンスであり、スマートウォッチ端にあらかじめ設定される。スマートウォッチに携帯電話の音楽アプリが表示されるときに、ＵＩコンポーネントがデフォルトで表示され得る。
複数のＵＩコンポーネントが、宛先デバイス端で設けられてもよく、前述の例に限定されないと理解されたい。ユーザは、宛先デバイス端における複数のＵＩコンポーネントから、現在表示する必要のあるＵＩコンポーネントを選択することができる。これは、この出願において限定されない。
前述は、この出願において提供される送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法の可能な実施プロセスを説明した。送信元デバイスの元のアプリケーションインターフェースの一部は、異なる機能コントロール又は複数の機能コントロールの組み合わせに分割され得る。異なる機能コントロール又は複数の機能コントロールの組み合わせは、新しい操作インターフェースを生成するために使用される。操作インターフェースは、別の宛先デバイスに表示され得る。操作が宛先デバイスの操作インターフェースに含まれる任意の機能コントロールに対して行われ、操作結果が実行のために送信元デバイスに送信されて、送信元デバイスと宛先デバイスとの操作整合性を確保する。本方法では、複数の端末デバイス間でユーザインターフェース及びサービスを自由に送信することができ、異なるデバイス間のボトルネックを解消し、元のアプリケーションインターフェースを部分的に分割し、複数の端末デバイス間で送信する。分割インターフェースは、端末の複数の画面サイズにより容易に適応し、より完全な表示を達成することができる。宛先デバイス端で表示される新しい操作インターフェースは、同じアプリケーションの機能コントロール、又は異なるアプリケーションの機能コントロールを含み得る。これにより、異なるアプリケーション間の境界を解消し、ユーザは、１つのインターフェース上で複数のアプリケーションの機能を閲覧し、複数のアプリケーションに対して同時に操作を行うことができるようにする。したがって、すべての操作は、送信元デバイスの元のアプリケーションサービスに送信される。ユーザは、送信元デバイスと宛先デバイスの両方でアプリケーションサービスを同時に制御することができる。これは、使用を容易にし、ユーザ体験を改善する。
前述の実施形態及び関連する添付図面を参照して、この出願の実施形態は、送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法を提供する。本方法は、図１及び図２のタッチ画面及びカメラを有する電子デバイス（例えば、携帯電話又はタブレットコンピュータ）によって実施され得る。図１３は、この出願の実施形態によるＵＩコンポーネントを表示するための方法の概略フローチャートである。本方法は、送信元デバイス又は送信元デバイス内に構成されたチップによって実施され得る。図１３に示すように、本方法は、以下のステップを含み得る。
１３０１： 送信元デバイスは、第１のＵＩコンポーネントを判定し、第１のＵＩコンポーネントは、送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む。
可能な実施態様では、送信元デバイスは、第１のインターフェースを表示し、第１のインターフェース上のユーザの第１の操作を検出する。第１の操作に応答して、送信元デバイスは第１のＵＩコンポーネントを判定する。
任意選択で、第１のインターフェースは、第１のアプリケーションの少なくとも１つの機能コントロールを含み、第１の操作は、ユーザが第１のインターフェースに表示される第１のＵＩコンポーネントを選択する操作である。
例えば、第１の操作は、図３（ｋ）に示す操作である。ユーザは、音楽アプリケーションインターフェース上の１つの領域を選択し、エリア内の機能コントロールを判定して、第１のＵＩコンポーネントを形成する。
代替的には、第１のインターフェースは、第１のアプリケーションのＵＩコンポーネントリストを含み、ＵＩコンポーネントリスト内の各ＵＩコンポーネントは、第１のアプリケーションの少なくとも１つの機能コントロールを含み、第１の操作は、ユーザがＵＩコンポーネントリスト内の第１のＵＩコンポーネントを選択する操作である。
例えば、第１の操作は、図４（ｇ）から図４（ｋ）に示す操作である。ユーザは、プロジェクションコンポーネント・リスト・インターフェースで１つのコンポーネントタイプを選択し、コンポーネントタイプに含まれるすべての機能コントロールを判定して、第１のＵＩコンポーネントを形成する。
１３０２： 送信元デバイスは、第１のＵＩコンポーネントの設定情報を取得し、第１のＵＩコンポーネントの設定情報は、宛先デバイス上で第１のＵＩコンポーネントを表示する方式を示すために使用される。
１３０３： 送信元デバイスは、第１のＵＩコンポーネントの設定情報を宛先デバイスに送信し、宛先デバイスは、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示するようにする。
任意選択で、第１のＵＩコンポーネントの設定情報は、第１の情報を含む。第１の情報は、宛先デバイス上での少なくとも１つの機能コントロールの各々の表示情報を示すために使用され、第１の情報は、宛先デバイス上での少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含む。送信元デバイスは、第１の情報を宛先デバイスに送信することができる。
例えば、図４（ｍ）及び図４（ｎ）に示すように、第１の情報は、スマートウォッチの表示インターフェース上での第１のＵＩコンポーネントの開始座標、長さ及び高さなどの情報を含んでもよい。ユーザは、列挙された情報を修正して、スマートウォッチ上で第１のＵＩコンポーネントを表示する方式を修正することができる。
任意選択で、第１のＵＩコンポーネントの設定情報は、さらに、第２の情報を含む。第２の情報は、少なくとも１つの機能コントロールの各々の識別子ＩＤに関する情報を示すために使用される。
送信元デバイスは、第１のアプリケーションの各機能コントロールのＩＤ情報を知っていてもよいことを理解されたい。送信元デバイスは、第１のＵＩコンポーネントを判定した後、第１のＵＩコンポーネントに含まれる各機能コントロールのＩＤ情報を宛先デバイスに送信する。ユーザが宛先デバイス上で第１のＵＩコンポーネントにおける機能コントロールを行うときに、宛先デバイスは、機能コントロールのＩＤ情報と操作イベントの両方を送信元デバイスに送信することができ、送信元デバイスが、機能コントロールのＩＤ情報と操作イベントに関する情報に基づいて、第１のアプリケーションの第１の機能コントロールを判定し、第１の機能コントロールに対応する機能を実行するようにする。
例えば、図７（ａ）に示すように、ユーザは、スマートウォッチ側の音楽再生コントロールをタップして、再生停止状態に移行する。音楽は、携帯電話側で停止し、コントロールは、再生停止状態で表示される。
代替的には、図７（ｂ）に示すように、ユーザが携帯電話側の音楽再生コントロールをタップするときに、スマートウォッチ側のコントロールも再生状態を表示する。
任意選択で、第１のＵＩコンポーネントの設定情報は、さらに、第３の情報を含む。第３の情報は、少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される。
例えば、関連する設定ファイル及び関連するシーケンスの前述の説明に列挙された様々な情報は、ここでは再度説明しない。
任意選択で、第１のＵＩコンポーネントの設定情報は、さらに、第４の情報を含む。第４の情報は、第１のＵＩコンポーネントにおける各機能コントロールが宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報である。送信元デバイスは、第４の情報に基づいて、第１のＵＩコンポーネントの各機能コントロールが宛先デバイス上での表示をサポートすると判定する。
同様に、図１４は、この出願の一実施形態によるＵＩコンポーネントを表示するための方法の別の例の概略フローチャートである。図１４に示すように、本方法は、宛先デバイス又は宛先デバイス内に構成されたチップによって実行されてもよい。具体的には、以下のステップが含まれる。
１４０１： 宛先デバイスは、送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信し、第１のＵＩコンポーネントの設定情報は、電子デバイス上に第１のＵＩコンポーネントを表示する方式を示すために使用され、第１のＵＩコンポーネントは、送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む。
１４０２： 宛先デバイスは、第１のＵＩコンポーネントの設定情報に基づいて第１のＵＩコンポーネントを表示する。
前述の機能を実施するために、送信元デバイス及び宛先デバイスは、機能を実施するための対応するハードウェア及び／又はソフトウェアモジュールを含むことが理解されよう。この明細書に開示された実施形態に記載された各例のアルゴリズムステップを参照して、この出願は、ハードウェアの形態、又はハードウェアとコンピュータソフトウェアの組み合わせで実施することができる。機能がハードウェアによって行われるのか、コンピュータソフトウェアによって駆動されるハードウェアによって行われるのかは、特定のアプリケーションと技術的解決策の設計上の制約に依存する。当業者であれば、実施形態を参照して、各特定の用途について記載された機能を実施するために異なる方法を使用することができるが、実施態様がこの出願の実施形態の範囲を超えているとは考えるべきではない。
本実施形態では、機能モジュールへの分割は、前述の方法の例に基づいて、送信元デバイス及び宛先デバイスに対して行われ得る。例えば、各機能モジュールは、各機能に対応する分割によって取得されてもよいし、２つ以上の機能が１つの処理モジュールに統合されてもよい。統合モジュールは、ハードウェアの形態で実装され得る。本実施形態では、モジュールへの分割は一例であり、単なる論理的な機能分割に過ぎないと留意されたい。実際の実施態様では、別の分割方式が使用され得る。
図１５は、対応する各機能に基づいて各機能モジュールを分割を介して取得されるときに、前述の実施形態における電子デバイス１５００の可能な概略構成図である。図１５に示すように、電子デバイス１５００は、電子デバイス１５００が送信元デバイスであるときに、処理ユニット１５０１、取得ユニット１５０２、及び送信ユニット１５０３を含み得る。
処理ユニット１５０１は、ステップ１３０１及び／又は本明細書に記載される技術の別のプロセスを実行するように、電子デバイス１５００をサポートするように構成され得る。
取得ユニット１５０２は、ステップ１３０２及び／又は本明細書に記載される技術の別のプロセスを実行するために、電子デバイス１５００をサポートするように構成され得る。
送信ユニット１５０３は、ステップ１３０３及び／又は本明細書に記載される技術の別のプロセスを実行するために、電子デバイス１５００をサポートするように構成され得る。
図１６は、前述の実施形態における電子デバイス１６００の可能な概略構成図である。図１６に示すように、電子デバイス１６００は、電子デバイス１６００が宛先デバイスであるときに、受信ユニット１６０１及び処理ユニット１６０２を含み得る。
受信ユニット１６０１は、ステップ１４０１及び／又は本明細書に記載される技術の別のプロセスを実行するために、電子デバイス１６００をサポートするように構成され得る。
処理ユニット１６０２は、ステップ１４０２及び／又は本明細書に記載される技術の別のプロセスを実行するために、電子デバイス１６００をサポートするように構成され得る。
前述の方法の実施形態におけるステップのすべての関連する内容は、対応する機能モジュールの機能説明において引用することができることに留意されたい。詳細は、ここでは再度説明しない。
実施形態において提供される電子デバイスは、ＵＩコンポーネントを表示するための方法を行うように構成されている。前述の実施方法と同様の効果を達成することができる。
集積化されたユニットが使用されるときに、電子デバイスは、処理モジュール、記憶モジュール、及び通信モジュールを含み得る。処理モジュールは、電子デバイスのアクションを制御及び管理するように構成することができ、例えば、送信元デバイス及び宛先デバイスによって行われるステップを実行するために電子デバイスをサポートするように構成することができる。記憶モジュールは、プログラムコード、データなどを記憶するために電子デバイスをサポートするように構成することができる。通信モジュールは、電子デバイスと別のデバイスとの間の通信をサポートするように構成することができる。
処理モジュールは、プロセッサ又はコントローラであり得る。プロセッサは、この出願に開示されたコンテンツに関連して説明された様々な例示的な論理ブロック、モジュール、及び回路を実施又は実行することができる。代替的には、プロセッサは、コンピューティング機能を実施するプロセッサの組み合わせ、例えば、１つ以上のマイクロプロセッサの組み合わせ、又はデジタル信号処理（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）及びマイクロプロセッサの組み合わせであってもよい。記憶モジュールはメモリであり得る。通信モジュールは、具体的には、他の電子デバイスと相互作用するデバイス、例えば、無線周波数回路、Ｂｌｕｅｔｏｏｔｈチップ、又はＷｉ－Ｆｉチップであり得る。
一実施形態では、処理モジュールがプロセッサであり、記憶モジュールがメモリであるときに、この実施形態の電子デバイスは、図１に示す構造を有するデバイスであり得る。
一実施形態は、さらに、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体は、コンピュータ命令を記憶する。コンピュータ命令が電子デバイス上で動作されるときに、電子デバイスは、関連する方法ステップを行い、前述の実施形態におけるＵＩコンポーネントを表示するための方法を実施することが可能となる。
一実施形態は、さらに、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作するときに、コンピュータは、関連するステップを実行して、前述の実施形態におけるＵＩコンポーネントを表示するための方法を実装することが可能となる。
追加的に、この出願の一実施形態は、さらに、装置を提供する。装置は、具体的には、チップ、コンポーネント、又はモジュールであり得る。装置は、接続されたプロセッサ及びメモリを含んでもよい。メモリは、コンピュータ実行可能命令を記憶するように構成されており、装置が動作するときに、プロセッサは、メモリに記憶されたコンピュータ実行可能命令を実行して、チップが前述の方法の実施形態におけるＵＩコンポーネントを表示するための方法を行うようにしてもよい。
実施形態において提供される電子デバイス、コンピュータ記憶媒体、コンピュータプログラム製品、又はチップは、上記で提供される対応する方法を行うように構成されている。したがって、達成可能な有益な効果については、上記の対応する方法における有益な効果を参照のこと。詳細は、ここでは再度説明しない。
実施態様に関する前述の説明は、便利で簡単な説明を目的として、前述の機能モジュールへの分割が例示のための一例として取られていることを、当業者が理解することを可能にする。実際のアプリケーションでは、前述の機能を異なる機能モジュールに割り当て、要件に従って実施することができる。すなわち、装置の内部構造を異なる機能モジュールに分割して、上述の機能の全部又は一部を実施する。
この出願に提供されるいくつかの実施形態では、開示された装置及び方法は、他の方法で実施することができると理解されたい。例えば、記載された装置の実施形態は、単なる一例に過ぎない。例えば、モジュール又はユニットへの分割は、単に論理的な機能分割であり、実際の実施態様における他の分割であってもよい。例えば、複数のユニット又はコンポーネントは、他の装置に組み合わせるか、又は一体化してもよいし、いくつかの特徴は、無視するか、又は行わなくてもよい。追加的に、表示又は議論された相互結合、直接結合、又は通信接続は、いくつかのインターフェースを使用することによって実施してもよい。装置又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形態で実施することができる。
別個の部分として記載されるユニットは、物理的に分離されていてもいなくてもよく、ユニットとして表示される部分は、１又はそれ以上の物理ユニットであってもよく、１つの場所に位置してもよいし、異なる場所に分散されていてもよい。ユニットの一部又はすべては、実際の要件に基づいて選択されて、実施形態の解決策の目的を達成し得る。
追加的に、この出願の実施形態における機能ユニットは、１つの処理ユニットに統合されてもよく、ユニットの各々は、物理的に単独で存在してもよいし、又は２つ以上のユニットは、１つのユニットに統合される。統合ユニットは、ハードウェアの形態で実施されてもよいし、ソフトウェア機能ユニットの形態で実施されてもよい。
統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用されるときに、統合ユニットは可読記憶媒体に記憶され得る。このような理解に基づいて、この出願の実施形態の技術的解決策は、本質的に、従来技術に寄与する部分、又は技術的解決策の全部若しくは一部を、ソフトウェア製品の形態で実施することができる。ソフトウェア製品は、記憶媒体に記憶され、デバイス（シングルチップマイクロコンピュータ、チップなどであってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、この出願の実施形態に記載される方法のステップのすべて又は一部を行うように指示するためのいくつかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、又は光ディスクなどのプログラムコードを記憶することができる任意の媒体を含む。
前述の説明は、この出願の単なる具体的な実施態様であるが、この出願の保護範囲を制限することを意図するものではない。この出願に開示された技術的範囲内で、当業者が容易に理解することができる変更又は代替は、この出願の保護範囲に含まれる。したがって、この出願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
第４の態様及び前述の実施態様に関し、第１の態様のいくつかの実施態様では、１つ以上のプログラムが１つ以上のプロセッサによって実行されるときに、電子デバイスは、ユーザの第２の操作を検出することであって、第２の操作は、電子デバイス上に表示された第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される、ことと、第２の操作に基づいて第１の機能コントロールの識別子を判定することと、第２の操作の操作情報を送信元デバイスに送信することであって、第２の操作の操作情報は、第１の機能コントロールの識別子を含む、ことと、を行うことが可能となる。

Claims (34)

  1. 送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法であって、
    前記送信元デバイスによって、前記第１のＵＩコンポーネントを判定することであって、前記第１のＵＩコンポーネントは、前記送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む、ことと、
    前記送信元デバイスによって、前記第１のＵＩコンポーネントの設定情報を取得することであって、前記第１のＵＩコンポーネントの前記設定情報は、前記宛先デバイス上で前記第１のＵＩコンポーネントを表示する方式を示すために使用される、ことと、
    前記送信元デバイスによって、前記第１のＵＩコンポーネントの前記設定情報を前記宛先デバイスに送信し、前記宛先デバイスは、前記第１のＵＩコンポーネントの前記設定情報に基づいて前記第１のＵＩコンポーネントを表示するようにすることと、を含む、方法。
  2. 前記送信元デバイスによって、第１のＵＩコンポーネントを判定することは、
    前記送信元デバイスによって、第１のインターフェースを表示することと、
    前記第１のインターフェース上でのユーザの第１の操作を検出することと、
    前記送信元デバイスによって、前記第１の操作に応答して前記第１のＵＩコンポーネントを判定することと、を含む、請求項１に記載の方法。
  3. 前記第１のインターフェースは、前記第１のアプリケーションの少なくとも１つの機能コントロールを含み、前記第１の操作は、前記ユーザが前記第１のインターフェースに表示される前記第１のＵＩコンポーネントを選択する操作であるか、又は
    第１のインターフェースは、前記第１のアプリケーションのＵＩコンポーネントリストを含み、前記ＵＩコンポーネントリスト内の各ＵＩコンポーネントは、前記第１のアプリケーションの少なくとも１つの機能コントロールを含み、前記第１の操作は、前記ユーザが前記ＵＩコンポーネントリスト内の前記第１のＵＩコンポーネントを選択する操作である、請求項２に記載の方法。
  4. 前記第１のＵＩコンポーネントの前記設定情報は、第１の情報を含み、前記第１の情報は、前記宛先デバイス上での前記少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含み、
    前記送信元デバイスによって、前記第１のＵＩコンポーネントの前記設定情報を前記宛先デバイスに送信することは、
    前記送信元デバイスによって、前記第１の情報を前記宛先デバイスに送信することを含む、請求項１～３のいずれか一項に記載の方法。
  5. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第２の情報を含み、前記第２の情報は、前記少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される、請求項１～４のいずれか一項に記載の方法。
  6. 前記方法は、さらに、
    前記送信元デバイスによって、前記宛先デバイスによって送信された第２の操作の操作情報を受信することであって、前記第２の操作は、前記宛先デバイス上に表示された前記第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用され、前記第２の操作の前記操作情報は、前記第１の機能コントロールの第２の情報を含む、ことと、
    前記送信元デバイスによって、前記第２の操作の前記操作情報に基づいて前記第１の機能コントロールの識別子を判定することと、
    前記送信元デバイスによって、前記第１の機能コントロールの前記識別子に基づいて前記第１の機能コントロールを判定することと、
    前記送信元デバイスによって、前記第１の機能コントロールに対応する機能を実行することと、を含む、請求項５に記載の方法。
  7. 前記第２の操作は、第１の状態で前記宛先デバイス上に表示される前記第１のＵＩコンポーネントにおける前記第１の機能コントロールをトリガするために使用され、
    前記送信元デバイスによって、前記第１の機能コントロールに対応する機能を実行することは、
    前記送信元デバイスの前記第１のアプリケーションによって、前記第２の操作の前記操作情報及び前記第１の機能コントロールに基づいて、前記第１の機能コントロールの前記第１の状態に対応する機能を実行することであって、前記第１の機能コントロールは、前記第１の状態で表示される、ことを含む、請求項６に記載の方法。
  8. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第３の情報を含み、前記第３の情報は、前記少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される、請求項１～７のいずれか一項に記載の方法。
  9. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第４の情報を含み、前記第４の情報は、前記第１のＵＩコンポーネントにおける各機能コントロールが前記宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報であり、
    前記送信元デバイスによって、第１のＵＩコンポーネントを判定することは、さらに、
    前記送信元デバイスによって、前記第４の情報に基づいて、前記第１のＵＩコンポーネントの各機能コントロールが前記宛先デバイス上での表示をサポートすると判定することを含む、請求項１～８のいずれか一項に記載の方法。
  10. 送信元デバイスのＵＩコンポーネントを宛先デバイス上で表示するための方法であって、
    前記宛先デバイスによって、前記送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信することであって、前記第１のＵＩコンポーネントの前記設定情報は、前記宛先デバイス上で前記第１のＵＩコンポーネントを表示する方式を示すために使用され、前記第１のＵＩコンポーネントは、前記送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む、ことと、
    前記宛先デバイスによって、前記第１のＵＩコンポーネントの前記設定情報に基づいて前記第１のＵＩコンポーネントを表示することと、を含む、方法。
  11. 前記第１のＵＩコンポーネントの前記設定情報は、第１の情報を含み、前記第１の情報は、前記宛先デバイス上での前記少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含み、
    前記宛先デバイスによって、前記送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信することは、
    前記宛先デバイスによって、前記送信元デバイスによって送信された前記第１の情報を受信することを含む、請求項１０に記載の方法。
  12. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第２の情報を含み、前記第２の情報は、前記少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される、請求項１０又は１１に記載の方法。
  13. 前記方法は、さらに、
    前記宛先デバイスによって、ユーザの第２の操作を検出することであって、前記第２の操作は、前記宛先デバイス上で表示された前記第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される、ことと、
    前記宛先デバイスによって、前記第２の操作に基づいて前記第１の機能コントロールの識別子を判定することと、
    前記宛先デバイスによって、前記第２の操作の操作情報を前記送信元に送信することであって、前記第２の操作の前記操作情報は、前記第１の機能情報の前記識別子を含む、ことと、を含む、請求項１２に記載の方法。
  14. 前記第２の操作は、第１の状態で前記宛先デバイス上に表示される前記第１のＵＩコンポーネントにおける前記第１の機能コントロールをトリガするために使用され、前記第２の操作の前記操作情報は、さらに、前記第１の機能コントロールの前記第１の状態に対応する機能を実行するために前記送信元デバイスの前記第１のアプリケーションを示すために使用され、前記第１の機能コントロールは、前記第１の状態で前記送信元デバイスに表示される、請求項１３に記載の方法。
  15. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第３の情報を含み、前記第３の情報は、前記少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される、請求項１０～１４のいずれか一項に記載の方法。
  16. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第４の情報を含み、前記第４の情報は、前記第１のＵＩコンポーネントにおける各機能コントロールが前記宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報であり、
    前記宛先デバイスによって、前記第１のＵＩコンポーネントの前記設定情報に基づいて前記第１のＵＩコンポーネントを表示することは、さらに、
    前記宛先デバイスによって、前記第４の情報に基づいて、前記宛先デバイス上での表示をサポートする前記第１のＵＩコンポーネントにおける各機能コントロールを表示することを含む、請求項１０～１５のいずれか一項に記載の方法。
  17. 電子デバイスであって、
    １つ以上のプロセッサと、
    １つ以上の複数のメモリと、
    複数のアプリケーションと、
    １つ以上のプログラムと、を含み、前記１つ以上のプログラムは、前記１つ以上のメモリに記憶され、前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、
    前記第１のＵＩコンポーネントを判定することであって、前記第１のＵＩコンポーネントは、前記電子デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む、ことと、
    前記第１のＵＩコンポーネントの設定情報を取得することであって、前記第１のＵＩコンポーネントの前記設定情報は、前記宛先デバイス上で前記第１のＵＩコンポーネントを表示する方式を示すために使用される、ことと、
    前記第１のＵＩコンポーネントの前記設定情報を前記宛先デバイスに送信し、前記宛先デバイスが、前記第１のＵＩコンポーネントの前記設定情報に基づいて前記第１のＵＩコンポーネントを表示するようにすることと、を行うことが可能となる、電子デバイス。
  18. 前記命令が前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、さらに、
    第１のインターフェースを表示することと、
    前記第１のインターフェース上でのユーザの第１の操作を検出することと、
    前記第１の操作に応答して前記第１のＵＩコンポーネントを判定することと、を行うことが可能となる、請求項１７に記載の電子デバイス。
  19. 前記第１のインターフェースは、前記第１のアプリケーションの少なくとも１つの機能コントロールを含み、前記第１の操作は、前記ユーザが前記第１のインターフェースに表示される前記第１のＵＩコンポーネントを選択する操作であるか、又は
    前記第１のインターフェースは、前記第１のアプリケーションのＵＩコンポーネントリストを含み、前記ＵＩコンポーネントリスト内の各ＵＩコンポーネントは、前記第１のアプリケーションの少なくとも１つの機能コントロールを含み、前記第１の操作は、前記ユーザが前記ＵＩコンポーネントリスト内の前記第１のＵＩコンポーネントを選択する操作である、請求項１８に記載の電子デバイス。
  20. 前記第１のＵＩコンポーネントの前記設定情報は、第１の情報を含み、前記第１の情報は、前記宛先デバイス上での前記少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含み、
    前記命令が前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、さらに、
    前記第１の情報を前記宛先デバイスに送信することを行うことが可能となる、請求項１７～１９のいずれか一項に記載の電子デバイス。
  21. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第２の情報を含み、前記第２の情報は、前記少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される、請求項１７～２０のいずれか一項に記載の電子デバイス。
  22. 前記命令が前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、さらに、
    前記宛先デバイスによって送信された第２の操作の操作情報を受信することであって、前記第２の操作は、前記宛先デバイス上に表示された前記第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用され、前記第２の操作の前記操作情報は、前記第１の機能コントロールの第２の情報を含む、ことと、
    前記第２の操作の前記操作情報に基づいて前記第１の機能コントロールの識別子を判定することと、
    前記第１の機能コントロールの前記識別子に基づいて前記第１の機能コントロールを判定することと、
    前記第１の機能コントロールに対応する機能を実行することと、を行うことが可能となる、請求項２１に記載の電子デバイス。
  23. 前記第２の操作は、第１の状態で前記宛先デバイス上に表示される前記第１のＵＩコンポーネントにおける前記第１の機能コントロールをトリガするために使用され、
    前記命令が前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、さらに、
    前記第１のアプリケーションによって、前記第２の操作の前記操作情報及び前記第１の機能コントロールに基づいて、前記第１の機能コントロールの前記第１の状態に対応する機能を実行することであって、前記第１の機能コントロールは、前記第１の状態で表示される、ことを行うことが可能となる、請求項２２に記載の電子デバイス。
  24. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第３の情報を含み、前記第３の情報は、前記少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される、請求項１７～２３のいずれか一項に記載の電子デバイス。
  25. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第４の情報を含み、前記第４の情報は、前記第１のＵＩコンポーネントにおける各機能コントロールが前記宛先デバイス上での表示をサポートするかどうかを識別するために使用される情報であり、
    前記命令が前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、さらに、
    前記第４の情報に基づいて、前記第１のＵＩコンポーネントにおける各機能コントロールが前記宛先デバイス上での表示をサポートすると判定することを行うことが可能となる、請求項１７～２４のいずれか一項に記載の電子デバイス。
  26. 電子デバイスであって、
    １つ以上のプロセッサと、
    １つ以上の複数のメモリと、
    複数のアプリケーションと、
    １つ以上のプログラムと、を含み、前記１つ以上のプログラムは、前記１つ以上のメモリに記憶され、前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、
    送信元デバイスによって送信された第１のＵＩコンポーネントの設定情報を受信することであって、前記第１のＵＩコンポーネントの前記設定情報は、前記電子デバイス上で前記第１のＵＩコンポーネントを表示する方式を示すために使用され、前記第１のＵＩコンポーネントは、前記送信元デバイスの第１のアプリケーションの少なくとも１つの機能コントロールを含む、ことと、
    前記第１のＵＩコンポーネントの前記設定情報に基づいて前記第１のＵＩコンポーネントを表示することと、を行うことが可能となる、電子デバイス。
  27. 前記第１のＵＩコンポーネントの前記設定情報は、第１の情報を含み、前記第１の情報は、前記電子デバイス上での前記少なくとも１つの機能コントロールの各々の位置座標、表示幅、及び表示高さに関する情報を含み、
    前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、
    前記送信元デバイスによって送信された前記第１の情報を受信することを行うことが可能となる、請求項２６に記載の電子デバイス。
  28. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第２の情報を含み、前記第２の情報は、前記少なくとも１つの機能コントロールの各々の識別子情報を示すために使用される、請求項２６又は２７に記載の電子デバイス。
  29. 前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、
    ユーザの第２の操作を検出することであって、前記第２の操作は、前記電子デバイス上に表示された前記第１のＵＩコンポーネントにおける第１の機能コントロールをトリガするために使用される、ことと、
    前記第２の操作に基づいて前記第１の機能コントロールの識別子を判定することと、
    前記第２の操作の操作情報を前記送信元デバイスに送信することであって、前記第２の操作の前記操作情報は、前記第１の機能情報の前記識別子を含む、ことと、を行うことが可能となる、請求項２８に記載の電子デバイス。
  30. 前記第２の操作は、第１の状態で前記電子デバイス上に表示される前記第１のＵＩコンポーネントにおける前記第１の機能コントロールをトリガするために使用され、前記第２の操作の前記操作情報は、さらに、前記第１の機能コントロールの前記第１の状態に対応する機能を実行するために前記送信元デバイスの前記第１のアプリケーションを示すために使用され、前記第１の機能コントロールは、前記第１の状態で前記送信元デバイスに表示される、請求項２９に記載の電子デバイス。
  31. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第３の情報を含み、前記第３の情報は、前記少なくとも１つの機能コントロールの各々の名称及び機能に関する情報を示すために使用される、請求項２６～３０のいずれか一項に記載の電子デバイス。
  32. 前記第１のＵＩコンポーネントの前記設定情報は、さらに、第４の情報を含み、前記第４の情報は、前記第１のＵＩコンポーネントにおける各機能コントロールが前記電子デバイス上での表示をサポートするかどうかを識別するために使用される情報であり、
    前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるときに、前記電子デバイスは、
    前記第４の情報に基づいて、前記宛先デバイス上での表示をサポートする前記第１のＵＩコンポーネントにおける各機能コントロールを表示することを含む、請求項１０～１５のいずれか一項に記載の方法。
  33. コンピュータ命令を含むコンピュータ記憶媒体であって、前記コンピュータ命令が電子デバイス上で動作されるときに、前記電子デバイスは、請求項１～１６のいずれか一項に記載の前記送信元デバイスのＵＩコンポーネントを前記宛先デバイス上で表示するための前記方法を実行することが可能となる、コンピュータ記憶媒体。
  34. コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で動作されるときに、前記コンピュータは、請求項１～１６のいずれか一項に記載の前記送信元デバイスの前記ＵＩコンポーネントを前記宛先デバイス上で表示するための前記方法を実行することが可能となる、コンピュータプログラム製品。
JP2021552668A 2019-03-06 2020-02-28 Ｕｉコンポーネントを表示するための方法及び電子デバイス Pending JP2022523989A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910169513.8 2019-03-06
CN201910169513.8A CN111666119B (zh) 2019-03-06 2019-03-06 Ui组件显示的方法及电子设备
PCT/CN2020/077130 WO2020177622A1 (zh) 2019-03-06 2020-02-28 Ui组件显示的方法及电子设备

Publications (1)

Publication Number Publication Date
JP2022523989A true JP2022523989A (ja) 2022-04-27

Family

ID=72337183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021552668A Pending JP2022523989A (ja) 2019-03-06 2020-02-28 Ｕｉコンポーネントを表示するための方法及び電子デバイス

Country Status (5)

Country Link
US (1) US11385857B2 (ja)
EP (1) EP3907597A4 (ja)
JP (1) JP2022523989A (ja)
CN (2) CN112231025B (ja)
WO (1) WO2020177622A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269510B (zh) * 2020-10-29 2022-03-25 维沃移动通信（杭州）有限公司 信息处理方法、装置及电子设备
CN114698414A (zh) * 2020-10-30 2022-07-01 京东方科技集团股份有限公司 一种终端的应用管理方法及系统
CN112331202B (zh) * 2020-11-04 2024-03-01 北京奇艺世纪科技有限公司 一种语音投屏方法及装置、电子设备和计算机可读存储介质
CN115145439A (zh) * 2020-11-16 2022-10-04 Oppo广东移动通信有限公司 桌面元数据的显示方法、访问方法及相关装置
CN112286618A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 设备协作方法、装置、系统、电子设备和存储介质
CN114661258A (zh) * 2020-12-23 2022-06-24 华为技术有限公司 自适应显示方法、电子设备及存储介质
CN115145519A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 一种显示方法、电子设备和系统
CN113093977A (zh) * 2021-04-12 2021-07-09 Tcl通讯（宁波）有限公司 移动终端手表的设置方法、装置、智能终端及存储介质
CN115390705A (zh) * 2021-05-25 2022-11-25 荣耀终端有限公司 通知方法、相关装置及系统
CN116661922A (zh) * 2021-12-25 2023-08-29 荣耀终端有限公司 一种终端使用的提示方法、终端及存储介质
WO2023141857A1 (zh) * 2022-01-27 2023-08-03 京东方科技集团股份有限公司 投屏方法及装置、电子设备、计算机可读介质
CN116560535A (zh) * 2022-01-28 2023-08-08 华为技术有限公司 应用组件管理方法及相关设备
WO2023142940A1 (zh) * 2022-01-28 2023-08-03 华为技术有限公司 应用组件分享方法及相关设备
CN116560536A (zh) * 2022-01-28 2023-08-08 华为技术有限公司 应用组件设置方法及相关设备
CN117093068A (zh) * 2022-05-12 2023-11-21 华为技术有限公司 基于穿戴设备的振动反馈方法、系统、穿戴设备和电子设备
CN114915607B (zh) * 2022-07-18 2022-10-11 荣耀终端有限公司 一种通知消息的处理方法、电子设备及系统
CN116048708B (zh) * 2023-03-31 2024-02-23 成都齐之之知识产权运营有限公司 基于人工智能的软件窗口调整方法、系统、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560976B1 (en) * 2012-11-14 2013-10-15 Lg Electronics Inc. Display device and controlling method thereof

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US9965035B2 (en) * 2008-05-13 2018-05-08 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
KR101615624B1 (ko) * 2009-02-27 2016-04-26 삼성전자주식회사 원격 사용자 인터페이스 디바이스를 제어하는 장치 및 방법
GB201001728D0 (en) * 2010-02-03 2010-03-24 Skype Ltd Screen sharing
WO2011161966A1 (ja) * 2010-06-25 2011-12-29 パナソニック株式会社 制御装置およびスクリプト変換方法
US9104290B2 (en) * 2011-02-11 2015-08-11 Samsung Electronics Co., Ltd. Method for controlling screen of mobile terminal
KR20120100045A (ko) 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
CN103513978B (zh) 2012-07-02 2016-07-13 Tcl集团股份有限公司 一种根据应用的属性信息管理应用布局的方法及系统
CN102841790A (zh) 2012-07-02 2012-12-26 北京大学 面向异构终端的Web应用界面动态适配方法
US20140181683A1 (en) 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd. Method and system for controlling external device
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
CN104699364B (zh) * 2013-12-10 2020-04-24 中兴通讯股份有限公司 应用的控制组件显示方法和系统
CN103729125A (zh) * 2013-12-30 2014-04-16 宇龙计算机通信科技(深圳)有限公司 一种数据共享操作方法及终端
KR102418119B1 (ko) * 2014-08-25 2022-07-07 삼성전자 주식회사 시계 화면 구성 방법 및 이를 구현한 웨어러블 전자장치
JP2016053773A (ja) * 2014-09-03 2016-04-14 コニカミノルタ株式会社 共有表示システム及び共有表示制御プログラム並びに共有表示制御方法
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
US20160182603A1 (en) * 2014-12-19 2016-06-23 Microsoft Technology Licensing, Llc Browser Display Casting Techniques
KR20170061489A (ko) 2015-11-26 2017-06-05 삼성전자주식회사 전자 기기 및 이의 운송 기기 제어 방법
CN105592351A (zh) * 2015-12-17 2016-05-18 惠州Tcl移动通信有限公司 基于移动终端实现播放内容同步的方法、系统及终端
US20170242648A1 (en) * 2016-02-19 2017-08-24 RAPC Systems, Inc. Combined Function Control And Display And System For Displaying And Controlling Multiple Functions
KR102627518B1 (ko) * 2016-09-02 2024-01-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
CN108021310A (zh) 2016-10-28 2018-05-11 中国电信股份有限公司 手机页面构建方法和装置
CN108268197A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 反向控制方法、移动设备、车载显示设备及系统
CN107071551B (zh) * 2017-04-26 2020-07-24 四川长虹电器股份有限公司 应用于智能电视系统中的多屏互动屏幕响应方法
CN107423062B (zh) * 2017-07-12 2019-02-01 珠海格力电器股份有限公司 一种投影仪控制方法及其装置
CN108509237A (zh) * 2018-01-19 2018-09-07 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN108829320A (zh) * 2018-06-21 2018-11-16 Oppo广东移动通信有限公司 交互方法、装置、存储介质、移动终端及交互系统
CN109274828B (zh) * 2018-09-30 2021-01-15 华为技术有限公司 一种生成截图的方法、控制方法及电子设备
CN110377250B (zh) * 2019-06-05 2021-07-16 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110389736A (zh) * 2019-06-05 2019-10-29 华为技术有限公司 一种投屏显示方法及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560976B1 (en) * 2012-11-14 2013-10-15 Lg Electronics Inc. Display device and controlling method thereof

Also Published As

Publication number Publication date
CN111666119B (zh) 2023-11-21
US20220050656A1 (en) 2022-02-17
US11385857B2 (en) 2022-07-12
EP3907597A1 (en) 2021-11-10
CN111666119A (zh) 2020-09-15
EP3907597A4 (en) 2022-03-23
CN112231025A (zh) 2021-01-15
WO2020177622A1 (zh) 2020-09-10
CN112231025B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
JP2022523989A (ja) Ｕｉコンポーネントを表示するための方法及び電子デバイス
KR102470275B1 (ko) 음성 제어 방법 및 전자 장치
JP7326476B2 (ja) スクリーンショット方法及び電子装置
JP7474333B2 (ja) クロスデバイス・タスク処理、電子デバイス及び記憶媒体のための対話方法
WO2020052529A1 (zh) 全屏显示视频中快速调出小窗口的方法、图形用户接口及终端
WO2020000448A1 (zh) 一种柔性屏幕的显示方法及终端
JP2022549157A (ja) データ伝送方法及び関連装置
KR102534354B1 (ko) 시스템 탐색 바 표시 제어 방법, 그래픽 사용자 인터페이스 및 전자 디바이스
US20230046708A1 (en) Application Interface Interaction Method, Electronic Device, and Computer-Readable Storage Medium
JP2022525284A (ja) デバイス制御ページ表示方法、関連装置、およびシステム
WO2020155014A1 (zh) 智能家居设备分享系统、方法及电子设备
JP7473100B2 (ja) ユーザインタフェースレイアウト方法および電子デバイス
WO2021036770A1 (zh) 一种分屏处理方法及终端设备
JP7268275B2 (ja) 着信があるときに電子デバイス上に映像を提示するための方法、および電子デバイス
WO2020063605A1 (zh) 一种生成截图的方法、控制方法及电子设备
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
US11972106B2 (en) Split screen method and apparatus, and electronic device
WO2022042326A1 (zh) 显示控制的方法及相关装置
JP7234379B2 (ja) スマートホームデバイスによってネットワークにアクセスするための方法および関連するデバイス
EP4246347A1 (en) Method for authorizing by using another device, electronic devices and system
WO2022161119A1 (zh) 一种显示方法及电子设备
JP2023500656A (ja) 表示要素の表示方法及び電子機器
JP2023528384A (ja) コンテンツ共有方法、装置、およびシステム
US20230236714A1 (en) Cross-Device Desktop Management Method, First Electronic Device, and Second Electronic Device
JP2024500546A (ja) 協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230725