本願は、2019年9月18日に中国国家知識産権局に出願された、「データ伝送方法及び関連装置」と題する中国特許出願第201910883159.5号に対する優先権を主張し、その全体が参照により本願に組み込まれる。
本願は電子技術の分野に関し、特にデータ伝送方法及び関連装置に関する。
無線通信技術の急速な発展により、人々は、異なる装置のディスプレイウィンドウ内でデータをドラッグアンドドロップすることにより、異なる装置間のデータ伝送をプロジェクションシナリオで実現し得る。プロジェクションプロセスは次の通りである。携帯電話等の電子機器が大画面で構成されたラップトップ等の電子機器と接続を確立した後に、携帯電話はディスプレイに表示されたユーザインターフェイスを記録し、記録したコンテンツをラップトップに送信する。ラップトップは、ディスプレイの表示領域に、携帯電話から受信した記録されたコンテンツを表示する。このように、ラップトップ上のアプリケーション(application、app)のユーザインターフェイスはラップトップのディスプレイ上の第1のウィンドウに表示され、携帯電話のディスプレイ上のユーザインターフェイスは第2のウィンドウに表示され得る。
プロジェクションシナリオでは、ユーザは、ドラッグアンドドロップ(drag-and-drop)操作を行ってデータ伝送を実施し得る。例えば、ユーザが画像に対応するアイコンを第2のウィンドウから第1のウィンドウにドラッグしてリリースするドラッグアンドドロップ操作をラップトップが検出した場合、携帯電話は画像をラップトップに送信し、ラップトップは画像を受信し、画像を予め設定されたストレージアドレスに記憶する。
ユーザが該画像をラップトップのワードドキュメントに画像を挿入したい場合、ユーザは、ラップトップ上でワードアプリケーションを開き、画像を挿入するためのオプションを選択し、予め設定されたストレージアドレスから画像を探して、次に画像を追加するために選択する必要がある。その後、画像がワードドキュメントに表示される。前述の既存のデータ伝送方法では、ユーザがドラッグしたオブジェクトを所望のアプリケーションに挿入したい場合、ユーザは複数の操作を行う必要があることが分かる。その結果、データ共有効率が比較的低い。
本願は、プロジェクションシナリオにおいてユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを他の装置のアプリケーションと直接共有することができるように、データ伝送方法及び関連装置を提供する。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第1の態様によれば、本願はデータ共有方法を提供する。この方法は、第1の装置が第2の装置によって送信される第2のユーザインターフェイスのデータを受信することを含む。第2のユーザインターフェイスは、該第2の装置によって表示されているユーザインターフェイスであり、該第2のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。
前記第1の装置は、ディスプレイの第1の表示領域に第1のユーザインターフェイスを表示し、該ディスプレイの第2の表示領域に前記第2のユーザインターフェイスを表示する。該第1のユーザインターフェイスは、前記第1の装置上で動作している第1のアプリケーションのユーザインターフェイスである。前記第1の装置は、ファイルオブジェクトに対する第1の選択操作を検出する。前記第1の選択操作に応答して、前記第1の装置は、前記第1の選択操作に対応する第1の情報を、前記第2の装置が該第1の情報に基づいて選択された前記第1のファイルオブジェクトを特定するように、前記第2の装置に送信する。前記第1の装置は、前記第1の表示領域における第1の決定操作を検出する。前記第1の決定操作に応答して、前記第1の装置は、前記第1の決定操作に対応する第2の情報を、前記第2の装置が該第2の情報に基づいて前記第1の装置に前記第1のファイルオブジェクトを送信するように、前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記第1のファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供する。
第1の態様において提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第1のファイルオブジェクトは、第2のユーザインターフェイスに含まれる1つ以上のファイルオブジェクトのうちの1つ以上のファイルオブジェクトである。第1の情報は、第1の選択操作が変換された後に得られる命令及び座標情報であり得る。具体的には、第1の選択操作は、第1の装置のディスプレイ上で行われる。座標情報は、第2の装置の表示内容に対するものであり且つ第1の装置によって受信された元の入力命令の座標情報が変換された後に得られる座標情報である。命令は、第1の装置によって受信された元の入力命令が変換された後に、第2の装置によって認識可能な入力命令である。第2の情報は、第1の決定操作に対する応答であり得る。
第1の態様を参照して、一部の実施形態では、第2のユーザインターフェイス上での操作を検出した場合、第1の装置は変換された命令及び操作の座標情報を第2の装置に送信する。第2の装置は、受信した変換命令及び座標情報に従って対応する動作を行い得る。
第1の態様を参照して、一部の実施形態では、第1のファイルオブジェクトは、テキスト、画像、ビデオ、オーディオ、テキストファイル、ドキュメント(例えば、ワード、PPT又はExcel)等であり得る。任意で、第1のファイルオブジェクトがテキストの場合、第1の装置は、第2の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第1のアプリケーションのために第1のファイルオブジェクトを提供する。第1のファイルオブジェクトが別の非テキストファイルの場合、第1の装置は、第2の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第1のアプリケーションのために第1のファイルオブジェクトのストレージパスを提供する。
第1の態様を参照して、一部の実施形態では、異なる第1のアプリケーションは第1のファイルオブジェクトを異なる方法で処理し得る。可能な実施では、前記第1のアプリケーションは画像編集アプリケーション又はテキスト編集アプリケーションであり、前記第1のユーザインターフェイスは画像又はテキスト編集インターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第1の装置が前記第1のユーザインターフェイスの編集位置に、挿入された前記第1のファイルオブジェクトを表示することをさらに含む。該編集位置は、前記第1の選択操作が検出される前に前記第1のユーザインターフェイス上で編集されている位置であるか又は前記第1の決定操作に対応する位置である。第1の選択操作の前に第1のユーザインターフェイス上で編集されている位置は、編集インターフェイス上でカーソルを用いることにより決定され得る。例えば、図4Aに示すカーソル502の位置を参照する。挿入された第1のファイルオブジェクトを表示する方法については、図4Dに示すユーザインターフェイス53を参照されたい。このように、第2の装置内の第1のファイルオブジェクトは、第1の装置上の画像編集アプリケーション又はテキスト編集アプリケーションに簡便に挿入され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションはインスタントメッセージングアプリケーションであり、前記第1のユーザインターフェイスは該インスタントメッセージングアプリケーションのチャットインターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第1の装置が、前記第1のアプリケーションを介して前記第1のファイルオブジェクトを送信し、前記第1のアプリケーションの送信メッセージ内に前記第1のファイルオブジェクトを表示することをさらに含む。この可能な実施については、図5Aに対応する実施形態を参照されたい。第1のユーザインターフェイスは、図5Aのウィンドウcに一例として示されるユーザインターフェイスであり得る。第1のファイルオブジェクトは、アイコン368として表示され得る。このように、第2の装置内の第1のファイルオブジェクトは、第1の装置上のインスタントメッセージングアプリケーションを介して簡便に送信され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションは文書管理アプリケーションである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供することの後に、前記方法は、前記第1の装置が、前記第1のファイルオブジェクトのサムネイル及び前記第1のファイルオブジェクトに関する名前情報を前記第1のユーザインターフェイス上に表示することをさらに含む。この可能な実施形態については、図5Cに対応する実施形態を参照されたい。第1のユーザインターフェイスは、図5Cのウィンドウcに一例として示すユーザインターフェイスであり得る。第1のファイルオブジェクトはサムネイル(すなわち、アイコン365)として表示され得る。このように、第2の装置内の第1のファイルオブジェクトが第1の装置の文書管理アプリケーションに簡便に記憶され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションは電子メールアプリケーションであり、前記第1のユーザインターフェイスは送信すべき電子メールの編集インターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのパスを提供することの後に、前記方法は、前記第1の装置が、前記第1のファイルオブジェクトを、前記送信すべき電子メールの添付ファイルとして前記第1のユーザインターフェイス上に表示することをさらに含む。このように、第2の装置内の第1のファイルオブジェクトが、送信すべき電子メールの添付ファイルとして簡便に追加され得る。これは、データ共有効率を改善する。
第1の態様を参照して、一部の実施形態では、本方法は、第1の装置が、ディスプレイの第3の表示領域にステータスバーを表示することであって、該ステータスバーには1つ以上のアプリケーションアイコンが表示される、ことをさらに含む。第1の装置は第4のファイルオブジェクトに対する第4の選択操作を検出する。第4の選択操作に応答して、第1の装置は第4の選択操作に対応する第5の情報を、第2の装置が該第5の情報に基づいて第4のファイルオブジェクトを特定するように第2の装置に送信する。第1の装置は、第3の表示領域内のアプリケーションアイコンの第4の決定操作を検出する。第4の決定操作に応答して、第1の装置は、第4の決定操作に対応する第6の情報を、第2の装置が該第6の情報に基づいて第4のファイルオブジェクトを第1の装置に送信するように第2の装置に送信する。第1の装置は、第2の装置によって送信される第4のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、決定されたアプリケーションアイコンによって示されるアプリケーションのために第1のファイルオブジェクトのストレージパスを提供するか又は第1のファイルオブジェクトを提供する。この可能な実施形態については図5Dに対応する実施形態を参照されたい。第1のファイルオブジェクトは固定表示されたファイル情報として表示され得る。このように、第2の装置内の第1のファイルオブジェクトは、処理のためにステータスバー内のアプリケーションに簡便に伝送され得る。これは、データ共有効率を改善する。
第1の態様を参照して、一部の実施形態では、第1の装置が第2の装置に第1の決定操作に対応する第2の情報を送信する前に、第1の装置は第1のアプリケーションが第1のファイルオブジェクトを受信することができると判定する。具体的には、第1の装置が第2の装置に第1の決定操作に対応する第2の情報を送信する前に、本方法は、第1の装置が第2の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報はファイルの形式及び/又はサイズを含む。第1の装置は、第1のアプリケーションが受信可能なファイルのプリセット条件を特定する。プリセット条件は第1のアプリケーションが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第1の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第1の装置は、第1のアプリケーションが第1のファイルオブジェクトを処理できる場合にのみ、第1の決定操作に対応する第2の情報を第2の装置に送信する。これにより、第1のアプリケーションが第1のファイルオブジェクトを処理できず、第1の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第1の態様を参照して、一部の実施形態では、第1の決定操作は、第1の表示領域内の第2のコントロールに作用し、第1の装置が第1の決定操作に対応する第2の情報を第2の装置に送信する前に、第1の装置は、第1の決定操作に対応する第2のコントロールが第1のファイルオブジェクトを受信可能であると判定する。具体的には、第1の装置が第1の決定操作に対応する第2の情報を第2の装置に送信する前に、本方法は、第1の装置が、第2の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報は、ファイルの形式及び/又はサイズを含む。第1の装置は、第1のコントロールが受信可能なファイルのプリセット条件を特定する。プリセット条件は、第2のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第1の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第1の装置は、第2のコントロールに対応するプログラムが第1のファイルオブジェクトを処理できる場合に、第1の決定操作に対応する第2の情報を第2の装置に送信する。これにより、第1のアプリケーションが第1のファイルオブジェクトを処理できず、第1の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第1の態様を参照して、一部の実施形態では、第1のアプリケーションが選択された第2のファイルオブジェクトを受信できないと判定された場合、第1の装置は禁止サインを表示し得る。具体的には、本方法は、第1の装置が第2のファイルオブジェクトに対する第2の選択操作を検出することをさらに含む。前記第2の選択操作に応答して、前記第1の装置は、前記第2の選択操作に対応する第3の情報を、前記第2の装置が該第3の情報に基づいて前記第2のファイルオブジェクトを特定するように前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記第2のファイルオブジェクトに関するファイル情報を受信する。該ファイル情報は前記ファイルの形式及び/又はサイズを含む。前記第1の装置は、前記第1の表示領域での第2の決定操作を検出する。前記第2の決定操作に応答して、前記第1の装置は、前記第1のアプリケーションによって受信可能なファイルのプリセット条件を特定する。該プリセット条件は、前記第1のアプリケーションによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。前記第1の装置は、前記プリセット条件及び前記第2のファイルオブジェクトに関するファイル情報に基づいて、前記第2のファイルオブジェクトが前記プリセット条件を満たしていないと判定する。前記第1の装置は、前記第2の決定操作に対応する領域に禁止サインを表示する。該禁止サインは、前記第1のアプリケーションが前記第2のファイルオブジェクトを受信できないことを示すために用いられる。また、第1の装置は、第1のアプリケーションが何故第2のファイルオブジェクトを受信できないかの詳細な理由を表示し得る。例えば、第2のファイルオブジェクトのサイズが大きすぎること又は第2のファイルオブジェクトの形式が誤っていること及び受信可能なファイル形式はXX(本明細書では特定の形式であり得る)であること等である。このように、ユーザは、禁止サインを介して、第1のアプリケーションは第2のファイルオブジェクトを処理できないことを知ることができ、ユーザは、禁止サインに促されることに基づいて、ファイルを処理するアプリケーションを変更するか又は処理する必要があるファイルを調整し得る。
第1の態様を参照して、一部の実施形態では、第1の装置は第3のファイルオブジェクトに対する第3の選択操作を検出する。前記第3の選択操作に応答して、前記第1の装置は、前記第3の選択操作に対応する第4の情報を、前記第2の装置が該第4の情報に基づいて前記第3のファイルオブジェクトを決定するように、前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記第3のファイルオブジェクトに関するファイル情報を受信する。該ファイル情報は、前記第1のファイルオブジェクトの形式、サイズ、アイコン、名前及び作成/変更日のうちの1つ以上を含む。前記第1の装置は、前記ファイル情報に基づいてファイルアイコンを生成及び表示する。該ファイルアイコンは、前記第1のファイルオブジェクトのドラッグ位置を示すために用いられる。前記第1の装置は、前記第1のユーザインターフェイス上の第1のコントロールに対するドラッグ操作を検出する。前記ドラッグ操作に応答して、前記第1の装置は、前記第1のコントロールによって受信可能なファイルのプリセット条件を特定する。該プリセット条件は、前記第1のコントロールによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。前記第1の装置は、前記プリセット条件及び前記第3のファイルオブジェクトに関するファイル情報に基づいて、前記第3のファイルオブジェクトが前記プリセット条件を満たしていないと判定する。前記第1の装置は、前記ファイルアイコン上に禁止サインを表示する。該禁止サインは、前記第1のコントロールが前記第3のファイルオブジェクトを受信できないことを示すために用いられる。例えば、ファイルアイコンについては、図4Cのアイコン505を参照された。このように、ユーザは、第1の決定操作の入力位置を簡便に決定できるように、第1のファイルオブジェクトのドラッグ位置を直感的に見ることができる。例えば、禁止サインについては、図4Eのアイコン503を参照されたい。このように、ユーザは、第1のコントロールが第3のファイルオブジェクトを受信できないことを簡便に学ぶことができるため、ユーザは、第3のファイルオブジェクトを処理するために適切なコントロールを簡便に選択できる。
第1の態様を参照して、一部の実施形態では、第1の選択操作はタッチアンドホールド操作であり、第1の決定操作はリフト(lift)操作である。つまり、第2の装置のアプリケーションデータは、第1のファイルオブジェクトを第2のユーザインターフェイスから第1のユーザインターフェイスにドラッグしてリリースするドラッグアンドドロップ操作、すなわち操作を入力することによって、第1の装置のアプリケーションと直接共有され得る。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。任意で、第1の選択操作は、代替的に、ドラッグ操作又はタップ操作又はダブルタップ操作又はフォースタッチ(force touch)操作等であり得る。第1の決定操作は、代替的に、タップ操作又はダブルタップ操作又はフォースタッチ操作等であり得る。
第1の態様を参照して、一部の実施形態では、本方法は、第1の装置が第5のファイルオブジェクトに対するタッチアンドホールド操作を検出することをさらに含む。タッチホールド操作に応答して、第1の装置は、タッチホールド操作に対応する第7の情報を、第2の装置が該第7の情報に基づいて第5のファイルオブジェクトを特定するように第2の装置に送信する。ドラッグ操作が第2のユーザインターフェイスから第1のユーザインターフェイスへ移動したことを第1の装置が検出すると、第1の装置は第8の情報を、第2の装置が第8の情報に基づいて第5のファイルオブジェクトを第1の装置に送信するように第2の装置に送信する。第1の装置は第2の装置によって送信された第5のファイルオブジェクトを受信し、第5のファイルオブジェクトを記憶する。第1の装置は第1の表示領域でのリフト操作を検出する。リフト操作に応答して、第1の装置は、第1のアプリケーションのために第5のファイルオブジェクトのストレージパスを提供するか又は第5のファイルオブジェクトを提供する。このように、ドラッグ操作が第2のユーザインターフェイスから第1のユーザインターフェイスに移動した場合、第1の装置は、第2の装置が第5のファイルオブジェクトを第1の装置に送信するよう示すため、第1の装置は第5のファイルオブジェクトをより早く受信できることにより、データ共有効率が改善される。
第2の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置がディスプレイの第2の表示領域に第2のユーザインターフェイスを表示するように、第2の装置が該第2のユーザインターフェイスのデータを該第1の装置に送信することを含む。該第2のユーザインターフェイスは前記第2の装置によって表示されるユーザインターフェイスであり、第2のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。第1のユーザインターフェイスは前記第1の装置のディスプレイの第1の表示領域に表示され、該第1のユーザインターフェイスは前記第1の装置上で動作する第1のアプリケーションのユーザインターフェイスである。前記第2の装置は、前記第1の装置によって送信される第1の情報を受信する。前記第2の装置は、前記第1の情報に基づいて選択された第1のファイルオブジェクトを特定する。該第1の情報は、ファイルオブジェクトに対する選択操作に対応する、第1の装置によって受信される情報である。前記第2の装置は第1の装置によって送信される第2の情報を受信し、第2の装置は第2の情報に基づいて第1の装置に第1のファイルオブジェクトを送信する。第1のファイルオブジェクトが第1のアプリケーションのために提供される。
第2の態様において提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第2の態様を参照して、一部の実施形態では、方法は、第2の装置が、第1の情報に基づいて、第1のファイルオブジェクトに関するファイル情報を第1の装置に送信することを含む。ファイル情報には、ファイルの形式、サイズ、アイコン、名前、及び作成/変更日のうちの1つ以上を含む。このようにして、第1の装置は、ファイル情報に基づいて、第1のファイルオブジェクトのファイルアイコンを簡便に表示し得る。
第3の態様によれば、本願の実施形態はデータ伝送方法を提供する。この方法は、第1の装置が第2の装置によって送信される第2のユーザインターフェイスのデータを受信することを含む。該第2のユーザインターフェイスは該第2の装置によって表示されているユーザインターフェイスである。前記第1の装置は、ディスプレイの第1の表示領域に第1のユーザインターフェイスを表示し、該ディスプレイの第2の表示領域に前記第2のユーザインターフェイスを表示する。該第1のユーザインターフェイスは、前記第1の装置上で動作している第1のアプリケーションのユーザインターフェイスであり、第1のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第1の装置は、ファイルオブジェクトに対する第1の選択操作を検出する。前記第1の選択操作に応答して、前記第1の装置は、選択された第1のファイルオブジェクトを特定する。前記第1の装置は、前記第2の表示領域での第1の決定操作を検出する。前記第1の決定操作に応答して、前記第1の装置は、前記第1の決定操作に対応する第1の情報を、前記第2の装置が、前記第1の情報に基づいて前記第2の情報を前記第1の装置に送信するように、前記第2の装置に送信する。第2の情報は、第1のファイルオブジェクトを第2の装置に送信するよう第1の装置に示すために用いられる。前記第1の装置は、前記第2の装置によって送信される受信した第2の情報に基づいて第1のファイルオブジェクトを第2の装置に送信する。前記第2のアプリケーションのために前記第1のファイルオブジェクトが提供される。
第3の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第4の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置がディスプレイの第2の表示領域に第2のユーザインターフェイスを表示するように、第2の装置が該第2のユーザインターフェイスのデータを該第1の装置に送信することを含む。、該第2のユーザインターフェイスは前記第2の装置によって表示されている第2のアプリケーションのユーザインターフェイスであり、第1のユーザインターフェイスは前記第1の装置のディスプレイの第1の表示領域に表示されている第1のアプリケーションのユーザインターフェイスであり、該第1のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第2の装置は、前記第1の装置によって送信される第1の情報を受信する。該第1の情報は、前記第1の装置によって検出される、前記第2の表示領域での第1の決定操作に対応する情報である。前記第2の装置は、前記第1の情報に基づいて第2の情報を前記第1の装置に送信する。該第2の情報は、第1のファイルオブジェクトを前記第2の装置に送信するよう前記第1の装置に示すために用いられ、前記第1のファイルオブジェクトは、前記第1の装置によって検出される第1の選択操作によって決定される。前記第2の装置は、前記第1の装置によって送信される前記第1のファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供する。
第4の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第1のファイルオブジェクトは、第1のユーザインターフェイスに含まれる1つ以上のファイルオブジェクトのうちの1つ以上のファイルオブジェクトである。第4の態様を参照して、一部の実施形態では、第1のファイルオブジェクトは、テキスト、画像、ビデオ、オーディオ、テキストファイル、ドキュメント(例えば、ワード、PPT又はExcel)等であり得る。任意で、第1のファイルオブジェクトがテキストの場合、第2の装置は、第1の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第2のアプリケーションのために第1のファイルオブジェクトを提供する。第1のファイルオブジェクトが別の非テキストファイルの場合、第2の装置は、第1の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第2のアプリケーションのために第1のファイルオブジェクトのストレージパスを提供する。
第4の態様を参照して、一部の実施形態では、異なる第2のアプリケーションは第1のファイルオブジェクトを異なる方法で処理し得る。可能な実施では、前記第2のアプリケーションは画像編集アプリケーション又はテキスト編集アプリケーションであり、前記第2のユーザインターフェイスは画像又はテキスト編集インターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第2の装置が前記第2のユーザインターフェイスの編集位置に、挿入された前記第1のファイルオブジェクトを表示することをさらに含む。該編集位置は、前記第1の選択操作が検出される前に前記第2のユーザインターフェイス上で編集されている位置であるか又は前記第1の決定操作に対応する位置である。第1の選択操作の前に第1のユーザインターフェイス上で編集されている位置は、編集インターフェイス上でカーソルを用いることにより決定され得る。このように、第1の装置内の第1のファイルオブジェクトは、第2の装置上の画像編集アプリケーション又はテキスト編集アプリケーションに簡便に挿入され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第2のアプリケーションはインスタントメッセージングアプリケーションであり、前記第2のユーザインターフェイスは該インスタントメッセージングアプリケーションのチャットインターフェイスである。前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第2の装置が、前記第2のアプリケーションを介して前記第1のファイルオブジェクトを送信し、前記第2のアプリケーションの送信メッセージ内に前記第1のファイルオブジェクトを表示することをさらに含む。この可能な実施については、図6Bに対応する実施形態を参照されたい。第1のユーザインターフェイスは、図6Bのウィンドウeに一例として示されるユーザインターフェイスであり得る。第2のユーザインターフェイスは図6Bのウィンドウfに一例として示すWechatアプリケーションのインターフェイスであり得る。第1のファイルオブジェクトは、アイコン605として表示され得る。このように、第1の装置内の第1のファイルオブジェクトは、第2の装置上のインスタントメッセージングアプリケーションを介して簡便に送信され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第2のアプリケーションは文書管理アプリケーションである。前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供することの後に、前記方法は、前記第2の装置が、前記第1のファイルオブジェクトのサムネイル及び前記第1のファイルオブジェクトに関する名前情報を前記第2のユーザインターフェイス上に表示することをさらに含む。このように、第1の装置内の第1のファイルオブジェクトが第2の装置のドキュメント管理アプリケーションに簡便に記憶され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションは電子メールアプリケーションであり、前記第2のユーザインターフェイスは送信すべき電子メールの編集インターフェイスである。前記第2のアプリケーションのために前記第1のファイルオブジェクトのパスを提供することの後に、前記方法は、前記第2の装置が、第2のファイルオブジェクトを、前記送信すべき電子メールの添付ファイルとして前記第2のユーザインターフェイス上に表示することをさらに含む。このように、第1の装置内の第1のファイルオブジェクトが、第2の装置内の送信すべき電子メールの添付ファイルとして簡便に追加され得る。これは、データ共有効率を改善する。
別の可能な実施では、第2のアプリケーションはデスクトップアプリケーションであり、第1の決定操作はアプリケーションアイコンに作用し、第2のユーザインターフェイスは第2の装置のホームインターフェイスであり、ホームインターフェイスは1つ以上のアプリケーションアイコンを含む。第2のアプリケーションのために第1のファイルオブジェクトのパスを提供した後に、前記方法は、第2の装置は、決定されたアプリケーションアイコンに対応するアプリケーションのために、第2のファイルオブジェクトのパスを提供することをさらに含む。このように、第1の装置内の第1のファイルは、処理のためにアプリケーションアイコンに対応するアプリケーションに簡便に伝送され得る。これは、データ共有効率を改善する。
第4の態様を参照して、一部の実施形態では、第2の装置が、第1の情報に基づいて第の装置に第2の情報を送信する前に、第2の装置は第2のアプリケーションが第1のファイルオブジェクトを受信することができると判定する。具体的には、第2の装置が第1の情報に基づいて第1の装置に第2の情報を送信する前に、本方法は、第2の装置が第1の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報はファイルの形式及び/又はサイズを含む。第2の装置は、第1の情報に基づいて、第2の決定操作が受信されたと判定する。第2の装置は、第2の決定操作に基づいて、第2のアプリケーションが受信可能なファイルのプリセット条件を特定する。プリセット条件は第2のアプリケーションが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第2の装置は、第2のアプリケーションが第1のファイルオブジェクトを処理できる場合にのみ、第2の情報を第1の装置に送信する。これにより、第2のアプリケーションが第1のファイルオブジェクトを処理できず、第2の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第4の態様を参照して、一部の実施形態では、第1の決定操作は、第2の表示領域内の第3のコントロールに作用する。第2の装置が、第1の情報に基づいて、第2の情報を第2の装置に送信する前に、第2の装置は、第3のコントロールが第1のファイルオブジェクトを受信可能であると判定する。具体的には、第2の装置が、第1の情報に基づいて、第2の情報を第1の装置に送信する前に、本方法は、第2の装置が、第1の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報は、ファイルの形式及び/又はサイズを含む。第2の装置は、第1のコントロールが受信可能なファイルのプリセット条件を特定する。プリセット条件は、第1のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第2の装置は、第3のコントロールに対応するプログラムが第1のファイルオブジェクトを処理できる場合にのみ、第2の情報を第1の装置に送信する。これにより、第3のコントロールに対応するプログラムが第1のファイルオブジェクトを処理できず、第2の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第4の態様を参照して、一部の実施形態では、第2のアプリケーションが選択された第2のファイルオブジェクトを受信できないと判定された場合、第2の装置は禁止サインを表示し得るか又は第4の情報を第1の装置に送信し得る。第4の情報は禁止サインを表示するよう第1の装置に示すために用いられる。具体的には、本方法は、第2の装置が第1の装置によって送信される第2のファイルオブジェクトに関するファイル情報を受信することをさらに含む。該ファイル情報は前記ファイルの形式及び/又はサイズを含む。第2のファイルオブジェクトは、第1の装置によって検出される第2の選択操作によって決定される。第2の装置は第1の装置によって送信される第3の情報を受信する。第3の情報は、第1の装置によって検出される第1の表示領域での第3の決定操作に対応する情報である。第2の装置は、第3の情報に基づいて、第4の決定操作が受信されたと判定する。前記第4の決定操作に応答して、前記第2の装置は、前記第2のアプリケーションによって受信可能なファイルのプリセット条件を特定する。該プリセット条件は、前記第2のアプリケーションによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。前記第2の装置は、前記プリセット条件及び前記第2のファイルオブジェクトに関するファイル情報に基づいて、前記第2のファイルオブジェクトが前記プリセット条件を満たしていないと判定する。前記第2の装置は第4の情報を第1の装置に送信する。第4の情報は、第3の決定操作に対応する領域に禁止サインを表示するよう第1の装置に示すために用いられる。該禁止サインは、前記第2のアプリケーションが前記第2のファイルオブジェクトを受信できないことを示すために用いられる。あるいは、第2の装置は、第2のユーザインターフェイスに対する第4の決定操作に対応する領域に禁止サインを表示する。該禁止サインは、前記第2のアプリケーションが前記第2のファイルオブジェクトを受信できないことを示すために用いられる。また、第1の装置又は第2の装置は、第2のアプリケーションが何故第2のファイルオブジェクトを受信できないかの詳細な理由を表示し得る。例えば、第2のファイルオブジェクトのサイズが大きすぎること又は第2のファイルオブジェクトの形式が誤っていること及び受信可能なファイル形式はXX(本明細書では特定の形式であり得る)であること等である。このように、ユーザは、禁止サインを介して、第2のアプリケーションは第2のファイルオブジェクトを処理できないことを知ることができ、ユーザは、禁止サインに促されることに基づいて、ファイルを処理するアプリケーションを変更するか又は処理する必要があるファイルを調整し得る。
第4の態様を参照して、一部の実施形態では、本方法は、第2の装置が、第1の装置によって送信される第3のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報は、第3のファイルオブジェクトの形式及び/又はサイズを含み、第3のファイルオブジェクトは、第1の装置によって検出される第2の選択操作によって決定される。第2の装置は、第1の装置によって送信される第4の情報を受信する。第4の情報は、第1の装置によって検出される、第2の表示領域内の第1のコントロールに対するドラッグ操作に対応する情報であり、第3のファイルオブジェクトのファイルアイコンがドラッグ操作の位置に表示される。第2の装置は、第4の情報に基づいて、第1のコントロールによって受信可能なファイルのプリセット条件を特定する。プリセット条件は、第1のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第3のファイルオブジェクトに関するファイル情報に基づいて、第3のファイルオブジェクトはプリセット条件を満たしていないと判定する。第2の装置は第5の情報を第1の装置に送信する。第5の情報は、ファイルアイコンに禁止サインを表示するよう第1の装置に示すために用いられる。禁止サインは、第1のコントロールが第3のファイルオブジェクトを受信できないことを示すために用いられる。このように、ユーザは、第1のコントロールが第3のファイルオブジェクトを受信できないことを簡便に学ぶことができるため、ユーザは、第3のファイルオブジェクトを処理するために適切な制御を簡便に選択できる。
第4の態様を参照すると、いくつかの実施形態では、本方法は、さらに、第2の装置が、第1の装置によって送信された第4のファイルオブジェクトに関するファイル情報を受信することを含む。該ファイル情報は、前記第4のファイルオブジェクトの形式、サイズ、アイコン、名前及び作成/変更日のうちの1つ以上を含む。第4のファイルオブジェクトは、第1の装置によって検出される第3の選択操作によって決定される。第2の装置は、第1の装置から送信される第6の情報を受信する。第6の情報は、第1の装置によって検出される、第2の表示領域内の第2のコントロールに対するドラッグ操作に対応する情報であり、第6の情報は、ドラッグ操作に対応する位置を示す。第2の装置は、ファイル情報及び第6の情報に基づいて、ドラッグ操作の位置に第4のファイルオブジェクトのアイコンを表示する。第2の装置は、第6の情報に基づいて、第2のコントロールによって受信可能なファイルのプリセット条件を特定する。プリセット条件は、第2のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第4のファイルオブジェクトに関するファイル情報に基づいて、第4のファイルオブジェクトはプリセット条件を満たしていないと判定する。第2の装置はファイルアイコン上に禁止サインを表示する。禁止サインは、第2のコントロールが第4のファイルオブジェクトを受信できないことを示すために用いられる。このように、ユーザは、第2のコントロールが第4のファイルオブジェクトを受信できないことを簡便に学ぶことができるため、ユーザは、第4のファイルオブジェクトを処理するために適切な制御を簡便に選択できる。
第4の態様に関して、一部の実施形態では、第1の選択操作はタッチアンドホールド操作であり、第1の決定操作はドラッグ操作のリフト(lift)操作である。つまり、第2の装置のアプリケーションデータは、第1のファイルオブジェクトを第2のユーザインターフェイスから第1のユーザインターフェイスにドラッグしてリリースするドラッグアンドドロップ操作、すなわち操作を入力することによって、第1の装置のアプリケーションと直接共有され得る。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。任意で、第1の選択操作は、代替的に、ドラッグ操作又はタップ操作又はダブルタップ操作又はフォースタッチ(force touch)操作等であり得る。第1の決定操作は、代替的に、タップ操作又はダブルタップ操作又はフォースタッチ操作等であり得る。
第5の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置が、第2の装置によって送信される第2のユーザインターフェイスのデータを受信することを含む。該第2のユーザインターフェイスは該第2の装置によって表示されているユーザインターフェイスであり、該第2のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第1の装置は、ディスプレイの第1の表示領域に第1のユーザインターフェイスを表示し、該ディスプレイの第2の表示領域に前記第2のユーザインターフェイスを表示する。該第1のユーザインターフェイスは、前記第1の装置上で動作している第1のアプリケーションのユーザインターフェイスである。前記第1の装置は、ファイルオブジェクトに対するタッチアンドホールド操作を検出する。前記タッチアンドホールド操作に応答して、前記第1の装置は、前記タッチアンドホールド操作に対応する命令及び座標情報を、前記第2の装置が、前記タッチアンドホールド操作に対応する命令及び座標情報に基づいて選択されたファイルオブジェクトを決定するように前記第2の装置に送信する。前記第1の装置は、前記第1の表示領域でのリフト操作を検出する。前記リフト操作に応答して、前記第1の装置は、前記リフト操作に対応する命令及び座標情報を、前記第2の装置が、前記リフト操作に対応する命令及び座標情報に基づいて前記ファイルオブジェクトを前記第1の装置に送信するように、前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記ファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第1のアプリケーションのために前記ファイルオブジェクトのストレージパスを提供するか又は前記ファイルオブジェクトを提供する。
第5の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第6の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置がディスプレイの第2の表示領域に第2のユーザインターフェイスを表示するように、第2の装置が該第2のユーザインターフェイスのデータを該第1の装置に送信することを含む。該第2のユーザインターフェイスは前記第2の装置によって表示され、前記第2の装置上で動作する第2のアプリケーションのユーザインターフェイスであり、第1のユーザインターフェイスは前記第1の装置のディスプレイの第1の表示領域に表示され、該第1のユーザインターフェイスは前記第1の装置上で動作する第1のアプリケーションのユーザインターフェイスであり、該第1のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第2の装置は、前記第1の装置によって送信される第1の情報を受信する。該第1の情報は、前記第1の装置によって検出される、前記第2の表示領域でのリフト操作に対応する情報である。前記第2の装置は、前記第1の情報に基づいて第2の情報を前記第1の装置に送信する。該第2の情報は、第1のファイルオブジェクトを前記第2の装置に送信するよう前記第1の装置に示すために用いられ、前記第1のファイルオブジェクトは、前記第1の装置によって検出されるタッチアンドホールド操作によって決定される。前記第2の装置は、前記第1の装置によって送信される前記第1のファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供する。
第6の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第7の態様によれば、本願の実施形態は電子装置を提供する。電子装置は、第1の装置として用いられ、電子装置は1つ以上のプロセッサ、メモリ及びディスプレイを含む。メモリは1つ以上のプロセッサに連結され、メモリはプログラムコードを記憶するように構成され、1つ以上のプロセッサは、電子装置が第1の態様又は第1の態様の可能な実施のいずれか1つに記載の方法を行うか又は第3の態様又は第3の態様の可能な実施のいずれか1つに記載の方法を行うか又は第5の態様又は第5の態様の可能な実施のいずれか1つに記載の方法を行うことができるようにプログラムコードを呼び出す。
第8の態様によれば、本願の実施形態は電子装置を提供する。電子装置は、第2の装置として用いられ、電子装置は1つ以上のプロセッサ、メモリ及びディスプレイを含む。メモリは1つ以上のプロセッサに連結され、メモリはプログラムコードを記憶するように構成され、1つ以上のプロセッサは、電子装置が第2の態様又は第2の態様の可能な実施のいずれか1つに記載の方法を行うか又は第4の態様又は第4の態様の可能な実施のいずれか1つに記載の方法を行うか又は第6の態様又は第6の態様の可能な実施のいずれか1つに記載の方法を行うことができるようにプログラムコードを呼び出す。
第9の態様によれば、本願は、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品が電子装置上で実行された場合、電子装置は、第1の態様~第6の態様のいずれか1つ又は第1の態様~第6の態様の任意の可能な実施に記載の方法を行うことができる。
第10の態様によれば、本願は、命令を含むコンピュータ読み取り可能記憶媒体を提供する。前記命令が電子装置上で実行された場合、電子装置は、第1の態様~第6の態様のいずれか1つ又は第1の態様~第6の態様の任意の可能な実施に記載の方法を行うことができる。
本願で提供される技術的解決策によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
図1Aは、本願の一実施形態に係るプロジェクションシステムの概略図である。
図1Bは、本願の一実施形態に係る、プロジェクションシナリオにおける大画面装置のディスプレイ上のユーザインターフェイスの概略図である。
図2Aは、本願の一実施形態に係る電子装置の構造の概略図である。
図2Bは、本願の一実施形態に係る別の電子装置の構造の概略図である。
図2Cは、本願の一実施形態に係るプロジェクション装置100のソフトウェア構造のブロック図である。
図2Dは、本願の一実施形態に係る大画面装置200のソフトウェア構造のブロック図である。
図3Aは、本願の一実施形態に係るプロジェクション装置100上の「プロジェクション」機能を有効にする操作の概略図である。
図3Bは、本願の一実施形態に係るプロジェクション装置100上の「プロジェクション」機能を有効にする別の操作の概略図である。
図3Cは、本願の一実施形態に係るプロジェクション装置100上に「プロジェクション」設定オプションを表示するためのユーザインターフェイスの概略図である。
図4Aは、本願の実施形態に係るスマートフォンの画面をラップトップに投影するユーザインターフェイスの概略図である。
図4Bは、本願の一実施形態に係るデータ伝送方法のフローチャートである。
図4Cは、本願の一実施形態に係るアイコンを表示するためのユーザインターフェイスの概略図である。
図4Dは、本願の一実施形態に係るファイル編集領域内の画像を表示するためのユーザインターフェイスの概略図である。
図4Eは、本願の一実施形態に係る禁止サインを表示するためのユーザインターフェイスの概略図である。
図5Aは、本願の一実施形態に係るスマートフォンの画面をラップトップに投影する別のユーザインターフェイスの概略図である。
図5Bは、本願の一実施形態に係るチャットレコードを表示するためのユーザインターフェイスの概略図である。
図5Cは、本願の一実施形態に係るスマートフォンの画面をラップトップに投影する別のユーザインターフェイスの概略図である。
図5Dは、本願の一実施形態に係る、WeChatアプリケーションの最近の閲覧履歴リストを表示するためのユーザインターフェイスの概略図である。
図6Aは、本願の一実施形態に係る、スマートフォンの画面をラップトップに投影する別のユーザインターフェイスの概略図である。
図6Bは、本願の一実施形態に係るチャットインターフェイスを表示するための別のユーザインターフェイスの概略図である。
図6Cは、本願の一実施形態に係るチャットレコードを表示するための別のユーザインターフェイスの概略図である。
図7は、本願の一実施形態に係る別のデータ伝送方法のフローチャートである。
図8は、本願の一実施形態に係るデータ伝送コントロールを表示するためのユーザインターフェイスの概略図である。
添付の図面を参照しながら、本願の実施形態における技術的解決策を以下で明確に且つ詳細に説明する。本願の実施形態の説明において、「/」は、別段定めがない限り「又は」を意味する。例えば、A/BはA又はBを表し得る。本明細書において、「及び/又は」という用語は、関連するオブジェクトを説明するための関連を説明するにすぎず、3つの関係が存在し得ることを表す。例えば、A及び/又はBは、Aのみが存在する場合、A及びBの両方が存在する場合及びBのみが存在する場合という3つの場合を表す。加えて、本願の実施形態の説明では、「複数の」とは2つ以上を意味する。
以下の「第1」及び「第2」という用語は説明を目的にしたものにすぎず、相対的重要性を示すか若しくは含意すること又は示された技術的特徴の数を暗示的に示すものとして理解すべきではない。したがって、「第1」又は「第2」によって限定される特徴は1つ以上の特徴を明示的又は暗示的に含み得る。
本願の明細書、特許請求の範囲及び添付の図面における「ユーザインターフェイス(user interface、UI)」という用語は、ユーザとアプリケーション又はオペレーティングシステムとの間でのやりとり及び情報交換のための媒体インターフェイスであり、内部の形態の情報とユーザが許容可能形態との間で変換を実施する。アプリケーションのユーザインターフェイスは、Java又は拡張可能なマークアップ言語(extensible markup language、XML)等の特定のコンピュータ言語で書かれたソースコードである。インターフェイスソースコードは、電子装置上でパース及びレンダリングされ、ユーザによって識別可能なコンテンツ、例えば、画像、テキスト又はボタン等のコントロールとして最終的に提示される。コントロール(control)はユーザインターフェイスの基本的要素である。一般的なコントロールは、ボタン(button)、ウィジェット(widget)、ツールバー(toolbar)、メニューバー(menu bar)、テキストボックス(text box)、スクロールバー(scrollbar)、ピクチャ及びテキスト等がある。インターフェイス内のコントロールの属性及び内容は、タグ又はノードを用いて定義される。例えば、インターフェイスに含まれるコントロールは、<Textview>、<ImgView>又は<VideoView>等のノードを用いることによりXMLで定義されます。1つのノードはインターフェイス内の1つのコントロール又は属性に対応する。パース及びレンダリングを行った後、ノードはユーザ可視コンテンツとして表示される。加えて、ハイブリッドアプリケーション(hybrid application)等の多くのアプリケーションのインターフェイスは、通常、ウェブページをさらに含む。ウェブページはページとも呼ばれ、アプリケーションのインターフェイスに埋め込まれた特別なコントロールとして理解され得る。ウェブページは、ハイパーテキストマークアップ言語(hypertext markup language、HTML)、カスケードスタイルシート(cascade style sheets、CSS)又はJavaScript(JS)等の特定のコンピュータ言語で書かれたソースコードである。ウェブページソースコードは、ブラウザ又はブラウザの機能と同様の機能を有するウェブページ表示コンポーネントによって、ユーザが認識可能なコンテンツとしてロードされ、表示され得る。ウェブページに含まれる特定のコンテンツは、ウェブページソースコード内のタグ又はノードによっても定義される。例えば、ウェブページの要素及び属性は、HTMLの<p>、<img>、<video>及び<canvas>によって定義される。
ユーザインターフェイスの共通の表現形態は、グラフィカルユーザインターフェイス(graphical user interface、GUI)であり、グラフィカルに表示され、コンピュータ操作に関連するユーザインターフェイスである。グラフィカルユーザインターフェイスは、電子装置のディスプレイ上に表示されるウィンドウ又はコントロール等のインターフェイス要素であり得る。
本願の以下の実施形態は、プロジェクションシナリオにおいてユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを他の装置のアプリケーションと直接共有することができるように、データ伝送方法及び関連装置を提供する。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
本願の以下の実施形態では、携帯電話等のポータブル電子装置(略してプロジェクション装置と呼ぶ)がディスプレイ上に表示されているコンテンツを、ラップトップ等のより大きなスクリーンで構成された電子装置(以下、略して大画面装置と呼ぶ)のディスプレイに表示する投影するプロジェクションシナリオにおいて、大画面装置のディスプレイは、第1のウィンドウ及び第2のウィンドウを同時に表示し得る。第1のウィンドウはプロジェクション装置のディスプレイ上に表示され、プロジェクション装置から送信されるコンテンツを表示するために用いられ、第2のウィンドウは、大画面装置内のアプリケーションのユーザインターフェイスを表示するために用いられる。一般に、大画面装置のディスプレイのサイズは、プロジェクション装置のディスプレイのサイズよりも大きい。プロジェクション方法では、ユーザは、プロジェクション装置のディスプレイ上に表示されるコンテンツを簡便に見ることができる。
一部の可能な実施では、上述のプロジェクションシナリオにおいて、ユーザが第1のウィンドウ内のファイルオブジェクトをドラッグして第2のウィンドウ内のコントロールにリリースするドラッグアンドドロップ(drag-and-drop)操作を大画面装置が検出した場合、プロジェクション装置は、ファイルオブジェクトのデータを大画面装置に送信する。大画面装置は、ファイルオブジェクトのデータを受信した後に、大画面装置はファイルオブジェクトのデータを予め設定された記憶領域に記憶し、ファイルオブジェクトのデータに対応するストレージパスを生成する。その後、大画面装置は、第2のウィンドウに対応するアプリケーションにストレージパスを送信する。アプリケーションは、ストレージパスに基づいてファイルオブジェクトのデータを読み込み、コントロールに対応するプログラムに基づいてファイルオブジェクトのデータを処理する(例えば、ファイルオブジェクトのデータ又はアイコンを表示するか、ファイルオブジェクトのデータを送信するか又は指定された記憶領域にファイルオブジェクトのデータを記憶する)。
第1のウィンドウ内のファイルオブジェクトは、ドラッグアンドドロップ可能なコントロールである。なお、コントロールをドラッグアンドドロップできるかどうかは、第1のウィンドウに対応するアプリケーション設計の間に決定され得る。例えば、ファイルオブジェクトは、文書コントロール、画像コントロール、ビデオコントロール、オーディオコントロール等であり得る。可能な実施では、プロジェクション装置がファイルオブジェクトに作用するタップ操作を検出すると、プロジェクション装置はファイルオブジェクトのデータをローカルに読み込み、ファイルを表示及び/又は再生する。
一部の他の可能な実施では、ユーザが第2のウィンドウ内のファイルオブジェクトをドラッグして第1のウィンドウにリリースするドラッグアンドドロップ操作を大画面装置が検出した場合、大画面装置は第2のウィンドウ内のファイルオブジェクトのデータをプロジェクション装置に送信する。プロジェクション装置がファイルオブジェクトのデータを受信した後で、プロジェクション装置はファイルオブジェクトのデータを予め設定された記憶スペースに記憶し、ファイルオブジェクトのデータに対応するストレージパスを生成する。次に、プロジェクション装置は、第1のウィンドウに対応するアプリケーションにストレージパスを送信する。アプリケーションは、ストレージパスに基づいてファイルオブジェクトのデータを読み込み、コントロールに対応するプログラムに基づいてファイルオブジェクトのデータを処理する(例えば、ファイルオブジェクトのデータ又はアイコンを表示するか、ファイルオブジェクトのデータを送信するか又は指定された記憶領域にファイルオブジェクトのデータを記憶する)。このように、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを他の装置のアプリケーションと直接共有することができる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
以下では、本願の実施形態で提供されるプロジェクションシステムを説明する。図1Aは、本願の実施形態に係るプロジェクションシステムの概略図である。プロジェクションシステム10は、プロジェクション装置100及び大画面装置200を含み得る。
プロジェクション装置100は、移動端末、ウェアラブル装置又はタブレットコンピュータ等のプロジェクション機能を有する電子装置であり得る。任意で、プロジェクション装置100は、Android、IOS、Windows Phone、Linux又はWindows等のオペレーティングシステムを実行し得る。大画面装置200は、タブレットコンピュータ、パーソナルコンピュータ、パームトップコンピュータ、プロジェクタ又はテレビ等の、より大きなディスプレイで構成され、プロジェクション機能を有する電子装置であり得る。任意で、大画面装置200は、Android、IOS、Windows Phone、Windows又はLinux等のオペレーティングシステムを実行し得る。プロジェクション装置100及び大画面装置200のオペレーティングシステムは同じであっても、異なっていてもよい。なお、本願の実施形態では、プロジェクション装置100がAndroidオペレーティングシステムを実行し、大画面装置がWindowsオペレーティングシステムを実行する例が説明のために用いられる。しかしながら、本願の実施形態は、2つのオペレーティングシステムに限定されるものではない。プロジェクション装置100及び大画面装置200はさらに別のオペレーティングシステムを実行してもよい。これは、本願の実施形態では限定されない。
本願の実施形態では、プロジェクション装置100及び大画面装置200は、Bluetooth(BT)、無線ローカルエリアネットワーク(wireless local area network、WLAN)(例えば、ワイヤレスフィデリテー(wireless fidelity、Wi-Fi)ネットワーク)又は近距離無線通信(near field communication、NFC)等の近距離フィールド検出技術を持ちることにより接続が確立され得る。プロジェクション装置100と大画面装置200との間の接続が確立された後で、BT、Wi-Fi、NFC等の技術を用いてデータ伝送が行われ得る。なお、プロジェクション装置100と大画面装置200との間の接続を確立する技術は、データ伝送に用いられる技術と同じであっても異なっていてもよい。例えば、プロジェクション装置100及び大画面装置200は、Bluetooth技術を用いることにより接続関係を確立し得る。そして、プロジェクション装置100及び大画面装置200は、Wi-Fi技術を用いてデータを伝送し得る。
図1Bは、本願の実施形態に係る、プロジェクションシナリオにおける大画面装置のディスプレイ上のユーザインターフェイス41の概略図である。この例では、プロジェクション装置はスマートフォンであり、大画面装置はラップトップである。スマートフォンがラップトップに投影されると、スマートフォンはディスプレイに表示されているコンテンツ(例えば、「ホーム画面(home screen))を記録し、記録したコンテンツをラップトップに送信する。ラップトップはスマートフォンによって送信された記録されたコンテンツを受信し、受信した記録されたコンテンツをディスプレイの表示領域に表示する。
図1Bに示すように、ユーザインターフェイス41は、ウィンドウa、ウィンドウb及びタスクバー310を含む。ウィンドウaはラップトップのデスクトップを表示するように構成され、ウィンドウbはスマートフォンのディスプレイに表示されているコンテンツ(すなわち、ホーム画面)を表示するように構成されている。任意で、ウィンドウbは一番前に表示され得る。つまり、ウィンドウbは常に他のウィンドウの上に表示される。
タスクバー310は、スタートコントロール、1つ以上のアプリケーションのアイコン(例えば、図示のWeChatアイコン、Wordアイコン及びExcelアイコン)、より多くのコントロール、ボリュームコントロール、ネットワーク接続インジケータ、時間インジケータ及び通知コントロールを含み得る。任意で、ユーザインターフェイス41はマウスポインタ311をさらに含み得る。マウスポインタ311は、ユーザインターフェイス上のマウスの現在位置を示し得る。マウスポインタの位置は、マウスがスライドするにつれて又はユーザの指がタッチパッド上でスライドするにつれて変化し得る。ユーザは、ウィンドウa内のWordアプリケーションアイコン313をタップし得る。タップ操作に応答して、ラップトップは、ウィンドウaがデスクトップを表示することから、Wordアプリケーションのユーザインターフェイスを表示することに切り替える。ユーザはウィンドウb内のギャラリーアプリケーションアイコン245をさらにタップし得る。タップ操作に応答して、スマートフォンのディスプレイはホーム画面を表示することからギャラリーアプリケーションのユーザインターフェイスを表示することに切り替わる。スマートフォンの表示コンテンツが変化すると、ラップトップは、ウィンドウbがスマートフォンのホーム画面を表示することから、スマートフォン内のWordアプリケーションのユーザインターフェイスを表示することに切り替える。
加えて、ラップトップは、マウスポインタ311を用いることにより、ウィンドウbの端でユーザによって行われるドラッグ操作を受信し得る。ドラッグ操作に応答して、ラップトップはウィンドウbのサイズを変更する。なお、ウィンドウb内のスマートフォンの表示コンテンツのサイズは、スマートフォンのディスプレイに表示されているコンテンツのサイズと同じであり得る。ウィンドウb内のスマートフォンの表示コンテンツは、スマートフォンのディスプレイに表示されているコンテンツの表示をさらに拡大したものであり得る。加えて、スマートフォンがラップトップに投影された後で、ユーザがスマートフォンに表示されるユーザインターフェイスを変更したい場合、ユーザはラップトップのウィンドウb上で操作を行い、スマートフォンのディスプレイ上で操作をさらに行い得る。
プロジェクション装置100及び大画面装置200のハードウェア構造を以下で説明する。本願の実施形態では、プロジェクション装置100は電子装置であり得る。以下では、本願の実施形態における電子装置10を説明する。図2Aは、本願の実施形態に係る電子装置10の構造の概略図である。
電子装置10は、プロセッサ110、外部メモリインターフェイス120、内部メモリ121、ユニバーサルシリアルバス(universal serial bus、USB)ポート130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、ボタン190、モータ191、インジケータ192、カメラ193、ディスプレイ194、加入者識別モジュール(subscriber identification module、SIM)カードインターフェイス195等を含み得る。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、骨伝導センサ180M等を含み得る。
図2Aに示す電子装置10は一例にすぎず、電子装置10は、図2Aに示すものよりも多くの又は少ないコンポーネントを含んでもよく、2つ以上のコンポーネントが組み合わされ得るか又は異なるコンポーネント構成を有し得ることを理解されたい。図に示す様々なコンポーネントは、1つ以上の信号処理及び/又は特定用途向け集積回路、ソフトウェア又はハードウェアとソフトウェアとの組み合わせを含むハードウェアで実施され得る。
プロセッサ110は1つ以上の処理ユニットを含み得る。例えば、プロセッサ110はアプリケーションプロセッサ(application processor、AP)、モデムプロセッサ、グラフィックス処理ユニット(graphics processing unit、GPU)、画像信号プロセッサ(image signal processor、ISP)、コントローラ、ビデオコーデック、デジタル信号プロセッサ(digital signal processor、DSP)、ベースバンドプロセッサ、ニューラルネットワーク処理ユニット(neural-network processing unit、NPU)及び/又は等を含み得る。異なる処理ユニットは独立したデバイスであってもいいし又は1つ以上のプロセッサに統合されてもよい。
コントローラは、電子装置10の神経センター及び指令センターであり得る。コントローラは、命令読み出し及び命令実行の制御を完了するために、命令動作コード及び時間シーケンス信号に基づいて動作制御信号を生成し得る。
メモリがプロセッサ110内にさらに配置されて、命令及びデータを記憶するように構成されている。一部の実施形態では、プロセッサ110内のメモリはキャッシュである。メモリは、プロセッサ110によってちょうど用いられるか又は周期的に用いられる命令又はデータを記憶し得る。プロセッサ110が命令又はデータを再び用いる必要がある場合、プロセッサ110はメモリから命令又はデータを直接呼び出し得る。これは、繰り返しアクセスすることを回避し、プロセッサ110の待ち時間を減らし、システム効率を改善する。
一部の実施形態では、プロセッサ110は1つ以上のインターフェイスを含み得る。インターフェイスは集積回路間通信(inter-integrated circuit、I2C)インターフェイス、集積回路間音響(inter-integrated circuit sound、I2S)インターフェイス、パルスコード変調(pulse code modulation、PCM)インターフェイス、ユニバーサル非同期受信機/送信機(universal asynchronous receiver/transmitter、UART)インターフェイス、モバイルインダストリープロセッサインターフェイス(mobile industry processor interface、MIPI)、汎用入出力(general-purpose input/output、GPIO)インターフェイス、加入者識別モジュール(subscriber identity module、SIM)インターフェイス、ユニバーサルシリアルバス(universal serial bus、USB)インターフェイス等を含み得る。
I2Cインターフェイスは双方向同期シリアルバスであり、シリアルデータライン(serial data line、SDA)及びシリアルクロックライン(derail clock line、SCL)を含む。プロセッサ110は、I2Cインターフェイスを介してタッチセンサ180Kに連結され得るため、プロセッサ110は、I2Cバスインターフェイスを介してタッチセンサ180Kと通信して、電子装置10のタッチ機能を実施し得る。
I2Sインターフェイスはオーディオ通信を行うように構成され得る。一部の実施形態では、プロセッサ110は複数のI2Sバスのグループを含み得る。プロセッサ110は、プロセッサ110とオーディオモジュール170との間の通信を実施するために、I2Sバスを介してオーディオモジュール170に連結され得る。
PCMインターフェイスは、オーディオ通信を行い、アナログ信号のサンプリング、量子化及びコード化を行うようにも構成され得る。一部の実施形態では、オーディオモジュール170は、PCMバスインターフェイスを介して無線通信モジュール160に連結され得る。
UARTインターフェイスはユニバーサルシリアルデータバスであり、非同期通信を行うように構成されている。バスは双方向通信バスであり得る。バスは、シリアル通信とパラレル通信の間で送信すべきデータを変換する。一部の実施形態では、UARTインターフェイスは、プロセッサ110を無線通信モジュール160に接続するように通常構成されている。例えば、プロセッサ110は、Bluetooth機能を実施するために、UARTインターフェイスを介して無線通信モジュール160内のBluetoothモジュールと通信する。
MIPIインターフェイスは、プロセッサ110をディスプレイ194又はカメラ193等の周辺コンポーネントに接続するように構成され得る。MIPIインターフェイスは、カメラシリアルインターフェイス(camera serial interface、CSI)、ディスプレイシリアルインターフェイス(display serial interface、DSI)等を含む。一部の実施形態では、プロセッサ110は、電子装置10の表示機能を実施するために、DSIインターフェイスを介してディスプレイ194と通信する。
GPIOインターフェイスは、ソフトウェアを用いることにより構成され得る。GPIOインターフェイスは制御信号又はデータ信号として構成され得る。一部の実施形態では、GPIOインターフェイスは、プロセッサ110をカメラ193、ディスプレイ194、無線通信モジュール160、オーディオモジュール170、センサモジュール180等に接続するように構成され得る。
USBインターフェイス130は、USB規格の仕様に準拠したインターフェイスであり、具体的にはミニUSBポート、マイクロUSBポート、USBタイプCインターフェイス等であり得る。USBポート130は、電子装置10を充電するために充電器に接続されるように構成されてもいいし、電子装置10と周辺機器との間でデータを送信するように構成されてもいい。
本発明のこの実施形態で示すモジュール間のインターフェイス接続関係は説明のための一例にすぎず、電子装置10の構造に対する限定をなすものではないことが理解されよう。本願の一部の他の実施形態では、電子装置10は、代替的に、前述の実施形態とは異なるインターフェイス接続方法又は複数のインターフェイス接続方法の組み合わせを用いり得る。
充電管理モジュール140は、充電器からの充電入力を受信するように構成されている。充電器は無線充電器でもいいし、有線充電器でもよい。充電管理モジュール140は、バッテリ142を充電する場合に、電力管理モジュール141を介して電子装置にさらに給電し得る。
電力管理モジュール141は、バッテリ142、充電管理モジュール140及びプロセッサ110に接続されるように構成されている。電力管理モジュール141は、バッテリ142の入力及び/又は充電管理モジュール140の入力を受信し、プロセッサ110、内部メモリ121、外部メモリ、ディスプレイ194、カメラ193、無線通信モジュール160等に給電する。
電子装置10の無線通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサ等を用いることにより実施され得る。
アンテナ1及びアンテナ2は電磁波信号を送受信するように構成されている。電子装置10内の各アンテナは、1つ以上の通信周波数帯域をカバーするように構成され得る。アンテナの利用を改善するために、異なるアンテナがさらに多重化され得る。例えば、アンテナ1は、無線ローカルエリアネットワーク内のダイバーシチアンテナとして多重化され得る。一部の他の実施形態では、アンテナは同調スイッチと組み合わせて用いられ得る。
モバイル通信モジュール150は、電子装置10に適用され、2G、3G、4G、5G等を含む無線通信を含む解決策を提供し得る。モバイル通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器(低ノイズ増幅器、LNA)等を含み得る。モバイル通信モジュール150は、アンテナ1を介して電磁波を受信し、受信した電磁波に対するフィルタリングや増幅等の処理を行い、処理した電磁波を復調のためにモデムプロセッサに転送し得る。モバイル通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し、信号をアンテナ1を介した放射のために電磁波に変換し得る。
モデムプロセッサは変調器及び復調器を含み得る。変調器は、送信すべき低周波ベースバンド信号を中間~高周波信号に変調するように構成されている。復調器は、受信した電磁波信号を低周波ベースバンド信号に復調するように構成されている。そして、復調器は、復調を介して得られた低周波ベースバンド信号を、処理のためにベースバンドプロセッサに移す。ベースバンドプロセッサは低周波ベースバンド信号を処理し、次いで、得られた信号をアプリケーションプロセッサに送信する。アプリケーションプロセッサは、オーディオ装置(限定されないが、スピーカ170A、レシーバ170B等)を用いることにより音声信号を出力するか又はディスプレイ194を用いることにより画像若しくは映像を表示する。
無線通信モジュール160は、無線ローカルエリアネットワーク(wireless local area network、WLAN)(例えば、ワイヤレスフィデリティー(wireless fidelity、wi-fi)ネットワーク)、Bluetooth(Bluetooth、BT)、衛星測位システム(global navigation satellite system、GNSS)、周波数変調(frequency modulation、FM)、近距離無線通信(near field communication、NFC)、赤外(infrared、IR)技術等を含む無線通信ソリューションを提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールを統合する1つ以上のコンポーネントであり得る。無線通信モジュール160は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を行い、処理した信号をプロセッサ110に送信する。無線通信モジュール160は、送信すべき信号をプロセッサ110から受信し、その信号に対して周波数変調及び増幅を行い、信号をアンテナ2を用いた放射のために電磁波に変換し得る。本願の実施形態では、電子装置10は無線通信モジュール160を介して大画面装置への接続を確立し、アプリケーション内のデータを送信する。
一部の実施形態では、電子装置1のアンテナ1がモバイル通信モジュール150に連結され、アンテナ2が無線通信モジュール160に連結されているため、電子装置10は、無線通信技術を用いることによりネットワーク及び他の装置と通信し得る。無線通信技術は、グローバルシステムフォーモバイルコミュニケーション(global system for mobile communication、GSM)、汎用パケット無線サービス(general packet radio service、GPRS)、符号分割多元接続(code division multiple access、CDMA)、広帯域符号分割多元接続(wideband code division multiple access、WCDMA)、時分割符号分割多元接続(time-division code division multiple access、TD-SCDMA)、ロングタームエボリューション(long term evolution、LTE)、BT、GNSS、WLAN、NFC、FM、IR技術等を含み得る。
電子装置10は、GPU、ディスプレイ194、アプリケーションプロセッサ等を介してディスプレイ機能を実施する。GPUは画像処理のためのマイクロプロセッサであり、ディスプレイ194及びアプリケーションプロセッサに接続されている。GPUは数学的及び幾何学的計算を行い、画像をレンダリングするように構成されている。プロセッサ110は、表示情報を生成又は変更するためのプログラム命令を実行する1つ以上のGPUを含み得る。
ディスプレイ194は、画像、映像等を表示するように構成されている。ディスプレイ194はディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブマトリックス有機発光ダイオード又はアクティブマトリックス有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flexible light-emitting diode、FLED)、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード(quantum light emitting diodes、QLED)等を用いり得る。一部の実施形態では、電子装置10は1つ又はN個のディスプレイ194を含んでもよく、Nは1より大きい正の整数である。
電子装置10は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、アプリケーションプロセッサ等を介して撮影機能を実施し得る。
ISPは、カメラ193によってフィードバックされたデータを処理するように構成されている。例えば、撮影の間にシャッターが押されると、レンズを介してカメラの感光体に光が送られる。光信号が電気信号に変換される。カメラの感光体がISPに電気信号を処理のために送信し、電気信号を可視画像に変換する。
カメラ193は静止画又は映像を取り込むように構成されている。一部の実施形態では、電子装置10は1つ又はN個のカメラ193を含み得る。Nは1より大きい正の整数である。
デジタル信号プロセッサはデジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理し得る。例えば、電子装置10が周波数を選択した場合、デジタル信号プロセッサは、周波数エネルギー等に対してフーリエ変換を行うように構成されている。
ビデオコーデックはデジタルビデオの圧縮又は解凍を行うように構成されている。電子装置10は1つ以上のビデオコーデックをサポートし得る。このように、電子装置10は複数の符号化形式、例えばMPEG(moving picture expert group、MPEG)-1、MPEG-2、MPEG-3及びMPEG-4で映像を再生又は記録し得る。
NPUはニューラルネットワーク(ニューラルネットワーク、NN)計算プロセッサである。NPUは電子装置10のインテリジェント認知等のアプリケーション、例えば、画像認識、顔認識、音声認識及びテキスト理解等を実施することができる。
外部メモリインターフェイス120は、電子装置10の記憶能力を拡張するために外部記憶カード、例えばマイクロSDカードに接続されるように構成され得る。外部記憶カードは外部メモリインターフェイス120を介してプロセッサ110と通信し、データ記憶機能を実施する。例えば、音楽や映像等のファイルが外部記憶カードに記憶される。
内部メモリ121は、コンピュータ実行可能プログラムコードを記憶するように構成され得る。実行可能プログラムコードは命令を含む。プロセッサ110は内部メモリ121に記憶された命令を実行して電子装置10の様々な機能アプリケーションを行い、データを処理する。内部メモリ121はプログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域はオペレーティングシステム、少なくとも1つの機能(例えば、音声再生機能及び画像再生機能)によって必要とされるアプリケーション等を記憶し得る。データ記憶領域は、電子装置10が用いられる間に作成されるデータ(例えば、音声データ及び電話帳)等を記憶し得る。加えて、内部メモリ121は高速ランダムアクセスメモリを含み得るか又は不揮発性メモリ、例えば少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ又はユニバーサルフラッシュ記憶装置(universal flash storage、UFS)を含み得る。
電子装置10は、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサ等を用いることによってオーディオ機能を実施し得る。
オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成されている。オーディオモジュール170は、オーディオ信号を符号化及び復号化するようにさらに構成され得る。
「ラウドスピーカ」とも呼ばれるスピーカ170Aは、オーディオ電気信号を音声信号に変換するように構成されている。電子装置10は、スピーカ170Aを介して音楽を聞いたり、ハンズフリーモードで電話に出るために用いられ得る。
「イヤピース」とも呼ばれるレシーバ170Bはオーディオ電気信号を音声信号に変換するように構成されている。電子装置10を用いて電話に出るか又はオーディオ情報を聴く場合、レシーバ170Bを音声を聴くために人間の耳に近づけられ得る。
「マイク」又は「マイク」とも呼ばれるマイクロフォン170Cは音声信号を電気信号に変換するように構成されている。電話をかける場合又は音声メッセージを送信する場合に、ユーザはマイクロフォン170Cの近くで口を介して音声を発して、マイマイクロフォン170Cに音声信号を入力し得る。少なくとも1つのマイクロフォン170Cが電子装置100内に配置され得る。
ヘッドセットジャック170Dは有線ヘッドセットに接続されるように構成されている。ヘッドセットジャック170DはUSBポート130であり得るか、3.5mmのオープンモバイルターミナルプラットフォーム(open mobile terminal platform、OMTP)規格インターフェイス又は米国セルラー電気通信工業会(cellular telecommunications industry association of the USA、CTIA)規格インターフェイスであり得る。
圧力センサ180Aは圧力信号を感知するように構成され、圧力信号を電気信号に変換できる。一部の実施形態では、圧力センサ180Aはディスプレイ194上に配置され得る。ディスプレイ194上でタッチ操作が行われた場合、電子装置10は圧力センサ180Aを用いることによりタッチ操作の強度を検出する。電子装置10は、圧力センサ180Aの検出信号に基づいてタッチ位置も計算し得る。一部の実施形態では、同じタッチ位置で行われるもののタッチ操作強度が異なるタッチ操作は、異なる操作命令に対応し得る。例えば、タッチ操作強度が第1の圧力閾値未満のタッチ操作がギャラリーアプリケーション内のサムネイルに対して作用する場合、サムネイルに対応する写真を見るための命令が実行される。タッチ操作強度が第1の圧力閾値以上のタッチ操作がサムネイルに作用する場合、サムネイルに対応する写真を選択するための命令が実行される。
ジャイロセンサ180Bは、電子装置10の移動姿勢を特定するように構成され得る。一部の実施形態では、ジャイロセンサ180Bを用いることにより、3つの軸(即ち、x、y及びz軸)を中心とする電子装置10の角速度が特定され得る。ジャイロセンサ180Bは撮影の間の手ぶれを補正するように構成され得る。ジャイロセンサ180Bは、ナビゲーションシナリオ及び動作検知ゲームシナリオでさらに用いられ得る。
気圧センサ180Cは気圧を測定するように構成されている。一部の実施形態では、電子装置10は、ポジショニング及びナビゲーションを支援するために、気圧センサ180Cによって測定される気圧値に基づいて高度を計算する。
磁気センサ180Dはホールセンサを含む。電子装置10は、磁気センサ180Dを用いることにより、フリップカバーの開閉を検出し得る。
加速度センサ180Eは、電子装置10の様々な方向(通常は3軸上)の加速度を検出し、電子装置100が静止している場合は重力の大きさ及び方向を検出し得る。加速度センサ180Eは、電子装置の姿勢を特定するようにさらに構成されてもよく、景観モードとポートレートモードとの切り替え又は歩数計等の用途に適用され得る。
距離センサ180Fは距離を測定するように構成されている。電子装置100は赤外線又はレーザで距離を測定し得る。
光学近接センサ180Gは、例えば発光ダイオード(LED)と、フォトダイオード等の光学検出器とを含み得る。発光ダイオードは赤外線発光ダイオードであり得る。電子装置10は、発光ダイオードを用いることにより赤外線を放つ。電子装置10は、フォトダイオードを用いることにより近くの物体から反射された赤外線光を検出する。電子装置10は、光学近接センサ180Gを用いることにより、ユーザが電話をかけるために電子装置10を耳の近くで持っていることを検出して、省電力のためのスクリーンを自動的にオフにし得る。
周囲光センサ180Lは周囲光の明るさを感知するように構成されている。電子装置100は、感知された周囲光の明るさに基づいてディスプレイ194の明るさを適応的に調整し得る。
指紋センサ180Hは指紋を収集するように構成されている。電子装置10は、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの撮影、指紋ベースの電話応答等を実施するために収集された指紋の特徴を用いり得る。
温度センサ180Jは温度を検出するように構成されている。一部の実施形態では、電子装置10は、温度センサ180Jによって検出された温度に基づいて温度処理ポリシーを実行する。
タッチセンサ180Kは「タッチパネル」とも呼ばれる。タッチセンサ180Kはディスプレイ194上に配置されてもよく、タッチセンサ180K及びディスプレイ194は「タッチスクリーン」とも呼ばれるタッチ画面を構成する。タッチセンサ180Kは、タッチセンサ180K上で又は近くで行われるタッチ操作を検出するように構成されている。タッチセンサは、タッチイベントの種類を特定するために、検出されたタッチ操作をアプリケーションプロセッサに転送し得る。例えば、タッチイベントの種類はタップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。タッチ操作に関するビジュアル出力がディスプレイ194を介して提供され得る。一部の他の実施形態では、タッチセンサ180Kは、ディスプレイ194とは異なる電子装置10の表面上の位置に代替的に配置され得る。
骨伝導センサ180Mは振動信号を取得し得る。一部の実施形態では、骨伝導センサ180Mは、人間の声帯部の振動骨の振動信号を取得し得る。骨伝導センサ180Mは人間の心拍と接触し、血圧拍動信号を受信し得る。
ボタン190は電源ボタン、音量ボタン等を含む。ボタン190は機械式のボタンであり得るか又はタッチセンサ式のボタンであり得る。電子装置10はキー入力を受信し、電子装置10のユーザ設定及び機能制御に関連するキー信号入力を生成し得る。
モータ191は振動プロンプトを生成し得る。モータ191は、着信振動プロンプト又はタッチ振動フィードバックを提供するように構成され得る。例えば、異なる用途(例えば、写真撮影及びオーディオ再生)で行われるタッチ操作は異なる振動フィードバック効果に対応し得る。
インジケータ192はインジケータ光であってもよく、充電状態及び電力変化を示すように構成され得るか又はメッセージ、不在着信、通知等を示すように構成され得る。
SIMカードインターフェイス195はSIMカードに接続されるように構成されている。SIMカードは電子装置10との接触又は電子装置10からの分離を実施するために、SIMカードインターフェイス195に挿入され得るか又はSIMカードインターフェイス195から取り外され得る。電子装置10は1つ又はN個のSIMカードインターフェイスをサポートし、Nは1より大きい正の整数である。SIMカードインターフェイス195はナノSIMカード、マイクロSIMカード、SIMカード等をサポートし得る。一部の実施形態では、電子装置10はeSIM、すなわち埋め込みSIMカードを用いる。eSIMカードは電子装置10内に埋め込まれてもよく、電子装置10から分離することはできない。
本願の実施形態では、大画面装置200は電子装置であり得る。以下では、本願の実施形態における電子装置20を説明する。図2Bは、本願の実施形態に係る電子装置20の構造の概略図である。例えば、電子装置20は、パーソナルコンピュータ、パームトップコンピュータ、タブレットコンピュータ又はテレビ等の装置であり得る。図2Bに示すように、大画面装置200は、プロセッサ102、メモリ103、無線通信プロセッサモジュール104、電源スイッチ105、入力モジュール106及び出力モジュール107を含み得る。これらのコンポーネントはバスを介して接続され得る。
プロセッサ102は、コンピュータ読み取り可能命令を読み出し、実行するように構成され得る。特定の実施では、プロセッサ102は、主に、コントローラ、算術ユニット及びレジスタを含み得る。コントローラは、命令を解読することに主に関与し、命令に対応する動作のために制御信号を送信する。算術ユニットは、固定小数点又は浮動小数点演算、シフト演算、論理演算等を行うか又はアドレス演算及びアドレス変換を行うことに主に関与する。レジスタは、命令実行の間に一時的に記憶されるレジスタ動作の数、中間動作結果等を保存することに主に関与する。特定の実施では、プロセッサ102のハードウェアアーキテクチャは、特定用途集積回路(Application-Specific Integrated Circuit、ASIC)アーキテクチャ、MIPSアーキテクチャ、ARMアーキテクチャ、NPアーキテクチャ等であり得る。
一部の実施形態では、プロセッサ102は、無線通信プロセッサモジュール104によって受信された信号、例えば、プロジェクション装置100によって送信されたプロジェクション要求又はドラッグされたデータオブジェクトを送信するよう大画面装置200に示す、プロジェクション装置100によって送信される表示情報をパースするように構成され得る。プロセッサ102は、パース結果に基づいて対応する処理動作を行うように構成され、例えばプロジェクション要求に基づいて、「許可」コントロール及び「拒否」コントロールを含むプロンプトウィンドウを表示し得るか又は表示情報に基づいてデータオブジェクトをプロジェクション装置100に送信し得る。
一部の実施形態では、プロセッサ102は、無線通信プロセッサモジュール104によって送信される信号、例えば、プロジェクション装置100に送信される、プロジェクションが許可されたことを示すフィードバック信号又はプロジェクション装置100に送信され、ウィンドウコントロールがデータオブジェクトを受信できることを示す表示情報を生成するようにさらに構成され得る。
メモリ103はプロセッサ102に連結され、様々なソフトウェアプログラム及び/又は複数の命令セットを記憶するように構成されている。特定の実施では、メモリ103は高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、1つ以上の磁気ディスク記憶装置、フラッシュメモリ装置又は別の不揮発性固体記憶装置をさらに含み得る。メモリ103は、オペレーティングシステム、例えばWindows又はAndroid等の組み込みオペレーティングシステムを記憶し得る。メモリ103は通信プログラムをさらに記憶してもよく、通信プログラムは、プロジェクション装置100、1つ以上のサーバ又は追加の装置と通信するために用いられ得る。
無線通信プロセッサモジュール104は、Bluetooth(BT)通信プロセッサモジュール104A及びWLAN通信プロセッサモジュール104Bのうちの1つ以上を含み得る。
一部の実施形態では、Bluetooth(BT)通信プロセッサモジュール及びWLAN通信プロセッサモジュールのうちの1つ以上は、プロジェクション要求又はデータオブジェクトの送信要求等の、他の装置(プロジェクション装置100)によって送信される信号を監視し、応答信号、例えば、要求応答信号を送信して、他の装置(例えば、プロジェクション装置100)が大画面装置200を検出し、他の装置との無線通信接続を確立し、Bluetooth又はWLAN等の1つ以上の無線通信技術を用いることによって、他の装置と通信できるようにし得る。
一部の他の実施形態では、Bluetooth(BT)通信プロセッサモジュール及びWLAN通信プロセッサモジュールのうちの1つ以上は、信号、例えばブロードキャストBluetooth信号又はビーコン信号を代替的に送信して、別の装置(例えば、プロジェクション装置100)が大画面装置200を検出し、別の装置と無線通信接続を確立し、Bluetooth又はWLAN等の1つ以上の無線通信技術を用いることにより別の装置と通信できるようにし得る。
無線通信プロセッサモジュール104は、セルラ移動通信プロセッサモジュール(図示せず)をさらに含み得る。セルラ移動通信プロセッサモジュールは、セルラ移動通信技術を用いることにより他の装置(例えば、サーバ)と通信し得る。
電源スイッチ105は、大画面装置200に電力を供給するための電源を制御するように構成され得る。
入力モジュール106は、ユーザによって入力された命令を受信するように構成され得る。例えば、入力モジュール106は、マウス、キーボード、タッチパッド、タッチスクリーン、マイクロフォン等のうちの1つ以上を含み得る。
出力モジュール107は情報を出力するように構成され得る。例えば、大画面装置200は1つ以上のディスプレイを含み、ディスプレイは、画像、ビデオ等を表示するように構成され得る。ディスプレイはディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブマトリックス有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flexible light-emitting diode、FLED)、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード(quantum dot light emitting diode、QLED)等であり得る。加えて、出力モジュール107は、スピーカ、サウンドボックス等のうちの1つ以上をさらに含み得る。
図2Bに示す構造は、大画面装置200に対して何らかの特定の限定をなすものではないことが理解されよう。本願の一部の他の実施形態では、大画面装置200は、図示のものよりも多くの又は少ないコンポーネントを含んでもいいし、一部のコンポーネントを組み合わされ得るか又は一部のコンポーネントは分割され得るか又は異なるコンポーネント構成が用いられ得る。図に示すコンポーネントは、ハードウェア、ソフトウェア又はソフトウェアとハードウェアとの組み合わせによって実施され得る。
本願の実施形態では、プロジェクション装置100及び大画面装置200のソフトウェアシステムは、層状アーキテクチャ、イベントドリブンアーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ又はクラウドアーキテクチャを用いり得る。本願の実施形態では、プロジェクション装置100のソフトウェア構造を説明するために層状アーキテクチャのAndroidシステムを一例として用いている。大画面装置200のソフトウェア構造を説明するために、Windowsシステムを一例として用いている。
図2Cは、本出願の実施形態に係るプロジェクション装置100のソフトウェア構造のブロック図である。
階層化アーキテクチャでは、ソフトウェアはいくつかの階層に分かれており、各階層は明確な役割及びタスクを有する。これらの層はソフトウェアインターフェイスを介して互いに通信する。一部の実施形態では、Androidシステムは4つの層、すなわち、上から下の順番に、アプリケーション層、アプリケーションフレームワーク層、Androidランタイム(Android runtime)及びシステムライブラリ及びカーネル層に分かれている。
アプリケーション層は1つ以上のアプリケーションおよびプロジェクションモジュールを含み得る。
図2Cは、ビデオプレーヤ、WeChat、ギャラリー及びオーディオプレーヤ等のアプリケーションを一例として示す。加えて、アプリケーション層は、カメラ、カレンダー、電話、マップ、ナビゲーション及びメッセージ等の別のアプリケーションをさらに含み得る。
プロジェクションモジュールは、プロジェクション装置100によって提供されるサービス又は機能であり得る。プロジェクションモジュールは、プロジェクションを実施するために、プロジェクションシナリオにおいて大画面装置200とデータ伝送を行う機能を有するプロジェクション装置100を提供し得る。プロジェクションモジュールは、ビデオストリーム伝送モジュール、命令伝送モジュール及びマルチスクリーンプロキシサービスモジュールを含み得る。
ビデオストリーム伝送モジュールは、プロジェクション装置100のディスプレイ上の表示コンテンツを取得し、表示のために表示コンテンツを大画面装置200に送信するように構成され得る。
命令伝送モジュールは、座標同期モジュール及び逆制御モジュールを含み得る。逆制御モジュールは、大画面装置200によって送信される入力命令を受信し得る。入力命令は、「MotionEvent.ACTION_DOWN(プレス)」命令、「MotionEvent.ACTION_UP(リフト)」命令及び「MotionEvent.ACTION_MOVE(移動)」命令等を含み得る。座標同期モジュールは、大画面装置200によって送信される入力命令に対応する座標情報を受信し得る。座標情報は、大画面装置200のディスプレイ上に表示されるプロジェクション装置100の表示コンテンツに対する入力命令に関する座標情報である。
マルチスクリーンプロキシサービスモジュールは、データ記憶モジュール及びデータパース配信モジュールを含み得る。データパース配信モジュールは、大画面装置200から受信したデータ(デジタルビットストリーム)を、プロジェクション装置100のアプリケーションによって読み取り可能なデータ(例えば、写真、ビデオ及びオーディオ)にパースするように構成され得る。データ記憶モジュールは、大画面装置200から受信したデータを記憶し、データに対応するストレージパスを生成するように構成され得る。データパース配信モジュールは、送信する必要があるプロジェクション装置100内のデータを大画面装置200に送信するようにさらに構成され得る。マルチスクリーンプロキシサービスモジュールによって送受信されるデータは、ユーザによって選択されたアプリケーションに送信する必要があるデータ、例えば、ギャラリーにおける写真、「このPC」におけるワードドキュメント又はメールボックスにおける添付ファイルである。
アプリケーションフレームワーク層は、アプリケーションプログラミングインターフェイス(application programming interface、API)と、アプリケーション層におけるアプリケーションのためのプログラミングフレームワークとを提供する。アプリケーションフレームワーク層は、いくつかの予め定義された機能を含む。図2Cに示すように、アプリケーションフレームワーク層はマルチスクリーンフレームワーク、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、入力マネージャ、通知マネージャ等を含み得る。
入力マネージャは、命令伝送モジュールによって送信される入力命令及び入力命令に関する座標情報を受信し、その情報に基づいて入力イベントを特定して、対応する動作を行い得る。例えば、入力イベントはタップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。例えば、入力マネージャが命令伝送モジュールによって送信される「MotionEvent.ACTION_DOWN」「MotionEvent.ACTION_UP(リフト)」命令を受信した場合、入力マネージャはタップイベントが受信されたと判定し得る。
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成され得る。ウィンドウマネージャはディスプレイのサイズを取得し、ステータスバーがあるかどうか判定し、スクリーンロックの実行、スクリーンショットの撮影等を行う得る。本願の実施形態では、ウィンドウマネージャは、入力マネージャによって送信される座標情報に基づいて、プロジェクション装置の現在の表示コンテンツにおける座標情報に対応するアプリケーションインターフェイスを特定し得る。
ビューシステムは、テキストを表示するためのコントロール又は写真を表示するためのコントロール等の視覚ウィンドウコントロールを含み得る。ビューシステムはアプリケーションを構築するように構成され得る。ディスプレイインターフェイスは1つ以上のコントロールを含み得る。例えば、メッセージの通知アイコンを含む表示インターフェイスは、テキスト表示ビュー及びピクチャ表示ビューを含み得る。本願の実施形態では、ビューシステムは、ウィンドウマネージャによって送信されるアプリケーションインターフェイスに関する情報及び座標情報に基づいて、座標情報に対応するウィンドウコントロールを特定し得る。プロジェクション装置100の各表示インターフェイス内の各ウィンドウコントロールに関する座標情報は、ビューシステムに予め記憶されている。
マルチスクリーンフレームワークは、アプリケーションによって送信される、伝送する必要があるファイルオブジェクトのファイル情報(例えば、名前、作成/変更日、形式、サイズ又はサムネイル)及びストレージパスを受信し得る。一部の他の実施では、マルチスクリーンフレームワークは、アプリケーションによって送信され、コントロールによって受信可能なファイルオブジェクトのプリセット条件をさらに受信し得る。マルチスクリーンフレームワークは、プリセット条件及び大画面装置によって送信されるファイルオブジェクトに関する情報に基づいて、コントロールがファイルオブジェクトを受信できるかどうかさらに特定し得る。
コンテンツプロバイダは、データを記憶及び取得し、アプリケーションがデータにアクセスできるようにするように構成され得る。データは、ビデオ、画像、オーディオ、発信及び着信した通話、閲覧履歴及びブックマーク、電話帳等を含む。マルチスクリーンプロキシサービスモジュールは、ファイルオブジェクトのストレージパスに基づいて、コンテンツプロバイダからファイルオブジェクトのデータを取得し得る。
電話マネージャは、電子装置100の通信機能、例えば、通話状態(応答、拒否等を含む)の管理を提供するように構成され得る。
通知マネージャは、アプリケーションが通知情報をステータスバーに表示できるようにし、通知メッセージを伝達するように構成され、ユーザとのやりとりなしに、少し間を置いてから自動的に消え得る。あるいは、通知マネージャは、グラフ又はスクロールバーテキストの形式で、システムのトップステータスバーに通知を表示し得るか又はダイアログウィンドウの形式でスクリーン上に通知を表示し得る。
Androidランタイムは、カーネルライブラリ及び仮想マシンを含む。Androidランタイムは、Androidシステムのスケジューリング及び管理に関与する。
カーネルライブラリは、java言語で呼び出す必要のある機能と、Androidのカーネルライブラリという2つの部分を含む。
アプリケーション層及びアプリケーションフレームワーク層は仮想マシン上で動作する。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層のjavaファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理及びガーベジコレクション等の機能を行うように構成されている。
システムライブラリは複数の機能モジュール、例えば、サーフェスマネージャ(surface manager)、メディアライブラリ(Media Library)、3次元グラフィックス処理ライブラリ(例えば、OpenGL ES)及び2Dグラフィックスエンジン(例えば、SGL)を含み得る。
サーフィスマネージャは表示サブシステムを管理し、複数のアプリケーションのために2D及び3D層の融合を提供するように構成され得る。
メディアライブラリは、複数の一般的に用いられるオーディオ及びビデオ形式、静止画像ファイル等における再生及び記録をサポートする。メディアライブラリは、MPEG-4、G.264、MP3、AAC、AMR、JPG及びPNG等の複数のオーディオ及びビデオコーディング形式をサポートし得る。
三次元グラフィックス処理ライブラリは、三次元グラフィックス描画、画像レンダリング、合成、層処理等を実施するように構成され得る。
2Dグラフィックスエンジンは2D描画のための描画エンジンである。
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ及びセンサドライバを含む。
図2Cに示すソフトウェアシステムは、データ伝送能力を用いたアプリケーション提示(ギャラリー及びWeChat等)と、プロジェクション能力及びデータ伝送能力を提供するプロジェクションモジュールとに関する。アプリケーションフレームワーク層は、マルチスクリーンフレームワーク、WLANサービス及びBluetoothサービスを提供し、カーネル及び下部層は、WLAN及びBluetooth能力と、基本的な通信プロトコルとを提供する。なお、図2Cに示す電子装置のソフトウェアアーキテクチャは、本願の実施形態の実施にすぎない。実際の用途では、電子装置は、より多くの又はより少ないソフトウェアモジュールを代替的に含み得る。これは、本明細書では限定されない。
本願の実施形態では、図2Cに示すソフトウェア構造に基づいて、プロジェクション装置100はディスプレイモジュールをさらに含み得る。ディスプレイモジュールは、各ソフトウェアモジュールの実行に基づいて対応するユーザインターフェイスを表示するように構成されている。ディスプレイモジュールによって表示されるユーザインターフェイスについては、図3A~図3Cに示すユーザインターフェイスを参照されたい。ディスプレイモジュールは、図2Aのディスプレイ194として具体的に実施され得る。
図2Dは、本願の実施形態に係る大画面装置200のソフトウェア構造のブロック図である。プロジェクション装置100が大画面装置200に表示インターフェイスを投影するプロジェクションシナリオにおいて、大画面装置200は、「マルチスクリーンプロキシサービス」を可能にして、本願の実施形態で提供されるデータ共有方法を実施し得る。
図2Dに示すように、大画面装置200は1つ以上のアプリケーション及びプロジェクションモジュールを含み得る。
図2Dは、PowerPoint、このPC及びWord等のアプリケーションを一例として示す。加えて、アプリケーションは、Google Chrome、音楽、コンピュータマネージャ、電子メール又はアプリストア等の別のアプリケーションであってもよい。
プロジェクションモジュールは、大画面装置200によって提供されるサービス又は機能であり得る。プロジェクションモジュールは、プロジェクション装置100のためにプロジェクション機能を提供し、プロジェクションシナリオにおいて大画面装置200のためにプロジェクション装置100とのデータ伝送を行う機能を提供し得る。プロジェクションモジュールは、ビデオストリーム伝送モジュール、モニタリングモジュール、命令伝送モジュール及びマルチスクリーンプロキシサービスモジュールを含み得る。
ビデオストリーム伝送モジュールは、プロジェクション機能を実施するために、プロジェクション装置100によって送信される、プロジェクション装置100のディスプレイ内にある表示コンテンツを受信し、ディスプレイ上に表示コンテンツを表示するように構成され得る。
モニタリングモジュールは、大画面装置200のディスプレイ上で受信されたユーザ操作をモニタリングするように構成され得る。座標情報は、大画面装置200のディスプレイに対する元の入力命令に関する座標情報である。モニタリングモジュールは、大画面装置200のディスプレイ上に表示されているプロジェクション装置100の表示コンテンツに対して操作が行われたと判定された場合、元の入力命令及び座標情報を変換のために命令伝送モジュールに送信するようにさらに構成されている。大画面装置200のディスプレイ上に表示されている大画面装置200の表示コンテンツに対して操作が行われたと判定された場合は、操作に対応する入力イベントを判定するために、元の入力命令及び座標情報が大画面装置200のプロセッサに送信される。例えば、入力イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。
命令伝送モジュールは座標同期モジュール及び逆制御モジュールを含み得る。座標同期モジュールは、受信した元の入力命令内の座標情報を、プロジェクション装置100の表示コンテンツに対する座標情報に変換し得る。逆制御モジュールは、ラップトップによって受信された元の入力命令を、スマートフォンによって認識可能な入力命令に、例えば、「上に移動」命令を「MotionEvent.ACTION_UP」命令に変換し、「下に移動」命令を「MotionEvent.ACTION_DOWN」命令に変換し、「移動」命令を「MotionEvent.ACTION_MOVE」命令に変換するように構成され得る。逆制御モジュールは、変換された入力命令及び変換された座標情報をプロジェクション装置100に送信するようにさらに構成され得る。
マルチスクリーンプロキシサービスモジュールは、データ記憶モジュール及びデータパース配信モジュールを含み得る。データパース配信モジュールは、プロジェクション装置100から受信したデータ(デジタルビットストリーム)を、大画面装置200のアプリケーションによって読み取り可能なデータ(例えば、写真、ビデオ及びオーディオ)にパースするように構成され得る。データ記憶モジュールは、プロジェクション装置100から受信したデータを記憶し、データに対応するストレージパスを生成するように構成され得る。データパース配信モジュールは、送信する必要がある大画面装置200内のデータをコピーし、そのデータをプロジェクション装置100に送信するようにさらに構成され得る。マルチスクリーンプロキシサービスモジュールによって送受信されるデータは、ユーザによって選択されたアプリケーションに送信する必要があるデータ、例えば、ギャラリーにおける写真、「このPC」におけるワードドキュメント又はメールボックスにおける添付ファイルである。
図2Dに示すソフトウェアシステムは、データ伝送能力を用いたアプリケーション提示(このPC及びWord等)と、プロジェクション能力及びデータ伝送能力を提供するプロジェクションモジュールとに関する。なお、図2Dに示す電子装置のソフトウェアアーキテクチャは、本願の実施形態の実施にすぎない。実際の用途では、電子装置は、より多くの又はより少ないソフトウェアモジュールを代替的に含み得る。これは、本明細書では限定されない。
本願の実施形態では、大画面装置200はディスプレイモジュールをさらに含み得る。ディスプレイモジュールは、各ソフトウェアモジュールの実行に基づいて対応するユーザインターフェイスを表示するように構成されている。ディスプレイモジュールによって表示されるユーザインターフェイスについては、図1B、図4A、図4C~図4E、図5A~図5D及び図6A~図6Cに示すユーザインターフェイスを参照されたい。ディスプレイモジュールは、図2Bの出力モジュール107として具体的に実施され得る。
インターフェイス図を参照しながら、本願の実施形態で提供されるデータ伝送プロセスを以下で説明する。先ず、本願の実施形態で提供されるプロジェクション装置100上での「プロジェクション」を可能にするいくつかの方法について説明する。
図3Aは、プロジェクション装置100上で「プロジェクション」機能を有効にする動作を示す。図3Aに示すように、ステータスバー201上を下方にスワイプするユーザ操作を検出した場合、プロジェクション装置100は、ユーザ操作に応答して、ユーザインターフェイス21上にウィンドウ261を表示し得る。ウィンドウ261は、「プロジェクション」のスイッチコントロール263を表示し、他の機能(例えば、Wi-Fi、Bluetooth及び懐中電灯)のスイッチコントロールをさらに表示し得る。ウィンドウ261上のスイッチコントロール263に作用するユーザ操作(例えば、スイッチコントロール263に対するタッチ操作)が検出された場合、プロジェクション装置100は、ユーザ操作に応答して「プロジェクション」を有効にし得る。
任意で、「プロジェクション」が有効状態にある場合、プロジェクション装置100は、ステータスバー201内に識別子265を表示し得る。識別子265は、「プロジェクション」が有効であることを示すために用いられる。加えて、ユーザが「プロジェクション」を無効にした後では、プロジェクション装置100はもはや識別子265を表示しない。
ウィンドウ261内で「プロジェクション」を有効にすることに限定されず、ユーザは設定インターフェイスで「プロジェクション」をさらに有効にしてもよい。この方法については、図3Bに示す実施形態を参照されたい。
図3Cは、本願の実施形態に係る、プロジェクション装置100上に「プロジェクション」設定オプションを表示するためのユーザインターフェイス23を示す。ユーザインターフェイス23は、スイッチコントロール281、詳細コントロール283及び表示領域291を含む。ユーザがスイッチコントロール281をタップすると、タッピングに応答して、プロジェクション装置100は「プロジェクション」を有効にし、スイッチコントロール281を「オフ」状態を表示することから「オン」状態を表示することに切り替える。任意で、プロジェクション装置100は、ステータスバー201に禁止サイン265をさらに表示してもよい。
加えて、ユーザ操作に応答して、プロジェクション装置100は、プロジェクションを受信可能なプロジェクション装置100の周囲のラップトップも検出し、これらのラップトップに関する情報を表示領域291に表示する。
ユーザが詳細コントロール283をタップすると、タップ操作に応答して、プロジェクション装置100は、ユーザインターフェイス23の表示から、現在の装置であるHUAWEI P30に関する関連情報を含むユーザインターフェイスの表示に切り替える。
表示領域291は、プロジェクションを受信可能な1つ以上のラップトップに関する情報を表示するように構成され得る。具体的には、表示領域291は、コントロール285、コントロール287及びコントロール289を含む。1つのコントロールは1つのラップトップに対応し、異なるコントロールは異なるラップトップに対応する。例えば、コントロール285は、HUAWEI MateBook X Proラップトップ(ラップトップの名前)に対応する。ユーザがコントロール285をタップすると、タップ操作に応答して、プロジェクション装置100は、HUAWEI MateBook X Proラップトップにプロジェクション要求を送信する。次に、プロジェクション装置100は、プロジェクション要求の接続許可に対するHUAWEI MateBook X Proラップトップのフィードバックに応答して、HUAWEI MateBook X Proラップトップと接続関係を確立する。なお、別のコントロールの機能については、コントロール285の機能を参照されたい。詳細についてはここでは再度説明しない。
なお、ラップトップは、「プロジェクション」を有効にすることにより、本願の実施形態におけるデータ伝送方法を実施し得る。「プロジェクション」はラップトップ内のアプリケーションであってもいいし、「プロジェクション」は代替的にラップトップ内のアプリケーションで提供されるサービスであってもよい。例えば、アプリケーションは「コンピュータマネージャ」であり得るか、代替的に別のアプリケーションであり得る。これは、本願のこの実施形態では限定されない。「プロジェクション」を有効にした後で、ラップトップは、無線通信プロセッサモジュール104を用いることにより、プロジェクション装置100によって送信されるプロジェクション要求を受信し得る。任意で、プロジェクション要求を受信した後で、ラップトップはプロンプトウィンドウを表示し得る。プロンプトウィンドウは「許可」コントロール及び「拒否」コントロールを含む。ユーザによる「許可」コントロールに対する操作が検出されると、ラップトップは接続許可応答をプロジェクション装置に送信し、大画面装置200は、プロジェクション装置100への接続を確立する。
プロジェクション装置100がHUAWEI MateBook X Proラップトップとの接続関係を確立した後で、プロジェクション装置100のプロジェクションモジュール内のビデオストリーム伝送モジュールは、記録された表示コンテンツをラップトップに送信する。ラップトップは記録された表示コンテンツを受信し、ディスプレイ上に表示コンテンツを表示する。ラップトップ上の表示インターフェイスについては、図1Bに示すユーザインターフェイス41を参照されたい。
次に、前述の内容におけるプロジェクションシステム10、電子装置10及び電子装置20に基づいて、他の添付の図面を参照しながら、本願の実施形態で提供されるデータ伝送方法を詳細に説明する。なお、以下の実施形態では、プロジェクション装置100がスマートフォンであり、大画面装置200がラップトップである例を説明のために用いる。あるいは、プロジェクション装置100及び大画面装置200は別の電子装置であってもよい。例えば、プロジェクション装置100はラップトップであってもいいし、大画面装置200はテレビ、プロジェクタ等であってもよい。これは、本願の実施形態では限定されない。
本願の実施形態に示すデータ送信方法は2つのケースに分類され得る。第1のケースは、スマートフォン上のアプリケーションからラップトップ上のアプリケーションにデータが伝送される場合である。第2のケースは、ラップトップ上のアプリケーションからスマートフォン上のアプリケーションにデータが伝送される場合である。以下では、2つのケースを別々に説明し、最初に第1のケースを説明する。
プロジェクションシナリオ1:スマートフォンのディスプレイは「ギャラリー」のユーザインターフェイスを表示する。スマートフォンの表示コンテンツは、表示のためにラップトップのディスプレイに投影される。ラップトップのディスプレイは、スマートフォンの表示コンテンツと、Microsoft Office Wordの編集インターフェイス(以下では、Wordと略す)を同時に表示する。「ギャラリー」は、スマートフォン上の画像管理アプリケーションであり、「アルバム」、「フォト」等とも呼ばれ得る。本願ではその名前は限定されない。「Word」はラップトップ上のワープロアプリケーションである。
図4Aは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影するユーザインターフェイス51の概略図である。ユーザインターフェイス51は、ウィンドウc、ウィンドウd及びステータスバー310を含む。ウィンドウcはWordアプリケーションの編集インターフェイスをラップトップ上に表示するために用いられ、ウィンドウdはギャラリーアプリケーションのインターフェイスをスマートフォン上に表示するために用いられる。具体的には、ギャラリーアプリケーションのインターフェイスは、ナビゲーションバー及び複数のファイルオブジェクトを含む。例えば、ファイルオブジェクトはサムネイル303-1、サムネイル303-2等であり得る。Wordアプリケーションの編集インターフェイスはタイトルバー、メニューバー、ツールバー及びドキュメント編集領域345を含む。ドキュメント編集領域345は、ユーザが入力した情報を受信及び表示するために用いられる。ドキュメント編集領域345はカーソル502を含み、カーソル502は、ユーザによって入力すべき情報の表示位置を示すために用いられる。なお、Wordアプリケーションの編集インターフェイスにおいて、ドキュメント編集領域345は伝送されたファイルオブジェクトを受信し、伝送されたファイルオブジェクトをカーソル502によって示される位置に表示し得る。具体的には、Wordアプリケーションの編集インターフェイス上の各コントロールがファイルオブジェクトを受信できるかどうかは、Wordアプリケーションのユーザインターフェイス設計の間に決定され得る。
図4Aに示すプロジェクションシナリオは、スマートフォン上のギャラリーアプリケーションからラップトップ上のワードアプリケーションにデータを伝送するプロセスを説明するために以下で一例として用いる。プロセスについては、図4Bに示す方法フローチャートを参照されたい。この方法は以下のステップを含む。
S101:ウィンドウd内のギャラリーアプリケーションのインターフェイスに対してユーザによって行われた操作を検出すると、ラップトップは、操作に対応する変換入力された命令及び変換された座標情報をスマートフォンに送信する。
例えば、ウィンドウd内のギャラリーアプリケーションのインターフェイスに対してユーザによって行われる操作は、ユーザによるサムネイル303-1のタッチアンドホールド操作である。
具体的には、プロジェクションシナリオにおいて、ラップトップのプロジェクションモジュール内のモニタリングモジュールは、ディスプレイ上で受信される操作を連続的にモニタリングし、操作に対応する元の入力命令及び座標情報を特定し得る。モニタリングモジュールは、元の入力命令に関する座標情報及びギャラリーアプリケーションのインターフェイスの座標領域に基づいて、操作がギャラリーアプリケーションのインターフェイス上で行われたと判定し得る。例えば、元の入力命令は、「上に移動(リフト)」、「下に移動(プレス)」、「移動(移動)」等の命令を含み得る。
ユーザによって入力された操作はギャラリーアプリケーションのインターフェイスに作用することを検出した後に、モニタリングモジュールは、元の入力命令及び座標情報を命令伝送モジュールに送信する。命令伝送モジュールは、座標情報をプロジェクション装置100の表示コンテンツ(すなわち、ギャラリーアプリケーションのインターフェイス)に対する座標情報に変換し、元の入力命令をスマートフォンによって認識可能な入力命令に変換し、変換された入力命令及び変換された座標情報をスマートフォンに送信する。
S102:受信した変換された変換入力命令及び変換された座標情報に基づいて、サムネイル303-1のアイコンに対する選択イベントが受信されたとスマートフォンが判定した場合、スマートフォンは、アイコンに対応する写真に関するファイル情報を特定する。
選択イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。実施形態における選択イベントは、タッチアンドホールドイベントを用いることにより説明される。ファイル情報は、写真の名前、作成/変更日、形式、サイズ、アイコン等に関する情報を含み得る。選択イベントは、伝送すべきファイルオブジェクトを選択するために用いられる。
具体的には、ステップS102の実施プロセスは以下のステップを含み得る。
S1:スマートフォンの命令伝送モジュールは変換された入力命令及び変換された座標情報を入力マネージャに送信する。
S2:変換された入力命令及び変換された座標情報を入力マネージャが受信した後に、入力マネージャは、変換された入力命令に基づいて、タッチアンドホールドイベントが受信されたと判定する。例えば、入力命令は「MotionEvent.ACTION_DOWN」、「MotionEvent.ACTION_DOWN」及び「MotionEvent.ACTION_DOWN」であってもよく、入力マネージャは、タッチアンドホールドイベントが受信されたと判定する。
S3:入力マネージャは、タッチホールドイベント及びタッチホールドイベントに対応する座標情報をウィンドウマネージャに送信する。
タッチアンドホールドイベントに対応する座標情報は変換された座標情報である。
S4:ウィンドウマネージャがタッチホールドイベント及びタッチホールドイベントに対応する座標情報を受信した後に、ウィンドウマネージャは、座標情報に基づいて、タッチホールドイベントに対応する表示領域に表示されているアプリケーションインターフェイスはギャラリーのアプリケーションインターフェイスであると判定する。
なお、図4Aに示すスマートフォン上に表示領域が存在し、該表示領域はギャラリーのアプリケーションインターフェイスを表示するために用いられている。スマートフォンがスプリットスクリーン状態にある場合、スマートフォン上には2つの表示領域があり得る。ウィンドウマネージャは、座標情報に基づいて、タッチアンドホールドイベントに対応する表示領域は、2つの表示領域のうちの1つであると特定し、表示領域に表示されているアプリケーションインターフェイスを特定し得る。
S5:ウィンドウマネージャは、アプリケーションインターフェイスに関する情報、タッチホールドイベント及びタッチホールドイベントに対応する座標情報をビューシステムに送信する。
S6:ビューシステムがアプリケーションインターフェイスに関する情報、タッチホールドイベント及びタッチホールドイベントに対応する座標情報を受信した後、ビューシステムは、アプリケーションインターフェイスに関する情報及びタッチホールドイベントに対応する座標情報に基づいて、タッチホールドイベントに対応するコントロールはサムネイル303-1のアイコンであると判定し得る。
S7:ビューシステムは、サムネイル303-1のアイコンに対するタッチアンドホールドイベントをギャラリーアプリケーションに送信する。
S8:ビューシステムによって送信された、サムネイル303-1のアイコンに対するタッチアンドホールドイベントをギャラリーアプリケーションが受信した後、タッチアンドホールドイベントに応答して、ギャラリーアプリケーションは、マルチスクリーンフレームワークに、サムネイル303-1のアイコンに対応する写真に関するファイル情報を送信する。写真に関するファイル情報は、写真の名前、作成日、形式、サイズ、アイコン等のうちの1つ以上を含み得る。送信する必要があるファイル情報の種類は予め設定され得る。サムネイル303-1に対応する写真のファイル形式はJPEGであり得る。なお、異なるファイルオブジェクトの形式は異なり得る。例えば、ファイルオブジェクトの形式は、代替的に、グラフィックスインターチェンジ形式(graphics interchange format、GIF)、テキストファイルTXT、Microsoft PowerpointプレゼンテーションPPT、ポータブルドキュメント形式(portable document format、PDF)、JPEG形式(joint photographic experts group)形式、オーディオビデオインターリーブ(AVI)形式等であり得る。
可能な実施では、タッチアンドホールドイベントに応答して、ギャラリーアプリケーションは、ビューシステムを介してギャラリーアプリケーションのインターフェイス上に、サムネイル303-1のアイコンが選択されていることを表示し得る。例えば、サムネイル303-1のアイコンが選択されていることは、サムネイル303-1のアイコンの周囲にハイライトされたボックスを表示すること、サムネイル303-1のアイコン上に識別子(例えば、「√」)を表示すること又はサムネイル303-1のアイコンの表示色を変更することによって表示され得る。加えて、スマートフォンのディスプレイに表示されるコンテンツが変化するにつれて、ウィンドウdに表示されるコンテンツも変化する。
他の可能な実施では、前述の内容のS1~S8で説明した方法を参照して、ラップトップ上で検出され、ギャラリーアプリケーションのインターフェイス上で作用するユーザ操作は、応答のためにスマートフォンに同期される。ウィンドウd内でサムネイル303-1のアイコンをユーザがドラッグする操作に応答して、スマートフォンのビューシステムは、サムネイル303-1のアイコンに対する決定ドラッグイベントをギャラリーアプリケーションに送信する。ギャラリーアプリケーションは、ビューシステムを介してギャラリーアプリケーションのインターフェイス上に、アイコン505の一例として示すファイルアイコンを表示する。ファイルアイコンは、ピクチャのドラッグ位置を示すために用いられ、ファイルアイコンの表示位置は、マウスポインタ311の動きと共に変化する。
S9:ギャラリーアプリケーションによって送信された写真に関するファイル情報を受信した後に、マルチスクリーンフレームワークは写真に関するファイル情報をプロジェクションモジュールに送信する。
S103:スマートフォンは、写真に関するファイル情報をプロジェクションモジュールを介してラップトップに送信する。
S104:ラップトップは、写真に関するファイル情報に基づいてアイコン505を生成し表示する。
このような表示方法については、図4Cを参照されたい。アイコン505は、写真のドラッグ位置を示すために用いられ、アイコン505の表示位置はマウスポインタ311の動きと共に変化する。ラップトップは、写真に関するファイル情報内のアイコン情報に基づいてアイコン505を生成し得る。任意で、ラップトップは、ファイル情報内のファイル形式に基づいてアイコン505を生成し得る。同じ形式タイプのオブジェクトをドラッグすると、同じアイコンが表示される。なお、1つの形式タイプは複数の異なるファイル形式を含み得る。例えば、写真の種類は、GIF、JPEG、ポータブルネットワークグラフィックス(portable network graphics、PNG)等を含み、ビデオの種類はMPEG(motion picture experts group)、AVI、MP4(moving picture expert group 4)等を含み得る。
別の可能な実施では、ユーザのドラッグ操作がウィンドウd上に作用した場合、スマートフォンはファイルアイコンを生成し、表示する。ユーザがウィンドウdからウィンドウcにサムネイル303-1のアイコンをドラッグしたことを検出すると、ラップトップは、写真に関するファイル情報に基づいてアイコン505を生成し、表示する。スマートフォンのディスプレイ上のファイルアイコンは、ラップトップによって生成されたアイコン505と異なり得る。S105:Wordアプリケーションの編集インターフェイス上のドキュメント編集領域345でユーザによって行われた決定イベントを検出すると、ラップトップは第1の表示情報をスマートフォンに送信し、第1の表示情報は、写真をラップトップに送信するようスマートフォンに示すために用いられる。
決定イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。例えば、決定イベントは、Wordアプリケーションの編集インターフェイス上のドキュメント編集領域345で作用するリフト(lift)ドラッグ操作のドラッグイベントであり得る。決定イベントは、ファイルオブジェクトを受信するアプリケーションのコントロールを決定するために用いられ得る。
S106:スマートフォンが第1の表示情報を受信した後で、スマートフォンは、第1の表示情報に基づいて写真をラップトップに送信する。
スマートフォンによってラップトップに送信される写真は、写真のデータ及び写真に関するファイル情報を含む。
スマートフォンが写真をラップトップに送信する前に、スマートフォンは写真のストレージパスを特定する必要がある。スマートフォンが写真のストレージパスを特定する方法は次のようなものになり得る。ステップS8で、写真に関するファイル情報をマルチスクリーンフレームワークに送信するときに、ギャラリーアプリケーションは写真のストレージパスをマルチスクリーンフレームワークに送信する。次に、マルチスクリーンフレームワークは写真のストレージパスを、マルチスクリーンプロキシサービスモジュールに送信する。任意で、写真のストレージパスを特定する方法はさらに次のようなものになり得る。スマートフォンが第1の表示情報を受信した後に、マルチスクリーンプロキシサービスモジュールは、写真のストレージパスを取得するための命令をマルチスクリーンフレームワークに送信し、この命令に応答して、マルチスクリーンフレームワークは、ギャラリーアプリケーションから写真のストレージパスを取得し、ストレージパスをマルチスクリーンプロキシサービスモジュールにフィードバックする。具体的には、スマートフォンが写真のデータをラップトップに送信するプロセスは次のようになり得る。スマートフォンのプロジェクションモジュールのマルチスクリーンプロキシサービスモジュールは、写真のストレージパスに基づいたアプリケーションフレームワーク層のインターフェイスを呼び出し、コンテンツプロバイダから写真のデータをコピーし、写真のデータをラップトップに送信する。
S107:ラップトップが写真のデータを受信した後に、ラップトップはファイル編集領域345に写真を表示する。
このような表示方法については、図4Dに示すユーザインターフェイス53を参照されたい。具体的には、ステップS107の具体的な実施プロセスについては、以下のステップを参照されたい。
S11:ラップトップ内のマルチスクリーンプロキシサービスモジュールは、コンテンツパース配信モジュールを用いることにより、受信したデータ(データビットストリーム)をラップトップ上のアプリケーションによって読み取り可能な写真(例えば、ビデオ、オーディオ又はドキュメント等の他のデータであってもよい)にパースし、パースしたデータをコンテンツ記憶モジュールに記憶し、写真のデータのストレージパスを生成する。
S12:ラップトップ内のマルチスクリーンプロキシサービスモジュールは、写真のデータのストレージパスをWordアプリケーションに送信する。
S13:ラップトップ内のWordアプリケーションは、ファイル編集領域345に対応するプログラムに基づいて写真のデータを処理する。
例えば、Wordアプリケーションは写真をストレージパスから読み出し、ファイル編集領域345に写真を表示する。別の例では、伝送されたファイルがワードドキュメントの場合、Wordアプリケーションは、ドキュメント編集領域345内のカーソル502にワードドキュメントのアイコンを表示し、ユーザは、ドキュメントのアイコンをタップすることによりワードドキュメントを開き得る。
可能な実施では、Wordアプリケーションは、ファイル編集領域345内のカーソル502に写真を表示する。カーソル502の位置は、決定イベントを受信する前のカーソル502の表示位置である。別の可能な実施では、ステップS12で、マルチスクリーンプロキシモジュールは、決定イベントに対応する座標をWordアプリケーションにさらに送信し得る。Wordアプリケーションは、決定イベントに対応する座標に写真を表示する。任意で、Wordアプリケーションは、カーソル502の位置を写真の後ろに移動させる。
加えて、Wordアプリケーションは、ファイル1に対応するキャッシュスペースに写真を記憶する。また、ユーザがワード編集インターフェイス上の保存コントロールをタップした後に、Wordアプリケーションは、ファイル1に対応する記憶スペースに、ファイル1の写真として写真を記憶する。さらに別の可能なケースでは、ドキュメント編集領域345が写真を受信した後に、ユーザがファイル1を閉じ、ファイル1の変更を保存しない場合、Wordアプリケーションは写真を記憶せず、キャッシュスペースから写真を消去する。なお、伝送されたファイルデータをWordアプリケーションが処理する方法は、Wordアプリケーションのプログラム設計の間に決定され得る。このように、ユーザは、スマートフォン上のギャラリーアプリケーション内の写真をラップトップ上のWordアプリケーションに簡便に伝送できる。これにより、データ共有効率が改善される。
一部の他の実施形態では、ユーザがウィンドウdからウィンドウcにアイコン336-1をドラッグすることが検出されると、ラップトップは第1の表示情報をスマートフォンに送信する。次に、ラップトップは、スマートフォンによって送信された写真のデータを受信する。Wordアプリケーションの編集インターフェイスのドキュメント編集領域345上でユーザによるドラッグ操作のリフト操作が検出されると、ラップトップは、ファイル編集領域345に対応するプログラムを呼び出して写真のデータを処理する。
図4Eを参照して、一部の他の実施形態では、ユーザがウィンドウc内のアイコン505をドラッグするプロセスで、写真を受信できないツールバーにマウスポインタ311が移動したことをラップトップが検出した場合、ラップトップはアイコン505内に禁止サイン503を表示する。禁止サイン503は、ツールバーが写真を受信できないことを示すために用いられる。図4Eに一例として示す禁止サイン503に限定されず、禁止サイン503は代替的に別のスタイルであってもよい。例えば、禁止サイン503は、アイコン505の周囲に表示される赤色(又は別の色)のプロンプトボックスであり得るか又は「x」字状のアイコン等であり得る。これは、本願の実施形態では限定されない。任意で、写真を受信できないツールバーにマウスポインタ311が移動することをラップトップが検出した場合、ラップトップはプロンプト情報をさらに表示し得る。プロンプト情報は、ツールバーが写真を受信できないことを示すために用いられる。
一部の他の実施形態では、選択イベントに対応するデータはテキストである。この場合、前述のステップS106では、スマートフォンがテキストをラップトップに送信するプロセスにおいて、スマートフォンはテキストのストレージアドレスを特定し、ストレージアドレスからテキストを読み出す必要がなく、スマートフォンはテキストを直接コピーし得る。ステップS107の実施プロセスでは、ラップトップのマルチスクリーンプロキシサービスモジュールはテキストを記憶する必要がなく、テキストを処理のためにWordアプリケーションに直接送信する。
他の可能な実施では、ラップトップのウィンドウcは他のアプリケーションのインターフェイスをさらに表示し得る。他のプロジェクションシナリオを以下で説明する。
プロジェクションシナリオ2:スマートフォン上の「ギャラリー」アプリケーションの表示インターフェイスと、ラップトップの「WeChat(WeChat)」のチャットインターフェイスとが、ラップトップのディスプレイに同時に表示されている。「WeChat」はラップトップ上のインスタントメッセージングソフトウェアである。図5Aは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影するユーザインターフェイス61の概略図である。ユーザインターフェイス61は、ウィンドウc、ウィンドウd及びステータスバー310を含む。ウィンドウcはWeChatのチャットインターフェイスを表示する。WeChatのチャットインターフェイスはメッセージリスト、表示領域370及び入力ボックス372を含む。
前述のプロジェクションシナリオ1で説明したデータ伝送方法を参照されたい。ウィンドウdから入力ボックス372にサムネイル303-1に対応する写真をユーザがドラッグする操作に応答して、ラップトップは表示情報をスマートフォンに送信する。表示情報に応答して、スマートフォンは写真のデータをラップトップに送信する。ラップトップが写真のデータを受信した後で、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスをWetChatアプリケーションに送信する。WeChatアプリケーションは、入力ボックス372に対応するプログラムを呼び出して写真のデータを処理する。WeChatアプリケーションは写真をストレージパスから読み出し、写真をチャットオブジェクト(すなわち、Lisa)に送信し、表示領域370に写真のアイコン368をメッセージ記録として表示する。具体的には、アイコン368は最近のメッセージ記録の下に表示される。
加えて、WetChatアプリケーションは、チャットオブジェクトとのチャット記録の記憶スペースに写真を記憶し得る。例えば、図5Bに示すユーザインターフェイス62を参照されたい。ユーザインターフェイス62内のウィンドウgは、ラップトップを用いるユーザと、チャットオブジェクトとの間のチャット記録の表示インターフェイスを表示するために用いられる。表示インターフェイスは「写真及びビデオ」の記録を一例として用いる。伝送された写真のアイコン366は記録内で見られ得る。ユーザはアイコン366をタップし、タップ操作に応答して、ラップトップは写真を表示する。
一部の他の可能な実施では、ラップトップが第1の表示情報をスマートフォンに送信する前に、ラップトップは、写真に関するファイル情報に基づいて、入力ボックス372は写真を受信可能であると判定する。判定方法は、ラップトップが、入力ボックス372によって受信可能なファイルオブジェクトのプリセット条件を特定することであり得る。ラップトップは、写真に関するファイル情報をプリセット条件と比較し、ファイル情報がプリセット条件を満たす場合、ラップトップは入力ボックス372が写真を受信可能であると判定する。例えば、プリセット条件は、入力ボックス372によって受信可能なファイルオブジェクトの形式及び最大ファイルサイズを示す。この場合、入力ボックス372によって受信可能なファイル形式がファイル情報で示されるファイル形式を含み、入力ボックス372によって受信可能な最大ファイルサイズが表示情報で示されるファイルサイズ以上の場合、ファイル情報はプリセット条件を満たし、入力ボックス372は写真を受信できる。なお、入力ボックス372によって受信可能なファイルオブジェクトのプリセット条件は、WeChatアプリケーションプログラムが書かれたときに決定され得る。
一部の他の例では、ユーザによってドラッグされたファイルオブジェクトは10M GIFであり、入力ボックス372は最大5M GIFを受信し得る。この場合、ラップトップは、入力ボックス372がGIFを受信できないと判定し、ラップトップは表示情報をスマートフォンに送信しない。任意で、ラップトップはプロンプト情報を表示し、プロンプト情報は、入力ボックス372がGIFを受信できないことを示すために用いられる。
一部の他の例では、ユーザによってドラッグされたデータはテキストであり、WeChatアプリケーションは入力ボックス372にテキストを表示する。ユーザがメッセージ送信コントロールをタップすると、タップ操作に応答して、WeChatアプリケーションはテキストをチャットオブジェクトに送信し、テキストを表示領域370にメッセージ記録として表示する。具体的には、テキストは最近のメッセージ記録の下に表示される。加えて、WeChatアプリケーションは、チャットオブジェクトとのチャット記録の記憶スペースにテキストを記憶する。
一部の他の可能な実施形態では、決定イベントは、ファイルオブジェクトを受信するアプリケーションを決定するために用いられ、ファイルオブジェクトを受信する特定のコントロールは区別されない。この場合、ラップトップが第1の表示情報をスマートフォンに送信する前に、ラップトップは、写真に関するファイル情報に基づいて、WeChatアプリケーションが写真を受信できると判定する。判定方法は、ラップトップが、WeChatアプリケーションによって受信可能なファイルオブジェクトのプリセット条件を特定するというものであり得る。ラップトップは写真に関するファイル情報をプリセット条件と比較し、ファイル情報がプリセット条件を満たす場合、。ラップトップは、WeChatアプリケーションが写真を受信できると判定する。例えば、プリセット条件は、WeChatアプリケーションによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示し得る。WeChatアプリケーションが受信可能なファイルオブジェクトのプリセット条件は、WeChatアプリケーションプログラムが書かれたときに決定され得る。次いで、スマートフォンによって送信された写真を受信した後に、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスをWetChatアプリケーションに送信する。WeChatアプリケーションは写真のデータを処理する。
プロジェクションシナリオ3:スマートフォン上の「ギャラリー」アプリケーションの表示インターフェイスと、ラップトップ上の「このPC」のインターフェイスとがラップトップのディスプレイに同じに表示される。「このPC」は、ラップトップ上のファイルリソース管理アプリケーションである。このアプリケーションは、ラップトップの基本的なハードウェアリソースに保存されているファイルの表示、ファイルのコピー、ペースト、移動及びディスクのフォーマットに用いることができる。
図5Cは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影するユーザインターフェイス63の概略図である。ユーザインターフェイス63は、ウィンドウc、ウィンドウd及びステータスバー310を含む。ウィンドウcは「このPC」のインターフェイスを表示する。「このPC」のインターフェイスは、タイトルバー、詳細バー、メニューバー、アドレスオプションバー358及び表示領域362を含む。
アドレスオプションバー358は1つ以上のアドレスオプションを表示するために用いられ得る。一例におけるアドレスオプションは、クイックアクセス、このPC及びこのPC下でのより詳細なアドレス(例えば、ローカルディスク(C:)及びソフトウェア(D:))を含む。なお、1つ以上の詳細なアドレスは代替的にクイックアクセス下に存在してもよく、別のアドレスオプションがアドレスオプションバー内にさらに存在し得る。この図は一例に過ぎない。表示領域362は、選択されたアドレス(即ち、オフィス(F:))に記憶されたファイルに関する情報を表示するために用いられ得る。1つの例では、表示領域362はファイル1のアイコン336-1と、ファイル2のアイコン336-2と、ファイル3のアイコン336-3とを含む。表示領域にファイルを表示する方法は、超大型アイコン、大型アイコン、中型アイコン、小型アイコン、リスト、詳細、タイル、コンテンツ等を含む。図に示す例のファイルは大型アイコンで表示されているが、別の方法で表示されてもよい。これは、本願の実施形態では限定されない。
前述のプロジェクションシナリオ1で説明したデータ伝送方法を参照されたい。サムネイル303-1に対応するアイコンをウィンドウdから表示領域362にドラッグするユーザの操作に応答して、ラップトップは表示情報をスマートフォンに送信する。表示情報に応答して、スマートフォンは写真をラップトップに送信する。ラップトップが写真を受信した後に、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスを「このPC」に送信する。「このPC」は、表示領域362に対応するプログラムを呼び出して写真を処理する。「このPC」はストレージパスに基づいて写真を読み出し、写真をオフィス(F:)の記憶スペースに記憶し、表示領域362に写真の大型アイコン365を表示し、大きなアイコンの下に写真名IMG_0373.JGPを表示する。なお、マルチスクリーンプロキシサービスモジュールは、写真のデータ及び写真に関するファイル情報を記憶し、「このPC」はストレージパスに基づいて写真に関するデータ及びファイル情報を読み出し得る。
一部の他の例では、サムネイル303-1に対応するアイコンをウィンドウdからドキュメント(E:)のアドレスオプションにユーザがドラッグすると、「このPC」はストレージパスに基づいて写真を読み出し、その写真をドキュメント(E:)の記憶スペースに記憶する。
プロジェクションシナリオ4:ウィンドウcはメールボックスアプリケーションの電子メール編集インターフェイスを表示する。上記のプロセスと同様に、サムネイル303-1に対応するアイコンをウィンドウdから電子メール編集領域にユーザがドラッグする操作に応答して、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスをメールボックスアプリケーションに送信する。メールボックスアプリケーションはストレージパスに基づいて写真を読み出し、電子メール添付ファイルとして写真を編集インターフェイスに表示する。加えて、メールボックスアプリケーションは、メールボックスアプリケーションのキャッシュスペースに写真を記憶する。また、ユーザが電子メールの送信コントロールをタップした後に、メールボックスは電子メールを送信し、電子メールに対応する記憶領域に電子メールの添付ファイルとして写真を記憶する。
プロジェクションシナリオ5:デスクトップ及びウィンドウdがラップトップ上に表示され、スマートフォン上のギャラリーアプリケーションの表示インターフェイスがウィンドウdに表示されている。サムネイル303-1に対応するアイコンをウィンドウdからデスクトップ上のステータスバー310内のWeChatアイコンにドラッグするユーザの操作に応答して、前述のプロセスと同様に、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスを、WeChatアイコンに対応するWeChatアプリケーションに送信する。WeChatアプリケーションは、ストレージパスに基づいて写真を読み出し、WeChatアプリケーションに対応する記憶スペースに写真を記憶し得る。任意で、WeChatアプリケーションは、最近の閲覧履歴リストの固定カラムに写真をさらに表示し得る。そのような表示方法については、図5Dに示すユーザインターフェイス64を参照されたい。なお、ユーザはWeChatアイコンを右クリックして、WeChatアプリケーションの最近の閲覧履歴リストを開き得る。WeChatアプリケーションは、別の方法で写真をさらに処理し得る。これは、本願の実施形態では限定されない。
本願の実施形態に示すデータ伝送方法の第2のケースを以下で説明する。
プロジェクションシナリオ6:「WeChat(WeChat)」のユーザインターフェイスがスマートフォンのディスプレイに表示されている。スマートフォンの表示コンテンツは、表示のためにラップトップのディスプレイに投影されている。スマートフォンの表コンテンツと「このPC」のアプリケーションインターフェイスとがラップトップのディスプレイに同時に表示されている。「WeChat」は、スマートフォン上のインスタントメッセージングアプリケーションである。「このPC」は、ラップトップ上のファイルリソース管理アプリケーションである。このアプリケーションは、ラップトップの基本的なハードウェアリソースに記憶されているファイルの表示、ファイルのコピー、ペースト、移動及びディスクのフォーマットを行うために用いることができる。
図6Aは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影する他のユーザインターフェイス71の概略図である。ユーザインターフェイス61はウィンドウe及びウィンドウfを含む。ウィンドウeはラップトップ上の「このPC」のアプリケーションインターフェイスを表示するために用いられ、ウィンドウfは携帯端末上のWeChatのアプリケーションインターフェイスを表示するために用いられる。具体的には、ウィンドウfは、表示領域405及び入力ボックス408を含む。表示領域405は、インスタントチャットメッセージを表示するために用いられ得る。これらのインスタントチャットメッセージは、電子装置を用いるユーザと、現在のチャットオブジェクト(すなわち、Lisa)との間のチャット記録に記憶される。入力ボックス408は、ユーザによって入力された情報を受信するために用いられ得る。なお、ウィンドウfに表示されるユーザインターフェイスにおいて、入力ボックス408はファイルオブジェクトを受信し得る。任意で、入力ボックス408によって受信可能なファイルオブジェクトの形式及び/又はサイズが設定され得る。例えば、入力ボックス408によって受信可能なグラフィックインターチェンジ形式(graphics interchange format、GIF)のファイルの最大サイズは5メガバイト(MB)である。ウィンドウfに表示される「このPC」のインターフェイスの説明については、図5Cに示すユーザインターフェイス63の説明を参照されたい。詳細についてはここでは再度説明しない。
ラップトップ上の「このPC」からスマートフォン上の「WeChat」アプリケーションにデータを伝送するプロセスを説明するために、図6Aに示すプロジェクションシナリオを以下で一例として用いる。プロセスについては、図7に示す方法フローチャートを参照されたい。この方法は以下のステップを含む。
S201:「このPC」のアプリケーションインターフェイス上でのユーザによるアイコン336-1のタッチアンドホールド操作に応答して、ラップトップはアイコン336-1に対応するワードドキュメントに関するファイル情報を取得する。
任意の実施では、プロジェクションシナリオにおいて、ユーザにより入力された操作が「このPC」のインターフェイス上で作用することを検出した後で、モニタリングモジュールは、入力イベント及び入力イベントに対応するコントロールを特定するために、元の入力命令及び座標情報をラップトップのプロセッサに送信する。モニタリングモジュールは、元の入力命令に関する座標情報及び「このPC」のインターフェイスの座標領域に基づいて、操作が「このPC」のインターフェイス上で実行されたと判定し得る。入力イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチイベント、ドラッグイベント等であり得る。
ラップトップのプロセッサは、元の入力命令及び座標情報に基づいて、「このPC」のアプリケーションインターフェイス上のアイコン336-1に対してタッチアンドホールドイベントが受信されたと判定する。ラップトップは、タッチアンドホールドイベントが選択イベントであると判定し、この選択イベントに応答して、「このPC」は、アイコン336-1に対応するワードドキュメントに関するファイル情報をプロジェクションモジュール内のマルチスクリーンプロキシサービスモジュールに送信する。ファイル情報は、ワードドキュメントの名前、サイズ、形式、アイコン等のうちの1つ以上であり得る。ラップトップは、取得したファイル情報の種類をプリセットし得る。ラップトップは、選択イベントのイベント種類を予め記憶してもよい。例えば、選択イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチイベント、ドラッグイベント等のうちの1つ以上であり得る。伝送すべきファイルオブジェクトを選択するために選択イベントが用いられる。
可能な実施では、選択イベントに応答して、「このPC」はアイコン336-1が選択されたとの内容を表示し得る。例えば、アイコン336-1が選択されたことは、アイコン336-1の周囲にハイライトボックスを表示すること、アイコン336-1上に識別子(例えば、「√」)を表示すること又はアイコン336-1の表示色を変更することにより表示され得る。
S202:ユーザによるアイコン336-1のドラッグ操作に応答して、ラップトップはアイコン601を表示する。
アイコン601はドキュメントのドラッグ位置を示すために用いられ、アイコン601の表示位置は、マウスポインタ311の移動と共に変化する。アイコン601は、アイコン336-1に基づいて生成され得るか又はワードドキュメントに関するファイル情報に基づいて生成され得る。
任意で、マウスポインタ311がウィンドウeからウィンドウfに移動するプロセスにおいて、アイコン601は継続的に表示され得る。
S203:ユーザがアイコン336-1をウィンドウeからウィンドウfにドラッグすることが検出されると、ラップトップは、ドラッグ操作に基づいて、変換された入力命令及び変換された座標情報を特定し、ドラッグ操作に対応する変換された入力命令及び変換された座標情報をスマートフォンに送信する。
S204:受信した変換された入力命令及び変換された座標情報に基づいて、決定イベントが受信されたとスマートフォンが判定した場合、スマートフォンは決定イベントに対応するアプリケーションを特定する。
決定イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。ドラッグイベントを一例として用いる。スマートフォンの場合、決定イベントは、WeChatのアプリケーションインターフェイスの端から入力ボックス408にリフトのためにドラッグするドラッグイベントであり得る。決定イベントは、ファイルオブジェクトを受信するアプリケーションを選択するために用いられ得る。
具体的には、スマートフォンは、入力マネージャを介して、受信した変換された入力命令及び変換された座標情報に基づいて決定イベントが受信されたと判定し得る。スマートフォンは、ウィンドウマネージャを介し且つ変換された座標情報に基づいて、決定イベントに対応する表示領域に表示されるアプリケーションはWeChatアプリケーションであると判定し得る。
S205:スマートフォンは第2の表示情報をラップトップに送信し、第2の表示情報は、ワードドキュメントのデータをスマートフォンに送信するようラップトップに示すために用いられる。
S206:ラップトップが第2の表示情報を受信した後で、ラップトップは、第2の表示情報に基づいて、ワードドキュメントに関するデータ及びファイル情報をスマートフォンに送信する。
第2の表示情報に基づいて、ラップトップがワードドキュメントのデータをスマートフォンに送信するプロセスは、ラップトップがワードドキュメントのストレージパスに基づいて、ワードドキュメントの記憶スペースからワードドキュメントのデータをコピーし、ワードドキュメントのデータをラップトップに送信するというものであり得る。ラップトップがワードドキュメントのストレージパスを特定する方法は次のようなものであり得る:ステップS201で、ラップトップは、ワードドキュメントに関するファイル情報を取得しながら、ワードドキュメントのストレージパスを取得する。ラップトップがワードドキュメントのストレージパスを特定する方法は代替的に次のようなものであり得る:スマートフォンによって送信され第2の表示情報を受信した後に、ラップトップは「このPC」からワードドキュメントのストレージパスを取得する。
S207:スマートフォンが写真のデータを受信した後に、スマートフォンは、WeChatアプリケーションを介してチャットオブジェクトにワードドキュメントを送信し、メッセージ記録として表示領域405にワードドキュメントを表示する。
そのような表示方法については、図6Bに示すユーザインターフェイス72を参照されたい。具体的には、ステップS208の具体的な実施プロセスについては、以下のステップを参照されたい。
S21:スマートフォン内のマルチスクリーンプロキシサービスモジュールは、コンテンツパース配信モジュールを用いて、受信したデータ(データビットストリーム)をスマートフォン上のアプリケーションが読み取り可能なワードドキュメント(例えば、写真、ビデオ又はオーディオ等の他のデータであってもよい)にパースし、パースしたデータをコンテンツ記憶モジュールに記憶し、ワードドキュメントのストレージパスを生成する。
S22:スマートフォンのマルチスクリーンプロキシサービスモジュールは、ワードドキュメントのストレージパスをWeChatアプリケーションに送信する。
S23:スマートフォン上のWeChatアプリケーションは、ワードドキュメントを処理する。
例えば、WeChatアプリケーションは、ストレージパスからワードドキュメントを読み出し、ワードドキュメントをチャットオブジェクトに送信し、ワードドキュメントのアイコン605をメッセージ記録として表示領域405に表示する。具体的には、アイコン605は、最近のメッセージ記録の下に表示される。加えて、WeChatアプリケーションは、チャットオブジェクトとのチャット記録の記憶スペースにワードドキュメントを記憶し得る。例えば、ウィンドウfがWeChatのファイル表示インターフェイスに切り替わるようにWeChatの表示インターフェイスを操作してもよい。詳細については、図6Cに示すユーザインターフェイス73を参照されたい。ファイル表示インターフェイスは表示領域631を含む。表示領域631は、スマートフォンを用いているユーザ(例えば、「Sean」)と、チャットオブジェクト(すなわち、「Lisa」)との間のチャット記録におけるファイル情報を含む。表示領域631はコントロール633をさらに含む。ユーザはコントロール633をタップし、タップ操作に応答して、スマートフォンはローカルに記憶されたファイル1を読み出し、ファイル1のコンテンツをディスプレイに表示する。ラップトップ上のウィンドウfの表示コンテンツは、スマートフォンの表示コンテンツと共に変化する。すなわち、ラップトップは、ファイル1のコンテンツをウィンドウfに表示する。このように、ユーザは、ラップトップ上の「このPC」のワードドキュメントをスマートフォン上のWeChatアプリケーションに簡便に伝送できる。これにより、データ共有効率が改善される。
一部の他の可能な実施では、ユーザがウィンドウeからウィンドウfにマウスポインタ311をドラッグしたことが検出されると、ラップトップは、ワードドキュメントのデータをスマートフォンに送信する。これに対応して、スマートフォンはワードドキュメントのデータを受信します。そして、受信した変換された入力命令及び変換された座標情報に基づいて、決定イベントが受信されたとスマートフォンが判定した場合、スマートフォンは決定イベントに対応するアプリケーションを特定する。そして、スマートフォンは、WeChatアプリケーションを介してチャットオブジェクトにワードドキュメントを送信し、最近のメッセージ記録の下にワードドキュメントをメッセージ記録として表示する。
一部の他の可能な実施では、ユーザがウィンドウeからウィンドウfにマウスポインタ311をドラッグしたことが検出されると、ラップトップは、ワードドキュメントに関するファイル情報をスマートフォンにさらに送信し得る。マウスポインタ311がウィンドウeからウィンドウfに移動すると、ラップトップはもはやアイコン601を表示しない。一部の他の可能な実施では、ステップS203で、ユーザがウィンドウeからウィンドウfにアイコン336-1をドラッグしたことが検出されると、ラップトップは、ワードドキュメントに関するファイル情報をスマートフォンにさらに送信し得る。ステップS204の後で且つステップS205の前に、スマートフォンは、WeChatアプリケーションがワードドキュメントを受信可能(又は処理可能)であると判定する。特定方法は、WeChatアプリケーションが受信可能なファイルオブジェクトのプリセット条件をスマートフォンが特定するというものであり得る。ラップトップは、ワードドキュメントに関するファイル情報をプリセット条件と比較し、ファイル情報がプリセット条件を満たす場合、ラップトップは、WeChatアプリケーションがワードドキュメントを受信可能であると判定する。なお、WeChatアプリケーションによって受信可能なファイルオブジェクトのプリセット条件は、WeChatアプリケーションプログラムが書かれたときに決定され得る。例えば、プリセット条件は、WeChatアプリケーションによって受信可能なファイルオブジェクトの形式及び最大ファイルサイズを示し得る。一部の他の例では、ウィンドウfに電話アプリケーションのダイヤルインターフェイスが表示されている場合、電話アプリケーションはワードドキュメントを受信できないとスマートフォンが判定し、スマートフォンは第2のユーザインターフェイスに禁止サインを表示する。さらに別の可能な実施では、ラップトップによって生成されたアイコン601がドラッグプロセスで継続的に表示される。この場合、スマートフォンは第3の表示情報をラップトップに送信する。第3の表示情報は、電話アプリケーションがワードドキュメントを受信できないことを示すために用いられる。ラップトップは、第3の表示情報に基づいて、アイコン601上に禁止サインを表示し得る。禁止サインは、電話アプリケーションがワードドキュメントを受信できないことを示すために用いられる。加えて、スマートフォンは、第2の表示情報をラップトップに送信しない。
一部の他の可能な実施では、ステップS203で、ユーザがウィンドウeからウィンドウfにアイコン336-1をドラッグしたことが検出されると、ラップトップは、ワードドキュメントに関するファイル情報をスマートフォンにさらに送信し得る。スマートフォンは、ファイル情報に基づいて、ワードドキュメントに対応するファイルアイコンを生成及び表示し得る。ファイルアイコンは、ワードドキュメントのドラッグ位置を示すために用いられる。ステップS204の後で且つステップS205の前に、スマートフォンは、決定イベントに対応する入力ボックス408がワードドキュメントを受信可能(又は処理可能)であると判定する。すなわち、この実施形態では、決定イベントが受信されたとスマートフォンが判定した後に、スマートフォンは、決定イベントに対応する入力ボックス408を特定する。具体的には、スマートフォンは、ウィンドウマネージャ及びビューマネージャを介し且つ変換された座標情報に基づいて、入力ボックス408が決定イベントに対応することを特定し得る。そして、スマートフォンは、入力ボックス408によって受信可能なファイルオブジェクトのプリセット条件をワードドキュメントに関するファイル情報と比較して、入力ボックス408はワードドキュメントを受信可能であると判定する。例えば、プリセット条件は、WeChatアプリケーションによって受信可能なファイルオブジェクトの形式及び最大ファイルサイズを示し得る。一部の他の例では、決定イベントが、WeChatのアプリケーションインターフェイスの端から表示領域405にリフトのためにドラッグするドラッグイベントである場合、スマートフォンは、決定イベントに対応する表示領域405はワードドキュメントを受信できないと判定し、スマートフォンは、表示されたファイルアイコンに禁止サインを表示する。さらに別の可能な実施では、スマートフォンはファイルアイコンを生成せず、ラップトップによって生成されたアイコン601はドラッグプロセスで継続的に表示される。この場合、スマートフォンは第4の表示情報をラップトップに送信する。第4の表示情報は、表示領域405がワードドキュメントを受信できないことを示すために用いられる。ラップトップは、第4の指示情報に基づいて、アイコン601上に禁止サインを表示し得る。禁止サインは、表示領域405がワードドキュメントを受信できないことを示すために用いられる。加えて、スマートフォンは、第2の表示情報をラップトップに送信しない。
上記で本願の実施形態で提供されるデータ伝送プロセスを説明してきた。一部の実施形態では、スマートフォンがラップトップに投影された後に、ラップトップは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうか判定してもよい。つまり、予め設定されたイベント種類がラップトップ内の入力イベントを特定する既存のメカニズムと矛盾する場合、選択イベント/決定イベントを特定するメカニズムが特定基準として用いられる。例えば、予め設定された選択イベントはダブルタップイベントである。ラップトップ内の入力イベントを特定するための既存のメカニズムでは、ワードドキュメントのアイコンをダブルタップする入力イベントが、ワードドキュメントを開くイベントとして決定されている。しかしながら、プロジェクションシナリオでは、ユーザがワードドキュメントのアイコンをダブルタップすると、ラップトップは選択イベントが受信されたと判定し、ワードドキュメントに関するファイル情報を得ることができるが、ワードドキュメントを開かない。同様に、プロジェクションシナリオにおいて、スマートフォンは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうか判定し得る。予め設定されたイベント種類がスマートフォン内の入力イベントを特定する既存のメカニズムと矛盾する場合、選択イベント/決定イベントを特定するメカニズムが特定基準として用いられる。一部の可能な実施では、予め設定された選択イベント及び決定イベントのイベント種類は、一般的に用いられる入力イベントのイベント種類とは異なり得る。
一部の他の実施形態では、スマートフォンが表示コンテンツをラップトップに投影した後で、伝送すべきファイルオブジェクトが特定される前に、ユーザは、データ伝送コントロールを操作することにより、データ伝送機能を有効又は無効にし得る。データ伝送コントロールの表示方法については、図8に示すユーザインターフェイス81を参照されたい。例えば、データ伝送コントロール801が第1の状態で表示される場合、それは、データ伝送機能が有効であることを示し、ラップトップは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうかを判定し得る。予め設定されたイベント種類が、ラップトップ内の入力イベントを特定する既存のメカニズムと矛盾する場合、選択イベント/決定イベントを特定するメカニズムが特定基準として用いられる。データ伝送コントロール801が第2の状態で表示される場合、それは、データ伝送機能が無効であることを示し、ラップトップは選択イベント/決定イベントを特定しない。第1の状態は第2の状態とは異なる。可能な実施では、プロジェクションシナリオにおいて、データ伝送コントロール801は全てのウィンドウの前に常に表示されてもよく、データ伝送コントロール801の表示位置は調整され得る。
なお、スマートフォンのデータ伝送機能を有効又は無効にすることは、ラップトップのデータ伝送機能を有効又は無効することと同期される。具体的には、プロジェクションが有効にされた後に、ラップトップは、データ伝送機能が現在有効であるか無効であるかを示す情報をスマートフォンに送信する。プロジェクションプロセスでは、ユーザがデータ伝送機能の有効又は無効を切り替えると、ラップトップは、切り替えを示す情報をスマートフォンに送信する。同様に、データ伝送機能が有効になっている場合、スマートフォンは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうかを判定し得る。データ伝送機能が無効の場合、スマートフォンは選択イベント/決定イベントを判定しない。
なお、前述の実施形態は、プロジェクション装置の表示コンテンツが大画面装置に投影されるシナリオを説明している。実際の用途では、2つ以上のプロジェクション装置の表示コンテンツが大画面装置の表示インターフェイスに投影され得る。同様に、大画面装置のアプリケーションからプロジェクション装置のアプリケーションにデータが伝送されるか又はプロジェクション装置のアプリケーションから大画面装置のアプリケーションにデータが伝送される。
前述の実施形態は、本願の技術的解決策を説明することを意図したものにすぎず、本願を限定するものではない。本願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態に記録された技術的解決策に対する変更又はその技術的特徴の一部に対する同等の置き換えが依然行われ得ることを理解すべきである。
本願は、2019年9月18日に中国国家知識産権局に出願された、「データ伝送方法及び関連装置」と題する中国特許出願第201910883159.5号に対する優先権を主張し、その全体が参照により本願に組み込まれる。
本願は電子技術の分野に関し、特にデータ伝送方法及び関連装置に関する。
無線通信技術の急速な発展により、人々は、異なる装置のディスプレイウィンドウ内でデータをドラッグアンドドロップすることにより、異なる装置間のデータ伝送をプロジェクションシナリオで実現し得る。プロジェクションプロセスは次の通りである。携帯電話等の電子機器が大画面で構成されたラップトップ等の電子機器と接続を確立した後に、携帯電話はディスプレイに表示されたユーザインターフェイスを記録し、記録したコンテンツをラップトップに送信する。ラップトップは、ディスプレイの表示領域に、携帯電話から受信した記録されたコンテンツを表示する。このように、ラップトップ上のアプリケーション(application、app)のユーザインターフェイスはラップトップのディスプレイ上の第1のウィンドウに表示され、携帯電話のディスプレイ上のユーザインターフェイスは第2のウィンドウに表示され得る。
プロジェクションシナリオでは、ユーザは、ドラッグアンドドロップ(drag-and-drop)操作を行ってデータ伝送を実施し得る。例えば、ユーザが画像に対応するアイコンを第2のウィンドウから第1のウィンドウにドラッグしてリリースするドラッグアンドドロップ操作をラップトップが検出した場合、携帯電話は画像をラップトップに送信し、ラップトップは画像を受信し、画像を予め設定されたストレージアドレスに記憶する。
ユーザが該画像をラップトップのワードドキュメントに画像を挿入したい場合、ユーザは、ラップトップ上でワードアプリケーションを開き、画像を挿入するためのオプションを選択し、予め設定されたストレージアドレスから画像を探して、次に画像を追加するために選択する必要がある。その後、画像がワードドキュメントに表示される。前述の既存のデータ伝送方法では、ユーザがドラッグしたオブジェクトを所望のアプリケーションに挿入したい場合、ユーザは複数の操作を行う必要があることが分かる。その結果、データ共有効率が比較的低い。
本願は、プロジェクションシナリオにおいてユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを他の装置のアプリケーションと直接共有することができるように、データ伝送方法及び関連装置を提供する。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第1の態様によれば、本願はデータ共有方法を提供する。この方法は、第1の装置が第2の装置によって送信される第2のユーザインターフェイスのデータを受信することを含む。第2のユーザインターフェイスは、該第2の装置によって表示されているユーザインターフェイスであり、該第2のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。
前記第1の装置は、ディスプレイの第1の表示領域に第1のユーザインターフェイスを表示し、該ディスプレイの第2の表示領域に前記第2のユーザインターフェイスを表示する。該第1のユーザインターフェイスは、前記第1の装置上で動作している第1のアプリケーションのユーザインターフェイスである。前記第1の装置は、ファイルオブジェクトに対する第1の選択操作を検出する。前記第1の選択操作に応答して、前記第1の装置は、前記第1の選択操作に対応する第1の情報を、前記第2の装置が該第1の情報に基づいて選択された前記第1のファイルオブジェクトを特定するように、前記第2の装置に送信する。前記第1の装置は、前記第1の表示領域における第1の決定操作を検出する。前記第1の決定操作に応答して、前記第1の装置は、前記第1の決定操作に対応する第2の情報を、前記第2の装置が該第2の情報に基づいて前記第1の装置に前記第1のファイルオブジェクトを送信するように、前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記第1のファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供する。
第1の態様において提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第1のファイルオブジェクトは、第2のユーザインターフェイスに含まれる1つ以上のファイルオブジェクトのうちの1つ以上のファイルオブジェクトである。第1の情報は、第1の選択操作が変換された後に得られる命令及び座標情報であり得る。具体的には、第1の選択操作は、第1の装置のディスプレイ上で行われる。座標情報は、第2の装置の表示内容に対するものであり且つ第1の装置によって受信された元の入力命令の座標情報が変換された後に得られる座標情報である。命令は、第1の装置によって受信された元の入力命令が変換された後に、第2の装置によって認識可能な入力命令である。第2の情報は、第1の決定操作に対する応答であり得る。
第1の態様を参照して、一部の実施形態では、第2のユーザインターフェイス上での操作を検出した場合、第1の装置は変換された命令及び操作の座標情報を第2の装置に送信する。第2の装置は、受信した変換命令及び座標情報に従って対応する動作を行い得る。
第1の態様を参照して、一部の実施形態では、第1のファイルオブジェクトは、テキスト、画像、ビデオ、オーディオ、テキストファイル、ドキュメント(例えば、ワード、PPT又はExcel)等であり得る。任意で、第1のファイルオブジェクトがテキストの場合、第1の装置は、第2の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第1のアプリケーションのために第1のファイルオブジェクトを提供する。第1のファイルオブジェクトが別の非テキストファイルの場合、第1の装置は、第2の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第1のアプリケーションのために第1のファイルオブジェクトのストレージパスを提供する。
第1の態様を参照して、一部の実施形態では、異なる第1のアプリケーションは第1のファイルオブジェクトを異なる方法で処理し得る。可能な実施では、前記第1のアプリケーションは画像編集アプリケーション又はテキスト編集アプリケーションであり、前記第1のユーザインターフェイスは画像又はテキスト編集インターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第1の装置が前記第1のユーザインターフェイスの編集位置に、挿入された前記第1のファイルオブジェクトを表示することをさらに含む。該編集位置は、前記第1の選択操作が検出される前に前記第1のユーザインターフェイス上で編集されている位置であるか又は前記第1の決定操作に対応する位置である。第1の選択操作の前に第1のユーザインターフェイス上で編集されている位置は、編集インターフェイス上でカーソルを用いることにより決定され得る。例えば、図4Aに示すカーソル502の位置を参照する。挿入された第1のファイルオブジェクトを表示する方法については、図4Dに示すユーザインターフェイス53を参照されたい。このように、第2の装置内の第1のファイルオブジェクトは、第1の装置上の画像編集アプリケーション又はテキスト編集アプリケーションに簡便に挿入され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションはインスタントメッセージングアプリケーションであり、前記第1のユーザインターフェイスは該インスタントメッセージングアプリケーションのチャットインターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第1の装置が、前記第1のアプリケーションを介して前記第1のファイルオブジェクトを送信し、前記第1のアプリケーションの送信メッセージ内に前記第1のファイルオブジェクトを表示することをさらに含む。この可能な実施については、図5Aに対応する実施形態を参照されたい。第1のユーザインターフェイスは、図5Aのウィンドウcに一例として示されるユーザインターフェイスであり得る。第1のファイルオブジェクトは、アイコン368として表示され得る。このように、第2の装置内の第1のファイルオブジェクトは、第1の装置上のインスタントメッセージングアプリケーションを介して簡便に送信され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションは文書管理アプリケーションである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供することの後に、前記方法は、前記第1の装置が、前記第1のファイルオブジェクトのサムネイル及び前記第1のファイルオブジェクトに関する名前情報を前記第1のユーザインターフェイス上に表示することをさらに含む。この可能な実施形態については、図5Cに対応する実施形態を参照されたい。第1のユーザインターフェイスは、図5Cのウィンドウcに一例として示すユーザインターフェイスであり得る。第1のファイルオブジェクトはサムネイル(すなわち、アイコン365)として表示され得る。このように、第2の装置内の第1のファイルオブジェクトが第1の装置の文書管理アプリケーションに簡便に記憶され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションは電子メールアプリケーションであり、前記第1のユーザインターフェイスは送信すべき電子メールの編集インターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのパスを提供することの後に、前記方法は、前記第1の装置が、前記第1のファイルオブジェクトを、前記送信すべき電子メールの添付ファイルとして前記第1のユーザインターフェイス上に表示することをさらに含む。このように、第2の装置内の第1のファイルオブジェクトが、送信すべき電子メールの添付ファイルとして簡便に追加され得る。これは、データ共有効率を改善する。
第1の態様を参照して、一部の実施形態では、本方法は、第1の装置が、ディスプレイの第3の表示領域にステータスバーを表示することであって、該ステータスバーには1つ以上のアプリケーションアイコンが表示される、ことをさらに含む。第1の装置は第4のファイルオブジェクトに対する第4の選択操作を検出する。第4の選択操作に応答して、第1の装置は第4の選択操作に対応する第5の情報を、第2の装置が該第5の情報に基づいて第4のファイルオブジェクトを特定するように第2の装置に送信する。第1の装置は、第3の表示領域内のアプリケーションアイコンの第4の決定操作を検出する。第4の決定操作に応答して、第1の装置は、第4の決定操作に対応する第6の情報を、第2の装置が該第6の情報に基づいて第4のファイルオブジェクトを第1の装置に送信するように第2の装置に送信する。第1の装置は、第2の装置によって送信される第4のファイルオブジェクトを受信し、第4のファイルオブジェクトを記憶し、決定されたアプリケーションアイコンによって示されるアプリケーションのために第4のファイルオブジェクトのストレージパスを提供するか又は第4のファイルオブジェクトを提供する。この可能な実施形態については図5Dに対応する実施形態を参照されたい。第4のファイルオブジェクトは固定表示されたファイル情報として表示され得る。このように、第2の装置内の第4のファイルオブジェクトは、処理のためにステータスバー内のアプリケーションに簡便に伝送され得る。これは、データ共有効率を改善する。
第1の態様を参照して、一部の実施形態では、第1の装置が第2の装置に第1の決定操作に対応する第2の情報を送信する前に、第1の装置は第1のアプリケーションが第1のファイルオブジェクトを受信することができると判定する。具体的には、第1の装置が第2の装置に第1の決定操作に対応する第2の情報を送信する前に、本方法は、第1の装置が第2の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報はファイルの形式及び/又はサイズを含む。第1の装置は、第1のアプリケーションが受信可能なファイルのプリセット条件を特定する。プリセット条件は第1のアプリケーションが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第1の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第1の装置は、第1のアプリケーションが第1のファイルオブジェクトを処理できる場合にのみ、第1の決定操作に対応する第2の情報を第2の装置に送信する。これにより、第1のアプリケーションが第1のファイルオブジェクトを処理できず、第1の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第1の態様を参照して、一部の実施形態では、第1の決定操作は、第1の表示領域内の第2のコントロールに作用し、第1の装置が第1の決定操作に対応する第2の情報を第2の装置に送信する前に、第1の装置は、第1の決定操作に対応する第2のコントロールが第1のファイルオブジェクトを受信可能であると判定する。具体的には、第1の装置が第1の決定操作に対応する第2の情報を第2の装置に送信する前に、本方法は、第1の装置が、第2の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報は、ファイルの形式及び/又はサイズを含む。第1の装置は、第1のコントロールが受信可能なファイルのプリセット条件を特定する。プリセット条件は、第2のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第1の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第1の装置は、第2のコントロールに対応するプログラムが第1のファイルオブジェクトを処理できる場合に、第1の決定操作に対応する第2の情報を第2の装置に送信する。これにより、第1のアプリケーションが第1のファイルオブジェクトを処理できず、第1の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第1の態様を参照して、一部の実施形態では、第1のアプリケーションが選択された第2のファイルオブジェクトを受信できないと判定された場合、第1の装置は禁止サインを表示し得る。具体的には、本方法は、第1の装置が第2のファイルオブジェクトに対する第2の選択操作を検出することをさらに含む。前記第2の選択操作に応答して、前記第1の装置は、前記第2の選択操作に対応する第3の情報を、前記第2の装置が該第3の情報に基づいて前記第2のファイルオブジェクトを特定するように前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記第2のファイルオブジェクトに関するファイル情報を受信する。該ファイル情報は前記ファイルの形式及び/又はサイズを含む。前記第1の装置は、前記第1の表示領域での第2の決定操作を検出する。前記第2の決定操作に応答して、前記第1の装置は、前記第1のアプリケーションによって受信可能なファイルのプリセット条件を特定する。該プリセット条件は、前記第1のアプリケーションによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。前記第1の装置は、前記プリセット条件及び前記第2のファイルオブジェクトに関するファイル情報に基づいて、前記第2のファイルオブジェクトが前記プリセット条件を満たしていないと判定する。前記第1の装置は、前記第2の決定操作に対応する領域に禁止サインを表示する。該禁止サインは、前記第1のアプリケーションが前記第2のファイルオブジェクトを受信できないことを示すために用いられる。また、第1の装置は、第1のアプリケーションが何故第2のファイルオブジェクトを受信できないかの詳細な理由を表示し得る。例えば、第2のファイルオブジェクトのサイズが大きすぎること又は第2のファイルオブジェクトの形式が誤っていること及び受信可能なファイル形式はXX(本明細書では特定の形式であり得る)であること等である。このように、ユーザは、禁止サインを介して、第1のアプリケーションは第2のファイルオブジェクトを処理できないことを知ることができ、ユーザは、禁止サインに促されることに基づいて、ファイルを処理するアプリケーションを変更するか又は処理する必要があるファイルを調整し得る。
第1の態様を参照して、一部の実施形態では、第1の装置は第3のファイルオブジェクトに対する第3の選択操作を検出する。前記第3の選択操作に応答して、前記第1の装置は、前記第3の選択操作に対応する第4の情報を、前記第2の装置が該第4の情報に基づいて前記第3のファイルオブジェクトを決定するように、前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記第3のファイルオブジェクトに関するファイル情報を受信する。該ファイル情報は、前記第1のファイルオブジェクトの形式、サイズ、アイコン、名前及び作成/変更日のうちの1つ以上を含む。前記第1の装置は、前記ファイル情報に基づいてファイルアイコンを生成及び表示する。該ファイルアイコンは、前記第1のファイルオブジェクトのドラッグ位置を示すために用いられる。前記第1の装置は、前記第1のユーザインターフェイス上の第1のコントロールに対するドラッグ操作を検出する。前記ドラッグ操作に応答して、前記第1の装置は、前記第1のコントロールによって受信可能なファイルのプリセット条件を特定する。該プリセット条件は、前記第1のコントロールによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。前記第1の装置は、前記プリセット条件及び前記第3のファイルオブジェクトに関するファイル情報に基づいて、前記第3のファイルオブジェクトが前記プリセット条件を満たしていないと判定する。前記第1の装置は、前記ファイルアイコン上に禁止サインを表示する。該禁止サインは、前記第1のコントロールが前記第3のファイルオブジェクトを受信できないことを示すために用いられる。例えば、ファイルアイコンについては、図4Cのアイコン505を参照された。このように、ユーザは、第1の決定操作の入力位置を簡便に決定できるように、第1のファイルオブジェクトのドラッグ位置を直感的に見ることができる。例えば、禁止サインについては、図4Eのアイコン503を参照されたい。このように、ユーザは、第1のコントロールが第3のファイルオブジェクトを受信できないことを簡便に学ぶことができるため、ユーザは、第3のファイルオブジェクトを処理するために適切なコントロールを簡便に選択できる。
第1の態様を参照して、一部の実施形態では、第1の選択操作はタッチアンドホールド操作であり、第1の決定操作はリフト(lift)操作である。つまり、第2の装置のアプリケーションデータは、第1のファイルオブジェクトを第2のユーザインターフェイスから第1のユーザインターフェイスにドラッグしてリリースするドラッグアンドドロップ操作、すなわち操作を入力することによって、第1の装置のアプリケーションと直接共有され得る。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。任意で、第1の選択操作は、代替的に、ドラッグ操作又はタップ操作又はダブルタップ操作又はフォースタッチ(force touch)操作等であり得る。第1の決定操作は、代替的に、タップ操作又はダブルタップ操作又はフォースタッチ操作等であり得る。
第1の態様を参照して、一部の実施形態では、本方法は、第1の装置が第5のファイルオブジェクトに対するタッチアンドホールド操作を検出することをさらに含む。タッチホールド操作に応答して、第1の装置は、タッチホールド操作に対応する第7の情報を、第2の装置が該第7の情報に基づいて第5のファイルオブジェクトを特定するように第2の装置に送信する。ドラッグ操作が第2のユーザインターフェイスから第1のユーザインターフェイスへ移動したことを第1の装置が検出すると、第1の装置は第8の情報を、第2の装置が第8の情報に基づいて第5のファイルオブジェクトを第1の装置に送信するように第2の装置に送信する。第1の装置は第2の装置によって送信された第5のファイルオブジェクトを受信し、第5のファイルオブジェクトを記憶する。第1の装置は第1の表示領域でのリフト操作を検出する。リフト操作に応答して、第1の装置は、第1のアプリケーションのために第5のファイルオブジェクトのストレージパスを提供するか又は第5のファイルオブジェクトを提供する。このように、ドラッグ操作が第2のユーザインターフェイスから第1のユーザインターフェイスに移動した場合、第1の装置は、第2の装置が第5のファイルオブジェクトを第1の装置に送信するよう示すため、第1の装置は第5のファイルオブジェクトをより早く受信できることにより、データ共有効率が改善される。
第2の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置がディスプレイの第2の表示領域に第2のユーザインターフェイスを表示するように、第2の装置が該第2のユーザインターフェイスのデータを該第1の装置に送信することを含む。該第2のユーザインターフェイスは前記第2の装置によって表示されるユーザインターフェイスであり、第2のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。第1のユーザインターフェイスは前記第1の装置のディスプレイの第1の表示領域に表示され、該第1のユーザインターフェイスは前記第1の装置上で動作する第1のアプリケーションのユーザインターフェイスである。前記第2の装置は、前記第1の装置によって送信される第1の情報を受信する。前記第2の装置は、前記第1の情報に基づいて選択された第1のファイルオブジェクトを特定する。該第1の情報は、ファイルオブジェクトに対する選択操作に対応する、第1の装置によって受信される情報である。前記第2の装置は第1の装置によって送信される第2の情報を受信し、第2の装置は第2の情報に基づいて第1の装置に第1のファイルオブジェクトを送信する。第1のファイルオブジェクトが第1のアプリケーションのために提供される。
第2の態様において提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第2の態様を参照して、一部の実施形態では、方法は、第2の装置が、第1の情報に基づいて、第1のファイルオブジェクトに関するファイル情報を第1の装置に送信することを含む。ファイル情報には、ファイルの形式、サイズ、アイコン、名前、及び作成/変更日のうちの1つ以上を含む。このようにして、第1の装置は、ファイル情報に基づいて、第1のファイルオブジェクトのファイルアイコンを簡便に表示し得る。
第3の態様によれば、本願の実施形態はデータ伝送方法を提供する。この方法は、第1の装置が第2の装置によって送信される第2のユーザインターフェイスのデータを受信することを含む。該第2のユーザインターフェイスは該第2の装置によって表示されているユーザインターフェイスである。前記第1の装置は、ディスプレイの第1の表示領域に第1のユーザインターフェイスを表示し、該ディスプレイの第2の表示領域に前記第2のユーザインターフェイスを表示する。該第1のユーザインターフェイスは、前記第1の装置上で動作している第1のアプリケーションのユーザインターフェイスであり、第1のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第1の装置は、ファイルオブジェクトに対する第1の選択操作を検出する。前記第1の選択操作に応答して、前記第1の装置は、選択された第1のファイルオブジェクトを特定する。前記第1の装置は、前記第2の表示領域での第1の決定操作を検出する。前記第1の決定操作に応答して、前記第1の装置は、前記第1の決定操作に対応する第1の情報を、前記第2の装置が、前記第1の情報に基づいて前記第2の情報を前記第1の装置に送信するように、前記第2の装置に送信する。第2の情報は、第1のファイルオブジェクトを第2の装置に送信するよう第1の装置に示すために用いられる。前記第1の装置は、前記第2の装置によって送信される受信した第2の情報に基づいて第1のファイルオブジェクトを第2の装置に送信する。前記第2のアプリケーションのために前記第1のファイルオブジェクトが提供される。
第3の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第4の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置がディスプレイの第2の表示領域に第2のユーザインターフェイスを表示するように、第2の装置が該第2のユーザインターフェイスのデータを該第1の装置に送信することを含む。、該第2のユーザインターフェイスは前記第2の装置によって表示されている第2のアプリケーションのユーザインターフェイスであり、第1のユーザインターフェイスは前記第1の装置のディスプレイの第1の表示領域に表示されている第1のアプリケーションのユーザインターフェイスであり、該第1のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第2の装置は、前記第1の装置によって送信される第1の情報を受信する。該第1の情報は、前記第1の装置によって検出される、前記第2の表示領域での第1の決定操作に対応する情報である。前記第2の装置は、前記第1の情報に基づいて第2の情報を前記第1の装置に送信する。該第2の情報は、第1のファイルオブジェクトを前記第2の装置に送信するよう前記第1の装置に示すために用いられ、前記第1のファイルオブジェクトは、前記第1の装置によって検出される第1の選択操作によって決定される。前記第2の装置は、前記第1の装置によって送信される前記第1のファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供する。
第4の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第1のファイルオブジェクトは、第1のユーザインターフェイスに含まれる1つ以上のファイルオブジェクトのうちの1つ以上のファイルオブジェクトである。第4の態様を参照して、一部の実施形態では、第1のファイルオブジェクトは、テキスト、画像、ビデオ、オーディオ、テキストファイル、ドキュメント(例えば、ワード、PPT又はExcel)等であり得る。任意で、第1のファイルオブジェクトがテキストの場合、第2の装置は、第1の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第2のアプリケーションのために第1のファイルオブジェクトを提供する。第1のファイルオブジェクトが別の非テキストファイルの場合、第2の装置は、第1の装置によって送信される第1のファイルオブジェクトを受信し、第1のファイルオブジェクトを記憶し、第2のアプリケーションのために第1のファイルオブジェクトのストレージパスを提供する。
第4の態様を参照して、一部の実施形態では、異なる第2のアプリケーションは第1のファイルオブジェクトを異なる方法で処理し得る。可能な実施では、前記第2のアプリケーションは画像編集アプリケーション又はテキスト編集アプリケーションであり、前記第2のユーザインターフェイスは画像又はテキスト編集インターフェイスである。前記第1のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第2の装置が前記第2のユーザインターフェイスの編集位置に、挿入された前記第1のファイルオブジェクトを表示することをさらに含む。該編集位置は、前記第1の選択操作が検出される前に前記第2のユーザインターフェイス上で編集されている位置であるか又は前記第1の決定操作に対応する位置である。第1の選択操作の前に第1のユーザインターフェイス上で編集されている位置は、編集インターフェイス上でカーソルを用いることにより決定され得る。このように、第1の装置内の第1のファイルオブジェクトは、第2の装置上の画像編集アプリケーション又はテキスト編集アプリケーションに簡便に挿入され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第2のアプリケーションはインスタントメッセージングアプリケーションであり、前記第2のユーザインターフェイスは該インスタントメッセージングアプリケーションのチャットインターフェイスである。前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供することの後に、前記方法は、前記第2の装置が、前記第2のアプリケーションを介して前記第1のファイルオブジェクトを送信し、前記第2のアプリケーションの送信メッセージ内に前記第1のファイルオブジェクトを表示することをさらに含む。この可能な実施については、図6Bに対応する実施形態を参照されたい。第1のユーザインターフェイスは、図6Bのウィンドウeに一例として示されるユーザインターフェイスであり得る。第2のユーザインターフェイスは図6Bのウィンドウfに一例として示すWechatアプリケーションのインターフェイスであり得る。第1のファイルオブジェクトは、アイコン605として表示され得る。このように、第1の装置内の第1のファイルオブジェクトは、第2の装置上のインスタントメッセージングアプリケーションを介して簡便に送信され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第2のアプリケーションは文書管理アプリケーションである。前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供することの後に、前記方法は、前記第2の装置が、前記第1のファイルオブジェクトのサムネイル及び前記第1のファイルオブジェクトに関する名前情報を前記第2のユーザインターフェイス上に表示することをさらに含む。このように、第1の装置内の第1のファイルオブジェクトが第2の装置のドキュメント管理アプリケーションに簡便に記憶され得る。これは、データ共有効率を改善する。
別の可能な実施では、前記第1のアプリケーションは電子メールアプリケーションであり、前記第2のユーザインターフェイスは送信すべき電子メールの編集インターフェイスである。前記第2のアプリケーションのために前記第1のファイルオブジェクトのパスを提供することの後に、前記方法は、前記第2の装置が、第2のファイルオブジェクトを、前記送信すべき電子メールの添付ファイルとして前記第2のユーザインターフェイス上に表示することをさらに含む。このように、第1の装置内の第1のファイルオブジェクトが、第2の装置内の送信すべき電子メールの添付ファイルとして簡便に追加され得る。これは、データ共有効率を改善する。
別の可能な実施では、第2のアプリケーションはデスクトップアプリケーションであり、第1の決定操作はアプリケーションアイコンに作用し、第2のユーザインターフェイスは第2の装置のホームインターフェイスであり、ホームインターフェイスは1つ以上のアプリケーションアイコンを含む。第2のアプリケーションのために第1のファイルオブジェクトのパスを提供した後に、前記方法は、第2の装置は、決定されたアプリケーションアイコンに対応するアプリケーションのために、第2のファイルオブジェクトのパスを提供することをさらに含む。このように、第1の装置内の第1のファイルは、処理のためにアプリケーションアイコンに対応するアプリケーションに簡便に伝送され得る。これは、データ共有効率を改善する。
第4の態様を参照して、一部の実施形態では、第2の装置が、第1の情報に基づいて第の装置に第2の情報を送信する前に、第2の装置は第2のアプリケーションが第1のファイルオブジェクトを受信することができると判定する。具体的には、第2の装置が第1の情報に基づいて第1の装置に第2の情報を送信する前に、本方法は、第2の装置が第1の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報はファイルの形式及び/又はサイズを含む。第2の装置は、第1の情報に基づいて、第2の決定操作が受信されたと判定する。第2の装置は、第2の決定操作に基づいて、第2のアプリケーションが受信可能なファイルのプリセット条件を特定する。プリセット条件は第2のアプリケーションが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第2の装置は、第2のアプリケーションが第1のファイルオブジェクトを処理できる場合にのみ、第2の情報を第1の装置に送信する。これにより、第2のアプリケーションが第1のファイルオブジェクトを処理できず、第2の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第4の態様を参照して、一部の実施形態では、第1の決定操作は、第2の表示領域内の第3のコントロールに作用する。第2の装置が、第1の情報に基づいて、第2の情報を第2の装置に送信する前に、第2の装置は、第3のコントロールが第1のファイルオブジェクトを受信可能であると判定する。具体的には、第2の装置が、第1の情報に基づいて、第2の情報を第1の装置に送信する前に、本方法は、第2の装置が、第1の装置によって送信される第1のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報は、ファイルの形式及び/又はサイズを含む。第2の装置は、第1のコントロールが受信可能なファイルのプリセット条件を特定する。プリセット条件は、第1のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第1のファイルオブジェクトに関するファイル情報に基づいて、第1のファイルオブジェクトがプリセット条件を満たすと判定する。このように、第2の装置は、第3のコントロールに対応するプログラムが第1のファイルオブジェクトを処理できる場合にのみ、第2の情報を第1の装置に送信する。これにより、第3のコントロールに対応するプログラムが第1のファイルオブジェクトを処理できず、第2の装置が無効な(又は処理不能な)データを受信した場合に、記憶領域が無駄になるという問題を回避できる。
第4の態様を参照して、一部の実施形態では、第2のアプリケーションが選択された第2のファイルオブジェクトを受信できないと判定された場合、第2の装置は禁止サインを表示し得るか又は第4の情報を第1の装置に送信し得る。第4の情報は禁止サインを表示するよう第1の装置に示すために用いられる。具体的には、本方法は、第2の装置が第1の装置によって送信される第2のファイルオブジェクトに関するファイル情報を受信することをさらに含む。該ファイル情報は前記ファイルの形式及び/又はサイズを含む。第2のファイルオブジェクトは、第1の装置によって検出される第2の選択操作によって決定される。第2の装置は第1の装置によって送信される第3の情報を受信する。第3の情報は、第1の装置によって検出される第1の表示領域での第3の決定操作に対応する情報である。第2の装置は、第3の情報に基づいて、第4の決定操作が受信されたと判定する。前記第4の決定操作に応答して、前記第2の装置は、前記第2のアプリケーションによって受信可能なファイルのプリセット条件を特定する。該プリセット条件は、前記第2のアプリケーションによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。前記第2の装置は、前記プリセット条件及び前記第2のファイルオブジェクトに関するファイル情報に基づいて、前記第2のファイルオブジェクトが前記プリセット条件を満たしていないと判定する。前記第2の装置は第4の情報を第1の装置に送信する。第4の情報は、第3の決定操作に対応する領域に禁止サインを表示するよう第1の装置に示すために用いられる。該禁止サインは、前記第2のアプリケーションが前記第2のファイルオブジェクトを受信できないことを示すために用いられる。あるいは、第2の装置は、第2のユーザインターフェイスに対する第4の決定操作に対応する領域に禁止サインを表示する。該禁止サインは、前記第2のアプリケーションが前記第2のファイルオブジェクトを受信できないことを示すために用いられる。また、第1の装置又は第2の装置は、第2のアプリケーションが何故第2のファイルオブジェクトを受信できないかの詳細な理由を表示し得る。例えば、第2のファイルオブジェクトのサイズが大きすぎること又は第2のファイルオブジェクトの形式が誤っていること及び受信可能なファイル形式はXX(本明細書では特定の形式であり得る)であること等である。このように、ユーザは、禁止サインを介して、第2のアプリケーションは第2のファイルオブジェクトを処理できないことを知ることができ、ユーザは、禁止サインに促されることに基づいて、ファイルを処理するアプリケーションを変更するか又は処理する必要があるファイルを調整し得る。
第4の態様を参照して、一部の実施形態では、本方法は、第2の装置が、第1の装置によって送信される第3のファイルオブジェクトに関するファイル情報を受信することをさらに含む。ファイル情報は、第3のファイルオブジェクトの形式及び/又はサイズを含み、第3のファイルオブジェクトは、第1の装置によって検出される第2の選択操作によって決定される。第2の装置は、第1の装置によって送信される第4の情報を受信する。第4の情報は、第1の装置によって検出される、第2の表示領域内の第1のコントロールに対するドラッグ操作に対応する情報であり、第3のファイルオブジェクトのファイルアイコンがドラッグ操作の位置に表示される。第2の装置は、第4の情報に基づいて、第1のコントロールによって受信可能なファイルのプリセット条件を特定する。プリセット条件は、第1のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第3のファイルオブジェクトに関するファイル情報に基づいて、第3のファイルオブジェクトはプリセット条件を満たしていないと判定する。第2の装置は第5の情報を第1の装置に送信する。第5の情報は、ファイルアイコンに禁止サインを表示するよう第1の装置に示すために用いられる。禁止サインは、第1のコントロールが第3のファイルオブジェクトを受信できないことを示すために用いられる。このように、ユーザは、第1のコントロールが第3のファイルオブジェクトを受信できないことを簡便に学ぶことができるため、ユーザは、第3のファイルオブジェクトを処理するために適切な制御を簡便に選択できる。
第4の態様を参照すると、いくつかの実施形態では、本方法は、さらに、第2の装置が、第1の装置によって送信された第4のファイルオブジェクトに関するファイル情報を受信することを含む。該ファイル情報は、前記第4のファイルオブジェクトの形式、サイズ、アイコン、名前及び作成/変更日のうちの1つ以上を含む。第4のファイルオブジェクトは、第1の装置によって検出される第3の選択操作によって決定される。第2の装置は、第1の装置から送信される第6の情報を受信する。第6の情報は、第1の装置によって検出される、第2の表示領域内の第2のコントロールに対するドラッグ操作に対応する情報であり、第6の情報は、ドラッグ操作に対応する位置を示す。第2の装置は、ファイル情報及び第6の情報に基づいて、ドラッグ操作の位置に第4のファイルオブジェクトのアイコンを表示する。第2の装置は、第6の情報に基づいて、第2のコントロールによって受信可能なファイルのプリセット条件を特定する。プリセット条件は、第2のコントロールが受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示す。第2の装置は、プリセット条件及び第4のファイルオブジェクトに関するファイル情報に基づいて、第4のファイルオブジェクトはプリセット条件を満たしていないと判定する。第2の装置はファイルアイコン上に禁止サインを表示する。禁止サインは、第2のコントロールが第4のファイルオブジェクトを受信できないことを示すために用いられる。このように、ユーザは、第2のコントロールが第4のファイルオブジェクトを受信できないことを簡便に学ぶことができるため、ユーザは、第4のファイルオブジェクトを処理するために適切な制御を簡便に選択できる。
第4の態様に関して、一部の実施形態では、第1の選択操作はタッチアンドホールド操作であり、第1の決定操作はドラッグ操作のリフト(lift)操作である。つまり、第2の装置のアプリケーションデータは、第1のファイルオブジェクトを第2のユーザインターフェイスから第1のユーザインターフェイスにドラッグしてリリースするドラッグアンドドロップ操作、すなわち操作を入力することによって、第1の装置のアプリケーションと直接共有され得る。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。任意で、第1の選択操作は、代替的に、ドラッグ操作又はタップ操作又はダブルタップ操作又はフォースタッチ(force touch)操作等であり得る。第1の決定操作は、代替的に、タップ操作又はダブルタップ操作又はフォースタッチ操作等であり得る。
第5の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置が、第2の装置によって送信される第2のユーザインターフェイスのデータを受信することを含む。該第2のユーザインターフェイスは該第2の装置によって表示されているユーザインターフェイスであり、該第2のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第1の装置は、ディスプレイの第1の表示領域に第1のユーザインターフェイスを表示し、該ディスプレイの第2の表示領域に前記第2のユーザインターフェイスを表示する。該第1のユーザインターフェイスは、前記第1の装置上で動作している第1のアプリケーションのユーザインターフェイスである。前記第1の装置は、ファイルオブジェクトに対するタッチアンドホールド操作を検出する。前記タッチアンドホールド操作に応答して、前記第1の装置は、前記タッチアンドホールド操作に対応する命令及び座標情報を、前記第2の装置が、前記タッチアンドホールド操作に対応する命令及び座標情報に基づいて選択されたファイルオブジェクトを決定するように前記第2の装置に送信する。前記第1の装置は、前記第1の表示領域でのリフト操作を検出する。前記リフト操作に応答して、前記第1の装置は、前記リフト操作に対応する命令及び座標情報を、前記第2の装置が、前記リフト操作に対応する命令及び座標情報に基づいて前記ファイルオブジェクトを前記第1の装置に送信するように、前記第2の装置に送信する。前記第1の装置は、前記第2の装置によって送信される前記ファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第1のアプリケーションのために前記ファイルオブジェクトのストレージパスを提供するか又は前記ファイルオブジェクトを提供する。
第5の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第6の態様によれば、本願の実施形態はデータ伝送方法を提供する。当該方法は、第1の装置がディスプレイの第2の表示領域に第2のユーザインターフェイスを表示するように、第2の装置が該第2のユーザインターフェイスのデータを該第1の装置に送信することを含む。該第2のユーザインターフェイスは前記第2の装置によって表示され、前記第2の装置上で動作する第2のアプリケーションのユーザインターフェイスであり、第1のユーザインターフェイスは前記第1の装置のディスプレイの第1の表示領域に表示され、該第1のユーザインターフェイスは前記第1の装置上で動作する第1のアプリケーションのユーザインターフェイスであり、該第1のユーザインターフェイスは1つ以上のファイルオブジェクトを含む。前記第2の装置は、前記第1の装置によって送信される第1の情報を受信する。該第1の情報は、前記第1の装置によって検出される、前記第2の表示領域でのリフト操作に対応する情報である。前記第2の装置は、前記第1の情報に基づいて第2の情報を前記第1の装置に送信する。該第2の情報は、第1のファイルオブジェクトを前記第2の装置に送信するよう前記第1の装置に示すために用いられ、前記第1のファイルオブジェクトは、前記第1の装置によって検出されるタッチアンドホールド操作によって決定される。前記第2の装置は、前記第1の装置によって送信される前記第1のファイルオブジェクトを受信し、前記第1のファイルオブジェクトを記憶し、前記第2のアプリケーションのために前記第1のファイルオブジェクトのストレージパスを提供するか又は前記第1のファイルオブジェクトを提供する。
第6の態様で提供される方法によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
第7の態様によれば、本願の実施形態は電子装置を提供する。電子装置は、第1の装置として用いられ、電子装置は1つ以上のプロセッサ、メモリ及びディスプレイを含む。メモリは1つ以上のプロセッサに連結され、メモリはプログラムコードを記憶するように構成され、1つ以上のプロセッサは、電子装置が第1の態様又は第1の態様の可能な実施のいずれか1つに記載の方法を行うか又は第3の態様又は第3の態様の可能な実施のいずれか1つに記載の方法を行うか又は第5の態様又は第5の態様の可能な実施のいずれか1つに記載の方法を行うことができるようにプログラムコードを呼び出す。
第8の態様によれば、本願の実施形態は電子装置を提供する。電子装置は、第2の装置として用いられ、電子装置は1つ以上のプロセッサ、メモリ及びディスプレイを含む。メモリは1つ以上のプロセッサに連結され、メモリはプログラムコードを記憶するように構成され、1つ以上のプロセッサは、電子装置が第2の態様又は第2の態様の可能な実施のいずれか1つに記載の方法を行うか又は第4の態様又は第4の態様の可能な実施のいずれか1つに記載の方法を行うか又は第6の態様又は第6の態様の可能な実施のいずれか1つに記載の方法を行うことができるようにプログラムコードを呼び出す。
第9の態様によれば、本願は、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品が電子装置上で実行された場合、電子装置は、第1の態様~第6の態様のいずれか1つ又は第1の態様~第6の態様の任意の可能な実施に記載の方法を行うことができる。
第10の態様によれば、本願は、命令を含むコンピュータ読み取り可能記憶媒体を提供する。前記命令が電子装置上で実行された場合、電子装置は、第1の態様~第6の態様のいずれか1つ又は第1の態様~第6の態様の任意の可能な実施に記載の方法を行うことができる。
本願で提供される技術的解決策によれば、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを別の装置のアプリケーションと直接共有できる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
図1Aは、本願の一実施形態に係るプロジェクションシステムの概略図である。
図1Bは、本願の一実施形態に係る、プロジェクションシナリオにおける大画面装置のディスプレイ上のユーザインターフェイスの概略図である。
図2Aは、本願の一実施形態に係る電子装置の構造の概略図である。
図2Bは、本願の一実施形態に係る別の電子装置の構造の概略図である。
図2Cは、本願の一実施形態に係るプロジェクション装置100のソフトウェア構造のブロック図である。
図2Dは、本願の一実施形態に係る大画面装置200のソフトウェア構造のブロック図である。
図3Aは、本願の一実施形態に係るプロジェクション装置100上の「プロジェクション」機能を有効にする操作の概略図である。
図3Bは、本願の一実施形態に係るプロジェクション装置100上の「プロジェクション」機能を有効にする別の操作の概略図である。
図3Cは、本願の一実施形態に係るプロジェクション装置100上に「プロジェクション」設定オプションを表示するためのユーザインターフェイスの概略図である。
図4Aは、本願の実施形態に係るスマートフォンの画面をラップトップに投影するユーザインターフェイスの概略図である。
図4Bは、本願の一実施形態に係るデータ伝送方法のフローチャートである。
図4Cは、本願の一実施形態に係るアイコンを表示するためのユーザインターフェイスの概略図である。
図4Dは、本願の一実施形態に係るファイル編集領域内の画像を表示するためのユーザインターフェイスの概略図である。
図4Eは、本願の一実施形態に係る禁止サインを表示するためのユーザインターフェイスの概略図である。
図5Aは、本願の一実施形態に係るスマートフォンの画面をラップトップに投影する別のユーザインターフェイスの概略図である。
図5Bは、本願の一実施形態に係るチャットレコードを表示するためのユーザインターフェイスの概略図である。
図5Cは、本願の一実施形態に係るスマートフォンの画面をラップトップに投影する別のユーザインターフェイスの概略図である。
図5Dは、本願の一実施形態に係る、WeChatアプリケーションの最近の閲覧履歴リストを表示するためのユーザインターフェイスの概略図である。
図6Aは、本願の一実施形態に係る、スマートフォンの画面をラップトップに投影する別のユーザインターフェイスの概略図である。
図6Bは、本願の一実施形態に係るチャットインターフェイスを表示するための別のユーザインターフェイスの概略図である。
図6Cは、本願の一実施形態に係るチャットレコードを表示するための別のユーザインターフェイスの概略図である。
図7は、本願の一実施形態に係る別のデータ伝送方法のフローチャートである。
図8は、本願の一実施形態に係るデータ伝送コントロールを表示するためのユーザインターフェイスの概略図である。
添付の図面を参照しながら、本願の実施形態における技術的解決策を以下で明確に且つ詳細に説明する。本願の実施形態の説明において、「/」は、別段定めがない限り「又は」を意味する。例えば、A/BはA又はBを表し得る。本明細書において、「及び/又は」という用語は、関連するオブジェクトを説明するための関連を説明するにすぎず、3つの関係が存在し得ることを表す。例えば、A及び/又はBは、Aのみが存在する場合、A及びBの両方が存在する場合及びBのみが存在する場合という3つの場合を表す。加えて、本願の実施形態の説明では、「複数の」とは2つ以上を意味する。
以下の「第1」及び「第2」という用語は説明を目的にしたものにすぎず、相対的重要性を示すか若しくは含意すること又は示された技術的特徴の数を暗示的に示すものとして理解すべきではない。したがって、「第1」又は「第2」によって限定される特徴は1つ以上の特徴を明示的又は暗示的に含み得る。
本願の明細書、特許請求の範囲及び添付の図面における「ユーザインターフェイス(user interface、UI)」という用語は、ユーザとアプリケーション又はオペレーティングシステムとの間でのやりとり及び情報交換のための媒体インターフェイスであり、内部の形態の情報とユーザが許容可能形態との間で変換を実施する。アプリケーションのユーザインターフェイスは、Java又は拡張可能なマークアップ言語(extensible markup language、XML)等の特定のコンピュータ言語で書かれたソースコードである。インターフェイスソースコードは、電子装置上でパース及びレンダリングされ、ユーザによって識別可能なコンテンツ、例えば、画像、テキスト又はボタン等のコントロールとして最終的に提示される。コントロール(control)はユーザインターフェイスの基本的要素である。一般的なコントロールは、ボタン(button)、ウィジェット(widget)、ツールバー(toolbar)、メニューバー(menu bar)、テキストボックス(text box)、スクロールバー(scrollbar)、ピクチャ及びテキスト等がある。インターフェイス内のコントロールの属性及び内容は、タグ又はノードを用いて定義される。例えば、インターフェイスに含まれるコントロールは、<Textview>、<ImgView>又は<VideoView>等のノードを用いることによりXMLで定義されます。1つのノードはインターフェイス内の1つのコントロール又は属性に対応する。パース及びレンダリングを行った後、ノードはユーザ可視コンテンツとして表示される。加えて、ハイブリッドアプリケーション(hybrid application)等の多くのアプリケーションのインターフェイスは、通常、ウェブページをさらに含む。ウェブページはページとも呼ばれ、アプリケーションのインターフェイスに埋め込まれた特別なコントロールとして理解され得る。ウェブページは、ハイパーテキストマークアップ言語(hypertext markup language、HTML)、カスケードスタイルシート(cascade style sheets、CSS)又はJavaScript(JS)等の特定のコンピュータ言語で書かれたソースコードである。ウェブページソースコードは、ブラウザ又はブラウザの機能と同様の機能を有するウェブページ表示コンポーネントによって、ユーザが認識可能なコンテンツとしてロードされ、表示され得る。ウェブページに含まれる特定のコンテンツは、ウェブページソースコード内のタグ又はノードによっても定義される。例えば、ウェブページの要素及び属性は、HTMLの<p>、<img>、<video>及び<canvas>によって定義される。
ユーザインターフェイスの共通の表現形態は、グラフィカルユーザインターフェイス(graphical user interface、GUI)であり、グラフィカルに表示され、コンピュータ操作に関連するユーザインターフェイスである。グラフィカルユーザインターフェイスは、電子装置のディスプレイ上に表示されるウィンドウ又はコントロール等のインターフェイス要素であり得る。
本願の以下の実施形態は、プロジェクションシナリオにおいてユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを他の装置のアプリケーションと直接共有することができるように、データ伝送方法及び関連装置を提供する。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
本願の以下の実施形態では、携帯電話等のポータブル電子装置(略してプロジェクション装置と呼ぶ)がディスプレイ上に表示されているコンテンツを、ラップトップ等のより大きなスクリーンで構成された電子装置(以下、略して大画面装置と呼ぶ)のディスプレイに表示する投影するプロジェクションシナリオにおいて、大画面装置のディスプレイは、第1のウィンドウ及び第2のウィンドウを同時に表示し得る。第1のウィンドウはプロジェクション装置のディスプレイ上に表示され、プロジェクション装置から送信されるコンテンツを表示するために用いられ、第2のウィンドウは、大画面装置内のアプリケーションのユーザインターフェイスを表示するために用いられる。一般に、大画面装置のディスプレイのサイズは、プロジェクション装置のディスプレイのサイズよりも大きい。プロジェクション方法では、ユーザは、プロジェクション装置のディスプレイ上に表示されるコンテンツを簡便に見ることができる。
一部の可能な実施では、上述のプロジェクションシナリオにおいて、ユーザが第1のウィンドウ内のファイルオブジェクトをドラッグして第2のウィンドウ内のコントロールにリリースするドラッグアンドドロップ(drag-and-drop)操作を大画面装置が検出した場合、プロジェクション装置は、ファイルオブジェクトのデータを大画面装置に送信する。大画面装置は、ファイルオブジェクトのデータを受信した後に、大画面装置はファイルオブジェクトのデータを予め設定された記憶領域に記憶し、ファイルオブジェクトのデータに対応するストレージパスを生成する。その後、大画面装置は、第2のウィンドウに対応するアプリケーションにストレージパスを送信する。アプリケーションは、ストレージパスに基づいてファイルオブジェクトのデータを読み込み、コントロールに対応するプログラムに基づいてファイルオブジェクトのデータを処理する(例えば、ファイルオブジェクトのデータ又はアイコンを表示するか、ファイルオブジェクトのデータを送信するか又は指定された記憶領域にファイルオブジェクトのデータを記憶する)。
第1のウィンドウ内のファイルオブジェクトは、ドラッグアンドドロップ可能なコントロールである。なお、コントロールをドラッグアンドドロップできるかどうかは、第1のウィンドウに対応するアプリケーション設計の間に決定され得る。例えば、ファイルオブジェクトは、文書コントロール、画像コントロール、ビデオコントロール、オーディオコントロール等であり得る。可能な実施では、プロジェクション装置がファイルオブジェクトに作用するタップ操作を検出すると、プロジェクション装置はファイルオブジェクトのデータをローカルに読み込み、ファイルを表示及び/又は再生する。
一部の他の可能な実施では、ユーザが第2のウィンドウ内のファイルオブジェクトをドラッグして第1のウィンドウにリリースするドラッグアンドドロップ操作を大画面装置が検出した場合、大画面装置は第2のウィンドウ内のファイルオブジェクトのデータをプロジェクション装置に送信する。プロジェクション装置がファイルオブジェクトのデータを受信した後で、プロジェクション装置はファイルオブジェクトのデータを予め設定された記憶スペースに記憶し、ファイルオブジェクトのデータに対応するストレージパスを生成する。次に、プロジェクション装置は、第1のウィンドウに対応するアプリケーションにストレージパスを送信する。アプリケーションは、ストレージパスに基づいてファイルオブジェクトのデータを読み込み、コントロールに対応するプログラムに基づいてファイルオブジェクトのデータを処理する(例えば、ファイルオブジェクトのデータ又はアイコンを表示するか、ファイルオブジェクトのデータを送信するか又は指定された記憶領域にファイルオブジェクトのデータを記憶する)。このように、プロジェクションシナリオにおいて、ユーザインターフェイスを複数回切り替えることなく、1つの装置のアプリケーションデータを他の装置のアプリケーションと直接共有することができる。これにより、データ共有効率が改善され、ユーザ操作が簡素化される。
以下では、本願の実施形態で提供されるプロジェクションシステムを説明する。図1Aは、本願の実施形態に係るプロジェクションシステムの概略図である。プロジェクションシステム10は、プロジェクション装置100及び大画面装置200を含み得る。
プロジェクション装置100は、移動端末、ウェアラブル装置又はタブレットコンピュータ等のプロジェクション機能を有する電子装置であり得る。任意で、プロジェクション装置100は、Android、IOS、Windows Phone、Linux又はWindows等のオペレーティングシステムを実行し得る。大画面装置200は、タブレットコンピュータ、パーソナルコンピュータ、パームトップコンピュータ、プロジェクタ又はテレビ等の、より大きなディスプレイで構成され、プロジェクション機能を有する電子装置であり得る。任意で、大画面装置200は、Android、IOS、Windows Phone、Windows又はLinux等のオペレーティングシステムを実行し得る。プロジェクション装置100及び大画面装置200のオペレーティングシステムは同じであっても、異なっていてもよい。なお、本願の実施形態では、プロジェクション装置100がAndroidオペレーティングシステムを実行し、大画面装置がWindowsオペレーティングシステムを実行する例が説明のために用いられる。しかしながら、本願の実施形態は、2つのオペレーティングシステムに限定されるものではない。プロジェクション装置100及び大画面装置200はさらに別のオペレーティングシステムを実行してもよい。これは、本願の実施形態では限定されない。
本願の実施形態では、プロジェクション装置100及び大画面装置200は、Bluetooth(BT)、無線ローカルエリアネットワーク(wireless local area network、WLAN)(例えば、ワイヤレスフィデリテー(wireless fidelity、Wi-Fi)ネットワーク)又は近距離無線通信(near field communication、NFC)等の近距離フィールド検出技術を持ちることにより接続が確立され得る。プロジェクション装置100と大画面装置200との間の接続が確立された後で、BT、Wi-Fi、NFC等の技術を用いてデータ伝送が行われ得る。なお、プロジェクション装置100と大画面装置200との間の接続を確立する技術は、データ伝送に用いられる技術と同じであっても異なっていてもよい。例えば、プロジェクション装置100及び大画面装置200は、Bluetooth技術を用いることにより接続関係を確立し得る。そして、プロジェクション装置100及び大画面装置200は、Wi-Fi技術を用いてデータを伝送し得る。
図1Bは、本願の実施形態に係る、プロジェクションシナリオにおける大画面装置のディスプレイ上のユーザインターフェイス41の概略図である。この例では、プロジェクション装置はスマートフォンであり、大画面装置はラップトップである。スマートフォンがラップトップに投影されると、スマートフォンはディスプレイに表示されているコンテンツ(例えば、「ホーム画面(home screen))を記録し、記録したコンテンツをラップトップに送信する。ラップトップはスマートフォンによって送信された記録されたコンテンツを受信し、受信した記録されたコンテンツをディスプレイの表示領域に表示する。
図1Bに示すように、ユーザインターフェイス41は、ウィンドウa、ウィンドウb及びタスクバー310を含む。ウィンドウaはラップトップのデスクトップを表示するように構成され、ウィンドウbはスマートフォンのディスプレイに表示されているコンテンツ(すなわち、ホーム画面)を表示するように構成されている。任意で、ウィンドウbは一番前に表示され得る。つまり、ウィンドウbは常に他のウィンドウの上に表示される。
タスクバー310は、スタートコントロール、1つ以上のアプリケーションのアイコン(例えば、図示のWeChatアイコン、Wordアイコン及びExcelアイコン)、より多くのコントロール、ボリュームコントロール、ネットワーク接続インジケータ、時間インジケータ及び通知コントロールを含み得る。任意で、ユーザインターフェイス41はマウスポインタ311をさらに含み得る。マウスポインタ311は、ユーザインターフェイス上のマウスの現在位置を示し得る。マウスポインタの位置は、マウスがスライドするにつれて又はユーザの指がタッチパッド上でスライドするにつれて変化し得る。ユーザは、ウィンドウa内のWordアプリケーションアイコン313をタップし得る。タップ操作に応答して、ラップトップは、ウィンドウaがデスクトップを表示することから、Wordアプリケーションのユーザインターフェイスを表示することに切り替える。ユーザはウィンドウb内のギャラリーアプリケーションアイコン245をさらにタップし得る。タップ操作に応答して、スマートフォンのディスプレイはホーム画面を表示することからギャラリーアプリケーションのユーザインターフェイスを表示することに切り替わる。スマートフォンの表示コンテンツが変化すると、ラップトップは、ウィンドウbがスマートフォンのホーム画面を表示することから、スマートフォン内のWordアプリケーションのユーザインターフェイスを表示することに切り替える。
加えて、ラップトップは、マウスポインタ311を用いることにより、ウィンドウbの端でユーザによって行われるドラッグ操作を受信し得る。ドラッグ操作に応答して、ラップトップはウィンドウbのサイズを変更する。なお、ウィンドウb内のスマートフォンの表示コンテンツのサイズは、スマートフォンのディスプレイに表示されているコンテンツのサイズと同じであり得る。ウィンドウb内のスマートフォンの表示コンテンツは、スマートフォンのディスプレイに表示されているコンテンツの表示をさらに拡大したものであり得る。加えて、スマートフォンがラップトップに投影された後で、ユーザがスマートフォンに表示されるユーザインターフェイスを変更したい場合、ユーザはラップトップのウィンドウb上で操作を行い、スマートフォンのディスプレイ上で操作をさらに行い得る。
プロジェクション装置100及び大画面装置200のハードウェア構造を以下で説明する。本願の実施形態では、プロジェクション装置100は電子装置であり得る。以下では、本願の実施形態における電子装置10を説明する。図2Aは、本願の実施形態に係る電子装置10の構造の概略図である。
電子装置10は、プロセッサ110、外部メモリインターフェイス120、内部メモリ121、ユニバーサルシリアルバス(universal serial bus、USB)ポート130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、ボタン190、モータ191、インジケータ192、カメラ193、ディスプレイ194、加入者識別モジュール(subscriber identification module、SIM)カードインターフェイス195等を含み得る。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、骨伝導センサ180M等を含み得る。
図2Aに示す電子装置10は一例にすぎず、電子装置10は、図2Aに示すものよりも多くの又は少ないコンポーネントを含んでもよく、2つ以上のコンポーネントが組み合わされ得るか又は異なるコンポーネント構成を有し得ることを理解されたい。図に示す様々なコンポーネントは、1つ以上の信号処理及び/又は特定用途向け集積回路、ソフトウェア又はハードウェアとソフトウェアとの組み合わせを含むハードウェアで実施され得る。
プロセッサ110は1つ以上の処理ユニットを含み得る。例えば、プロセッサ110はアプリケーションプロセッサ(application processor、AP)、モデムプロセッサ、グラフィックス処理ユニット(graphics processing unit、GPU)、画像信号プロセッサ(image signal processor、ISP)、コントローラ、ビデオコーデック、デジタル信号プロセッサ(digital signal processor、DSP)、ベースバンドプロセッサ、ニューラルネットワーク処理ユニット(neural-network processing unit、NPU)及び/又は等を含み得る。異なる処理ユニットは独立したデバイスであってもいいし又は1つ以上のプロセッサに統合されてもよい。
コントローラは、電子装置10の神経センター及び指令センターであり得る。コントローラは、命令読み出し及び命令実行の制御を完了するために、命令動作コード及び時間シーケンス信号に基づいて動作制御信号を生成し得る。
メモリがプロセッサ110内にさらに配置されて、命令及びデータを記憶するように構成されている。一部の実施形態では、プロセッサ110内のメモリはキャッシュである。メモリは、プロセッサ110によってちょうど用いられるか又は周期的に用いられる命令又はデータを記憶し得る。プロセッサ110が命令又はデータを再び用いる必要がある場合、プロセッサ110はメモリから命令又はデータを直接呼び出し得る。これは、繰り返しアクセスすることを回避し、プロセッサ110の待ち時間を減らし、システム効率を改善する。
一部の実施形態では、プロセッサ110は1つ以上のインターフェイスを含み得る。インターフェイスは集積回路間通信(inter-integrated circuit、I2C)インターフェイス、集積回路間音響(inter-integrated circuit sound、I2S)インターフェイス、パルスコード変調(pulse code modulation、PCM)インターフェイス、ユニバーサル非同期受信機/送信機(universal asynchronous receiver/transmitter、UART)インターフェイス、モバイルインダストリープロセッサインターフェイス(mobile industry processor interface、MIPI)、汎用入出力(general-purpose input/output、GPIO)インターフェイス、加入者識別モジュール(subscriber identity module、SIM)インターフェイス、ユニバーサルシリアルバス(universal serial bus、USB)インターフェイス等を含み得る。
I2Cインターフェイスは双方向同期シリアルバスであり、シリアルデータライン(serial data line、SDA)及びシリアルクロックライン(serial clock line、SCL)を含む。プロセッサ110は、I2Cインターフェイスを介してタッチセンサ180Kに連結され得るため、プロセッサ110は、I2Cバスインターフェイスを介してタッチセンサ180Kと通信して、電子装置10のタッチ機能を実施し得る。
I2Sインターフェイスはオーディオ通信を行うように構成され得る。一部の実施形態では、プロセッサ110は複数のI2Sバスのグループを含み得る。プロセッサ110は、プロセッサ110とオーディオモジュール170との間の通信を実施するために、I2Sバスを介してオーディオモジュール170に連結され得る。
PCMインターフェイスは、オーディオ通信を行い、アナログ信号のサンプリング、量子化及びコード化を行うようにも構成され得る。一部の実施形態では、オーディオモジュール170は、PCMバスインターフェイスを介して無線通信モジュール160に連結され得る。
UARTインターフェイスはユニバーサルシリアルデータバスであり、非同期通信を行うように構成されている。バスは双方向通信バスであり得る。バスは、シリアル通信とパラレル通信の間で送信すべきデータを変換する。一部の実施形態では、UARTインターフェイスは、プロセッサ110を無線通信モジュール160に接続するように通常構成されている。例えば、プロセッサ110は、Bluetooth機能を実施するために、UARTインターフェイスを介して無線通信モジュール160内のBluetoothモジュールと通信する。
MIPIインターフェイスは、プロセッサ110をディスプレイ194又はカメラ193等の周辺コンポーネントに接続するように構成され得る。MIPIインターフェイスは、カメラシリアルインターフェイス(camera serial interface、CSI)、ディスプレイシリアルインターフェイス(display serial interface、DSI)等を含む。一部の実施形態では、プロセッサ110は、電子装置10の表示機能を実施するために、DSIインターフェイスを介してディスプレイ194と通信する。
GPIOインターフェイスは、ソフトウェアを用いることにより構成され得る。GPIOインターフェイスは制御信号又はデータ信号として構成され得る。一部の実施形態では、GPIOインターフェイスは、プロセッサ110をカメラ193、ディスプレイ194、無線通信モジュール160、オーディオモジュール170、センサモジュール180等に接続するように構成され得る。
USBインターフェイス130は、USB規格の仕様に準拠したインターフェイスであり、具体的にはミニUSBポート、マイクロUSBポート、USBタイプCインターフェイス等であり得る。USBポート130は、電子装置10を充電するために充電器に接続されるように構成されてもいいし、電子装置10と周辺機器との間でデータを送信するように構成されてもいい。
本発明のこの実施形態で示すモジュール間のインターフェイス接続関係は説明のための一例にすぎず、電子装置10の構造に対する限定をなすものではないことが理解されよう。本願の一部の他の実施形態では、電子装置10は、代替的に、前述の実施形態とは異なるインターフェイス接続方法又は複数のインターフェイス接続方法の組み合わせを用いり得る。
充電管理モジュール140は、充電器からの充電入力を受信するように構成されている。充電器は無線充電器でもいいし、有線充電器でもよい。充電管理モジュール140は、バッテリ142を充電する場合に、電力管理モジュール141を介して電子装置にさらに給電し得る。
電力管理モジュール141は、バッテリ142、充電管理モジュール140及びプロセッサ110に接続されるように構成されている。電力管理モジュール141は、バッテリ142の入力及び/又は充電管理モジュール140の入力を受信し、プロセッサ110、内部メモリ121、外部メモリ、ディスプレイ194、カメラ193、無線通信モジュール160等に給電する。
電子装置10の無線通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサ等を用いることにより実施され得る。
アンテナ1及びアンテナ2は電磁波信号を送受信するように構成されている。電子装置10内の各アンテナは、1つ以上の通信周波数帯域をカバーするように構成され得る。アンテナの利用を改善するために、異なるアンテナがさらに多重化され得る。例えば、アンテナ1は、無線ローカルエリアネットワーク内のダイバーシチアンテナとして多重化され得る。一部の他の実施形態では、アンテナは同調スイッチと組み合わせて用いられ得る。
モバイル通信モジュール150は、電子装置10に適用され、2G、3G、4G、5G等を含む無線通信を含む解決策を提供し得る。モバイル通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器(低ノイズ増幅器、LNA)等を含み得る。モバイル通信モジュール150は、アンテナ1を介して電磁波を受信し、受信した電磁波に対するフィルタリングや増幅等の処理を行い、処理した電磁波を復調のためにモデムプロセッサに転送し得る。モバイル通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し、信号をアンテナ1を介した放射のために電磁波に変換し得る。
モデムプロセッサは変調器及び復調器を含み得る。変調器は、送信すべき低周波ベースバンド信号を中間~高周波信号に変調するように構成されている。復調器は、受信した電磁波信号を低周波ベースバンド信号に復調するように構成されている。そして、復調器は、復調を介して得られた低周波ベースバンド信号を、処理のためにベースバンドプロセッサに移す。ベースバンドプロセッサは低周波ベースバンド信号を処理し、次いで、得られた信号をアプリケーションプロセッサに送信する。アプリケーションプロセッサは、オーディオ装置(限定されないが、スピーカ170A、レシーバ170B等)を用いることにより音声信号を出力するか又はディスプレイ194を用いることにより画像若しくは映像を表示する。
無線通信モジュール160は、無線ローカルエリアネットワーク(wireless local area network、WLAN)(例えば、ワイヤレスフィデリティー(wireless fidelity、wi-fi)ネットワーク)、Bluetooth(Bluetooth、BT)、衛星測位システム(global navigation satellite system、GNSS)、周波数変調(frequency modulation、FM)、近距離無線通信(near field communication、NFC)、赤外(infrared、IR)技術等を含む無線通信ソリューションを提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールを統合する1つ以上のコンポーネントであり得る。無線通信モジュール160は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を行い、処理した信号をプロセッサ110に送信する。無線通信モジュール160は、送信すべき信号をプロセッサ110から受信し、その信号に対して周波数変調及び増幅を行い、信号をアンテナ2を用いた放射のために電磁波に変換し得る。本願の実施形態では、電子装置10は無線通信モジュール160を介して大画面装置への接続を確立し、アプリケーション内のデータを送信する。
一部の実施形態では、電子装置1のアンテナ1がモバイル通信モジュール150に連結され、アンテナ2が無線通信モジュール160に連結されているため、電子装置10は、無線通信技術を用いることによりネットワーク及び他の装置と通信し得る。無線通信技術は、グローバルシステムフォーモバイルコミュニケーション(global system for mobile communication、GSM)、汎用パケット無線サービス(general packet radio service、GPRS)、符号分割多元接続(code division multiple access、CDMA)、広帯域符号分割多元接続(wideband code division multiple access、WCDMA)、時分割符号分割多元接続(time-division code division multiple access、TD-SCDMA)、ロングタームエボリューション(long term evolution、LTE)、BT、GNSS、WLAN、NFC、FM、IR技術等を含み得る。
電子装置10は、GPU、ディスプレイ194、アプリケーションプロセッサ等を介してディスプレイ機能を実施する。GPUは画像処理のためのマイクロプロセッサであり、ディスプレイ194及びアプリケーションプロセッサに接続されている。GPUは数学的及び幾何学的計算を行い、画像をレンダリングするように構成されている。プロセッサ110は、表示情報を生成又は変更するためのプログラム命令を実行する1つ以上のGPUを含み得る。
ディスプレイ194は、画像、映像等を表示するように構成されている。ディスプレイ194はディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブマトリックス有機発光ダイオード又はアクティブマトリックス有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flexible light-emitting diode、FLED)、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード(quantum light emitting diodes、QLED)等を用いり得る。一部の実施形態では、電子装置10は1つ又はN個のディスプレイ194を含んでもよく、Nは1より大きい正の整数である。
電子装置10は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、アプリケーションプロセッサ等を介して撮影機能を実施し得る。
ISPは、カメラ193によってフィードバックされたデータを処理するように構成されている。例えば、撮影の間にシャッターが押されると、レンズを介してカメラの感光体に光が送られる。光信号が電気信号に変換される。カメラの感光体がISPに電気信号を処理のために送信し、電気信号を可視画像に変換する。
カメラ193は静止画又は映像を取り込むように構成されている。一部の実施形態では、電子装置10は1つ又はN個のカメラ193を含み得る。Nは1より大きい正の整数である。
デジタル信号プロセッサはデジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理し得る。例えば、電子装置10が周波数を選択した場合、デジタル信号プロセッサは、周波数エネルギー等に対してフーリエ変換を行うように構成されている。
ビデオコーデックはデジタルビデオの圧縮又は解凍を行うように構成されている。電子装置10は1つ以上のビデオコーデックをサポートし得る。このように、電子装置10は複数の符号化形式、例えばMPEG(moving picture expert group、MPEG)-1、MPEG-2、MPEG-3及びMPEG-4で映像を再生又は記録し得る。
NPUはニューラルネットワーク(ニューラルネットワーク、NN)計算プロセッサである。NPUは電子装置10のインテリジェント認知等のアプリケーション、例えば、画像認識、顔認識、音声認識及びテキスト理解等を実施することができる。
外部メモリインターフェイス120は、電子装置10の記憶能力を拡張するために外部記憶カード、例えばマイクロSDカードに接続されるように構成され得る。外部記憶カードは外部メモリインターフェイス120を介してプロセッサ110と通信し、データ記憶機能を実施する。例えば、音楽や映像等のファイルが外部記憶カードに記憶される。
内部メモリ121は、コンピュータ実行可能プログラムコードを記憶するように構成され得る。実行可能プログラムコードは命令を含む。プロセッサ110は内部メモリ121に記憶された命令を実行して電子装置10の様々な機能アプリケーションを行い、データを処理する。内部メモリ121はプログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域はオペレーティングシステム、少なくとも1つの機能(例えば、音声再生機能及び画像再生機能)によって必要とされるアプリケーション等を記憶し得る。データ記憶領域は、電子装置10が用いられる間に作成されるデータ(例えば、音声データ及び電話帳)等を記憶し得る。加えて、内部メモリ121は高速ランダムアクセスメモリを含み得るか又は不揮発性メモリ、例えば少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ又はユニバーサルフラッシュ記憶装置(universal flash storage、UFS)を含み得る。
電子装置10は、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサ等を用いることによってオーディオ機能を実施し得る。
オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成されている。オーディオモジュール170は、オーディオ信号を符号化及び復号化するようにさらに構成され得る。
「ラウドスピーカ」とも呼ばれるスピーカ170Aは、オーディオ電気信号を音声信号に変換するように構成されている。電子装置10は、スピーカ170Aを介して音楽を聞いたり、ハンズフリーモードで電話に出るために用いられ得る。
「イヤピース」とも呼ばれるレシーバ170Bはオーディオ電気信号を音声信号に変換するように構成されている。電子装置10を用いて電話に出るか又はオーディオ情報を聴く場合、レシーバ170Bを音声を聴くために人間の耳に近づけられ得る。
「マイク」又は「マイク」とも呼ばれるマイクロフォン170Cは音声信号を電気信号に変換するように構成されている。電話をかける場合又は音声メッセージを送信する場合に、ユーザはマイクロフォン170Cの近くで口を介して音声を発して、マイマイクロフォン170Cに音声信号を入力し得る。少なくとも1つのマイクロフォン170Cが電子装置100内に配置され得る。
ヘッドセットジャック170Dは有線ヘッドセットに接続されるように構成されている。ヘッドセットジャック170DはUSBポート130であり得るか、3.5mmのオープンモバイルターミナルプラットフォーム(open mobile terminal platform、OMTP)規格インターフェイス又は米国セルラー電気通信工業会(cellular telecommunications industry association of the USA、CTIA)規格インターフェイスであり得る。
圧力センサ180Aは圧力信号を感知するように構成され、圧力信号を電気信号に変換できる。一部の実施形態では、圧力センサ180Aはディスプレイ194上に配置され得る。ディスプレイ194上でタッチ操作が行われた場合、電子装置10は圧力センサ180Aを用いることによりタッチ操作の強度を検出する。電子装置10は、圧力センサ180Aの検出信号に基づいてタッチ位置も計算し得る。一部の実施形態では、同じタッチ位置で行われるもののタッチ操作強度が異なるタッチ操作は、異なる操作命令に対応し得る。例えば、タッチ操作強度が第1の圧力閾値未満のタッチ操作がギャラリーアプリケーション内のサムネイルに対して作用する場合、サムネイルに対応する写真を見るための命令が実行される。タッチ操作強度が第1の圧力閾値以上のタッチ操作がサムネイルに作用する場合、サムネイルに対応する写真を選択するための命令が実行される。
ジャイロセンサ180Bは、電子装置10の移動姿勢を特定するように構成され得る。一部の実施形態では、ジャイロセンサ180Bを用いることにより、3つの軸(即ち、x、y及びz軸)を中心とする電子装置10の角速度が特定され得る。ジャイロセンサ180Bは撮影の間の手ぶれを補正するように構成され得る。ジャイロセンサ180Bは、ナビゲーションシナリオ及び動作検知ゲームシナリオでさらに用いられ得る。
気圧センサ180Cは気圧を測定するように構成されている。一部の実施形態では、電子装置10は、ポジショニング及びナビゲーションを支援するために、気圧センサ180Cによって測定される気圧値に基づいて高度を計算する。
磁気センサ180Dはホールセンサを含む。電子装置10は、磁気センサ180Dを用いることにより、フリップカバーの開閉を検出し得る。
加速度センサ180Eは、電子装置10の様々な方向(通常は3軸上)の加速度を検出し、電子装置100が静止している場合は重力の大きさ及び方向を検出し得る。加速度センサ180Eは、電子装置の姿勢を特定するようにさらに構成されてもよく、景観モードとポートレートモードとの切り替え又は歩数計等の用途に適用され得る。
距離センサ180Fは距離を測定するように構成されている。電子装置100は赤外線又はレーザで距離を測定し得る。
光学近接センサ180Gは、例えば発光ダイオード(LED)と、フォトダイオード等の光学検出器とを含み得る。発光ダイオードは赤外線発光ダイオードであり得る。電子装置10は、発光ダイオードを用いることにより赤外線を放つ。電子装置10は、フォトダイオードを用いることにより近くの物体から反射された赤外線光を検出する。電子装置10は、光学近接センサ180Gを用いることにより、ユーザが電話をかけるために電子装置10を耳の近くで持っていることを検出して、省電力のためのスクリーンを自動的にオフにし得る。
周囲光センサ180Lは周囲光の明るさを感知するように構成されている。電子装置100は、感知された周囲光の明るさに基づいてディスプレイ194の明るさを適応的に調整し得る。
指紋センサ180Hは指紋を収集するように構成されている。電子装置10は、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの撮影、指紋ベースの電話応答等を実施するために収集された指紋の特徴を用いり得る。
温度センサ180Jは温度を検出するように構成されている。一部の実施形態では、電子装置10は、温度センサ180Jによって検出された温度に基づいて温度処理ポリシーを実行する。
タッチセンサ180Kは「タッチパネル」とも呼ばれる。タッチセンサ180Kはディスプレイ194上に配置されてもよく、タッチセンサ180K及びディスプレイ194は「タッチスクリーン」とも呼ばれるタッチ画面を構成する。タッチセンサ180Kは、タッチセンサ180K上で又は近くで行われるタッチ操作を検出するように構成されている。タッチセンサは、タッチイベントの種類を特定するために、検出されたタッチ操作をアプリケーションプロセッサに転送し得る。例えば、タッチイベントの種類はタップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。タッチ操作に関するビジュアル出力がディスプレイ194を介して提供され得る。一部の他の実施形態では、タッチセンサ180Kは、ディスプレイ194とは異なる電子装置10の表面上の位置に代替的に配置され得る。
骨伝導センサ180Mは振動信号を取得し得る。一部の実施形態では、骨伝導センサ180Mは、人間の声帯部の振動骨の振動信号を取得し得る。骨伝導センサ180Mは人間の心拍と接触し、血圧拍動信号を受信し得る。
ボタン190は電源ボタン、音量ボタン等を含む。ボタン190は機械式のボタンであり得るか又はタッチセンサ式のボタンであり得る。電子装置10はキー入力を受信し、電子装置10のユーザ設定及び機能制御に関連するキー信号入力を生成し得る。
モータ191は振動プロンプトを生成し得る。モータ191は、着信振動プロンプト又はタッチ振動フィードバックを提供するように構成され得る。例えば、異なる用途(例えば、写真撮影及びオーディオ再生)で行われるタッチ操作は異なる振動フィードバック効果に対応し得る。
インジケータ192はインジケータ光であってもよく、充電状態及び電力変化を示すように構成され得るか又はメッセージ、不在着信、通知等を示すように構成され得る。
SIMカードインターフェイス195はSIMカードに接続されるように構成されている。SIMカードは電子装置10との接触又は電子装置10からの分離を実施するために、SIMカードインターフェイス195に挿入され得るか又はSIMカードインターフェイス195から取り外され得る。電子装置10は1つ又はN個のSIMカードインターフェイスをサポートし、Nは1より大きい正の整数である。SIMカードインターフェイス195はナノSIMカード、マイクロSIMカード、SIMカード等をサポートし得る。一部の実施形態では、電子装置10はeSIM、すなわち埋め込みSIMカードを用いる。eSIMカードは電子装置10内に埋め込まれてもよく、電子装置10から分離することはできない。
本願の実施形態では、大画面装置200は電子装置であり得る。以下では、本願の実施形態における電子装置20を説明する。図2Bは、本願の実施形態に係る電子装置20の構造の概略図である。例えば、電子装置20は、パーソナルコンピュータ、パームトップコンピュータ、タブレットコンピュータ又はテレビ等の装置であり得る。図2Bに示すように、大画面装置200は、プロセッサ102、メモリ103、無線通信プロセッサモジュール104、電源スイッチ105、入力モジュール106及び出力モジュール107を含み得る。これらのコンポーネントはバスを介して接続され得る。
プロセッサ102は、コンピュータ読み取り可能命令を読み出し、実行するように構成され得る。特定の実施では、プロセッサ102は、主に、コントローラ、算術ユニット及びレジスタを含み得る。コントローラは、命令を解読することに主に関与し、命令に対応する動作のために制御信号を送信する。算術ユニットは、固定小数点又は浮動小数点演算、シフト演算、論理演算等を行うか又はアドレス演算及びアドレス変換を行うことに主に関与する。レジスタは、命令実行の間に一時的に記憶されるレジスタ動作の数、中間動作結果等を保存することに主に関与する。特定の実施では、プロセッサ102のハードウェアアーキテクチャは、特定用途集積回路(Application-Specific Integrated Circuit、ASIC)アーキテクチャ、MIPSアーキテクチャ、ARMアーキテクチャ、NPアーキテクチャ等であり得る。
一部の実施形態では、プロセッサ102は、無線通信プロセッサモジュール104によって受信された信号、例えば、プロジェクション装置100によって送信されたプロジェクション要求又はドラッグされたデータオブジェクトを送信するよう大画面装置200に示す、プロジェクション装置100によって送信される表示情報をパースするように構成され得る。プロセッサ102は、パース結果に基づいて対応する処理動作を行うように構成され、例えばプロジェクション要求に基づいて、「許可」コントロール及び「拒否」コントロールを含むプロンプトウィンドウを表示し得るか又は表示情報に基づいてデータオブジェクトをプロジェクション装置100に送信し得る。
一部の実施形態では、プロセッサ102は、無線通信プロセッサモジュール104によって送信される信号、例えば、プロジェクション装置100に送信される、プロジェクションが許可されたことを示すフィードバック信号又はプロジェクション装置100に送信され、ウィンドウコントロールがデータオブジェクトを受信できることを示す表示情報を生成するようにさらに構成され得る。
メモリ103はプロセッサ102に連結され、様々なソフトウェアプログラム及び/又は複数の命令セットを記憶するように構成されている。特定の実施では、メモリ103は高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、1つ以上の磁気ディスク記憶装置、フラッシュメモリ装置又は別の不揮発性固体記憶装置をさらに含み得る。メモリ103は、オペレーティングシステム、例えばWindows又はAndroid等の組み込みオペレーティングシステムを記憶し得る。メモリ103は通信プログラムをさらに記憶してもよく、通信プログラムは、プロジェクション装置100、1つ以上のサーバ又は追加の装置と通信するために用いられ得る。
無線通信プロセッサモジュール104は、Bluetooth(BT)通信プロセッサモジュール104A及びWLAN通信プロセッサモジュール104Bのうちの1つ以上を含み得る。
一部の実施形態では、Bluetooth(BT)通信プロセッサモジュール及びWLAN通信プロセッサモジュールのうちの1つ以上は、プロジェクション要求又はデータオブジェクトの送信要求等の、他の装置(プロジェクション装置100)によって送信される信号を監視し、応答信号、例えば、要求応答信号を送信して、他の装置(例えば、プロジェクション装置100)が大画面装置200を検出し、他の装置との無線通信接続を確立し、Bluetooth又はWLAN等の1つ以上の無線通信技術を用いることによって、他の装置と通信できるようにし得る。
一部の他の実施形態では、Bluetooth(BT)通信プロセッサモジュール及びWLAN通信プロセッサモジュールのうちの1つ以上は、信号、例えばブロードキャストBluetooth信号又はビーコン信号を代替的に送信して、別の装置(例えば、プロジェクション装置100)が大画面装置200を検出し、別の装置と無線通信接続を確立し、Bluetooth又はWLAN等の1つ以上の無線通信技術を用いることにより別の装置と通信できるようにし得る。
無線通信プロセッサモジュール104は、セルラ移動通信プロセッサモジュール(図示せず)をさらに含み得る。セルラ移動通信プロセッサモジュールは、セルラ移動通信技術を用いることにより他の装置(例えば、サーバ)と通信し得る。
電源スイッチ105は、大画面装置200に電力を供給するための電源を制御するように構成され得る。
入力モジュール106は、ユーザによって入力された命令を受信するように構成され得る。例えば、入力モジュール106は、マウス、キーボード、タッチパッド、タッチスクリーン、マイクロフォン等のうちの1つ以上を含み得る。
出力モジュール107は情報を出力するように構成され得る。例えば、大画面装置200は1つ以上のディスプレイを含み、ディスプレイは、画像、ビデオ等を表示するように構成され得る。ディスプレイはディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブマトリックス有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flexible light-emitting diode、FLED)、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード(quantum dot light emitting diode、QLED)等であり得る。加えて、出力モジュール107は、スピーカ、サウンドボックス等のうちの1つ以上をさらに含み得る。
図2Bに示す構造は、大画面装置200に対して何らかの特定の限定をなすものではないことが理解されよう。本願の一部の他の実施形態では、大画面装置200は、図示のものよりも多くの又は少ないコンポーネントを含んでもいいし、一部のコンポーネントを組み合わされ得るか又は一部のコンポーネントは分割され得るか又は異なるコンポーネント構成が用いられ得る。図に示すコンポーネントは、ハードウェア、ソフトウェア又はソフトウェアとハードウェアとの組み合わせによって実施され得る。
本願の実施形態では、プロジェクション装置100及び大画面装置200のソフトウェアシステムは、層状アーキテクチャ、イベントドリブンアーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ又はクラウドアーキテクチャを用いり得る。本願の実施形態では、プロジェクション装置100のソフトウェア構造を説明するために層状アーキテクチャのAndroidシステムを一例として用いている。大画面装置200のソフトウェア構造を説明するために、Windowsシステムを一例として用いている。
図2Cは、本出願の実施形態に係るプロジェクション装置100のソフトウェア構造のブロック図である。
階層化アーキテクチャでは、ソフトウェアはいくつかの階層に分かれており、各階層は明確な役割及びタスクを有する。これらの層はソフトウェアインターフェイスを介して互いに通信する。一部の実施形態では、Androidシステムは4つの層、すなわち、上から下の順番に、アプリケーション層、アプリケーションフレームワーク層、Androidランタイム(Android runtime)及びシステムライブラリ及びカーネル層に分かれている。
アプリケーション層は1つ以上のアプリケーションおよびプロジェクションモジュールを含み得る。
図2Cは、ビデオプレーヤ、WeChat、ギャラリー及びオーディオプレーヤ等のアプリケーションを一例として示す。加えて、アプリケーション層は、カメラ、カレンダー、電話、マップ、ナビゲーション及びメッセージ等の別のアプリケーションをさらに含み得る。
プロジェクションモジュールは、プロジェクション装置100によって提供されるサービス又は機能であり得る。プロジェクションモジュールは、プロジェクションを実施するために、プロジェクションシナリオにおいて大画面装置200とデータ伝送を行う機能を有するプロジェクション装置100を提供し得る。プロジェクションモジュールは、ビデオストリーム伝送モジュール、命令伝送モジュール及びマルチスクリーンプロキシサービスモジュールを含み得る。
ビデオストリーム伝送モジュールは、プロジェクション装置100のディスプレイ上の表示コンテンツを取得し、表示のために表示コンテンツを大画面装置200に送信するように構成され得る。
命令伝送モジュールは、座標同期モジュール及び逆制御モジュールを含み得る。逆制御モジュールは、大画面装置200によって送信される入力命令を受信し得る。入力命令は、「MotionEvent.ACTION_DOWN(プレス)」命令、「MotionEvent.ACTION_UP(リフト)」命令及び「MotionEvent.ACTION_MOVE(移動)」命令等を含み得る。座標同期モジュールは、大画面装置200によって送信される入力命令に対応する座標情報を受信し得る。座標情報は、大画面装置200のディスプレイ上に表示されるプロジェクション装置100の表示コンテンツに対する入力命令に関する座標情報である。
マルチスクリーンプロキシサービスモジュールは、データ記憶モジュール及びデータパース配信モジュールを含み得る。データパース配信モジュールは、大画面装置200から受信したデータ(デジタルビットストリーム)を、プロジェクション装置100のアプリケーションによって読み取り可能なデータ(例えば、写真、ビデオ及びオーディオ)にパースするように構成され得る。データ記憶モジュールは、大画面装置200から受信したデータを記憶し、データに対応するストレージパスを生成するように構成され得る。データパース配信モジュールは、送信する必要があるプロジェクション装置100内のデータを大画面装置200に送信するようにさらに構成され得る。マルチスクリーンプロキシサービスモジュールによって送受信されるデータは、ユーザによって選択されたアプリケーションに送信する必要があるデータ、例えば、ギャラリーにおける写真、「このPC」におけるワードドキュメント又はメールボックスにおける添付ファイルである。
アプリケーションフレームワーク層は、アプリケーションプログラミングインターフェイス(application programming interface、API)と、アプリケーション層におけるアプリケーションのためのプログラミングフレームワークとを提供する。アプリケーションフレームワーク層は、いくつかの予め定義された機能を含む。図2Cに示すように、アプリケーションフレームワーク層はマルチスクリーンフレームワーク、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、入力マネージャ、通知マネージャ等を含み得る。
入力マネージャは、命令伝送モジュールによって送信される入力命令及び入力命令に関する座標情報を受信し、その情報に基づいて入力イベントを特定して、対応する動作を行い得る。例えば、入力イベントはタップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。例えば、入力マネージャが命令伝送モジュールによって送信される「MotionEvent.ACTION_DOWN」「MotionEvent.ACTION_UP(リフト)」命令を受信した場合、入力マネージャはタップイベントが受信されたと判定し得る。
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成され得る。ウィンドウマネージャはディスプレイのサイズを取得し、ステータスバーがあるかどうか判定し、スクリーンロックの実行、スクリーンショットの撮影等を行う得る。本願の実施形態では、ウィンドウマネージャは、入力マネージャによって送信される座標情報に基づいて、プロジェクション装置の現在の表示コンテンツにおける座標情報に対応するアプリケーションインターフェイスを特定し得る。
ビューシステムは、テキストを表示するためのコントロール又は写真を表示するためのコントロール等の視覚ウィンドウコントロールを含み得る。ビューシステムはアプリケーションを構築するように構成され得る。ディスプレイインターフェイスは1つ以上のコントロールを含み得る。例えば、メッセージの通知アイコンを含む表示インターフェイスは、テキスト表示ビュー及びピクチャ表示ビューを含み得る。本願の実施形態では、ビューシステムは、ウィンドウマネージャによって送信されるアプリケーションインターフェイスに関する情報及び座標情報に基づいて、座標情報に対応するウィンドウコントロールを特定し得る。プロジェクション装置100の各表示インターフェイス内の各ウィンドウコントロールに関する座標情報は、ビューシステムに予め記憶されている。
マルチスクリーンフレームワークは、アプリケーションによって送信される、伝送する必要があるファイルオブジェクトのファイル情報(例えば、名前、作成/変更日、形式、サイズ又はサムネイル)及びストレージパスを受信し得る。一部の他の実施では、マルチスクリーンフレームワークは、アプリケーションによって送信され、コントロールによって受信可能なファイルオブジェクトのプリセット条件をさらに受信し得る。マルチスクリーンフレームワークは、プリセット条件及び大画面装置によって送信されるファイルオブジェクトに関する情報に基づいて、コントロールがファイルオブジェクトを受信できるかどうかさらに特定し得る。
コンテンツプロバイダは、データを記憶及び取得し、アプリケーションがデータにアクセスできるようにするように構成され得る。データは、ビデオ、画像、オーディオ、発信及び着信した通話、閲覧履歴及びブックマーク、電話帳等を含む。マルチスクリーンプロキシサービスモジュールは、ファイルオブジェクトのストレージパスに基づいて、コンテンツプロバイダからファイルオブジェクトのデータを取得し得る。
電話マネージャは、電子装置100の通信機能、例えば、通話状態(応答、拒否等を含む)の管理を提供するように構成され得る。
通知マネージャは、アプリケーションが通知情報をステータスバーに表示できるようにし、通知メッセージを伝達するように構成され、ユーザとのやりとりなしに、少し間を置いてから自動的に消え得る。あるいは、通知マネージャは、グラフ又はスクロールバーテキストの形式で、システムのトップステータスバーに通知を表示し得るか又はダイアログウィンドウの形式でスクリーン上に通知を表示し得る。
Androidランタイムは、カーネルライブラリ及び仮想マシンを含む。Androidランタイムは、Androidシステムのスケジューリング及び管理に関与する。
カーネルライブラリは、java言語で呼び出す必要のある機能と、Androidのカーネルライブラリという2つの部分を含む。
アプリケーション層及びアプリケーションフレームワーク層は仮想マシン上で動作する。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層のjavaファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理及びガーベジコレクション等の機能を行うように構成されている。
システムライブラリは複数の機能モジュール、例えば、サーフェスマネージャ(surface manager)、メディアライブラリ(Media Library)、3次元グラフィックス処理ライブラリ(例えば、OpenGL ES)及び2Dグラフィックスエンジン(例えば、SGL)を含み得る。
サーフィスマネージャは表示サブシステムを管理し、複数のアプリケーションのために2D及び3D層の融合を提供するように構成され得る。
メディアライブラリは、複数の一般的に用いられるオーディオ及びビデオ形式、静止画像ファイル等における再生及び記録をサポートする。メディアライブラリは、MPEG-4、G.264、MP3、AAC、AMR、JPG及びPNG等の複数のオーディオ及びビデオコーディング形式をサポートし得る。
三次元グラフィックス処理ライブラリは、三次元グラフィックス描画、画像レンダリング、合成、層処理等を実施するように構成され得る。
2Dグラフィックスエンジンは2D描画のための描画エンジンである。
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ及びセンサドライバを含む。
図2Cに示すソフトウェアシステムは、データ伝送能力を用いたアプリケーション提示(ギャラリー及びWeChat等)と、プロジェクション能力及びデータ伝送能力を提供するプロジェクションモジュールとに関する。アプリケーションフレームワーク層は、マルチスクリーンフレームワーク、WLANサービス及びBluetoothサービスを提供し、カーネル及び下部層は、WLAN及びBluetooth能力と、基本的な通信プロトコルとを提供する。なお、図2Cに示す電子装置のソフトウェアアーキテクチャは、本願の実施形態の実施にすぎない。実際の用途では、電子装置は、より多くの又はより少ないソフトウェアモジュールを代替的に含み得る。これは、本明細書では限定されない。
本願の実施形態では、図2Cに示すソフトウェア構造に基づいて、プロジェクション装置100はディスプレイモジュールをさらに含み得る。ディスプレイモジュールは、各ソフトウェアモジュールの実行に基づいて対応するユーザインターフェイスを表示するように構成されている。ディスプレイモジュールによって表示されるユーザインターフェイスについては、図3A~図3Cに示すユーザインターフェイスを参照されたい。ディスプレイモジュールは、図2Aのディスプレイ194として具体的に実施され得る。
図2Dは、本願の実施形態に係る大画面装置200のソフトウェア構造のブロック図である。プロジェクション装置100が大画面装置200に表示インターフェイスを投影するプロジェクションシナリオにおいて、大画面装置200は、「マルチスクリーンプロキシサービス」を可能にして、本願の実施形態で提供されるデータ共有方法を実施し得る。
図2Dに示すように、大画面装置200は1つ以上のアプリケーション及びプロジェクションモジュールを含み得る。
図2Dは、PowerPoint、このPC及びWord等のアプリケーションを一例として示す。加えて、アプリケーションは、Google Chrome、音楽、コンピュータマネージャ、電子メール又はアプリストア等の別のアプリケーションであってもよい。
プロジェクションモジュールは、大画面装置200によって提供されるサービス又は機能であり得る。プロジェクションモジュールは、プロジェクション装置100のためにプロジェクション機能を提供し、プロジェクションシナリオにおいて大画面装置200のためにプロジェクション装置100とのデータ伝送を行う機能を提供し得る。プロジェクションモジュールは、ビデオストリーム伝送モジュール、モニタリングモジュール、命令伝送モジュール及びマルチスクリーンプロキシサービスモジュールを含み得る。
ビデオストリーム伝送モジュールは、プロジェクション機能を実施するために、プロジェクション装置100によって送信される、プロジェクション装置100のディスプレイ内にある表示コンテンツを受信し、ディスプレイ上に表示コンテンツを表示するように構成され得る。
モニタリングモジュールは、大画面装置200のディスプレイ上で受信されたユーザ操作をモニタリングするように構成され得る。座標情報は、大画面装置200のディスプレイに対する元の入力命令に関する座標情報である。モニタリングモジュールは、大画面装置200のディスプレイ上に表示されているプロジェクション装置100の表示コンテンツに対して操作が行われたと判定された場合、元の入力命令及び座標情報を変換のために命令伝送モジュールに送信するようにさらに構成されている。大画面装置200のディスプレイ上に表示されている大画面装置200の表示コンテンツに対して操作が行われたと判定された場合は、操作に対応する入力イベントを判定するために、元の入力命令及び座標情報が大画面装置200のプロセッサに送信される。例えば、入力イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。
命令伝送モジュールは座標同期モジュール及び逆制御モジュールを含み得る。座標同期モジュールは、受信した元の入力命令内の座標情報を、プロジェクション装置100の表示コンテンツに対する座標情報に変換し得る。逆制御モジュールは、ラップトップによって受信された元の入力命令を、スマートフォンによって認識可能な入力命令に、例えば、「上に移動」命令を「MotionEvent.ACTION_UP」命令に変換し、「下に移動」命令を「MotionEvent.ACTION_DOWN」命令に変換し、「移動」命令を「MotionEvent.ACTION_MOVE」命令に変換するように構成され得る。逆制御モジュールは、変換された入力命令及び変換された座標情報をプロジェクション装置100に送信するようにさらに構成され得る。
マルチスクリーンプロキシサービスモジュールは、データ記憶モジュール及びデータパース配信モジュールを含み得る。データパース配信モジュールは、プロジェクション装置100から受信したデータ(デジタルビットストリーム)を、大画面装置200のアプリケーションによって読み取り可能なデータ(例えば、写真、ビデオ及びオーディオ)にパースするように構成され得る。データ記憶モジュールは、プロジェクション装置100から受信したデータを記憶し、データに対応するストレージパスを生成するように構成され得る。データパース配信モジュールは、送信する必要がある大画面装置200内のデータをコピーし、そのデータをプロジェクション装置100に送信するようにさらに構成され得る。マルチスクリーンプロキシサービスモジュールによって送受信されるデータは、ユーザによって選択されたアプリケーションに送信する必要があるデータ、例えば、ギャラリーにおける写真、「このPC」におけるワードドキュメント又はメールボックスにおける添付ファイルである。
図2Dに示すソフトウェアシステムは、データ伝送能力を用いたアプリケーション提示(このPC及びWord等)と、プロジェクション能力及びデータ伝送能力を提供するプロジェクションモジュールとに関する。なお、図2Dに示す電子装置のソフトウェアアーキテクチャは、本願の実施形態の実施にすぎない。実際の用途では、電子装置は、より多くの又はより少ないソフトウェアモジュールを代替的に含み得る。これは、本明細書では限定されない。
本願の実施形態では、大画面装置200はディスプレイモジュールをさらに含み得る。ディスプレイモジュールは、各ソフトウェアモジュールの実行に基づいて対応するユーザインターフェイスを表示するように構成されている。ディスプレイモジュールによって表示されるユーザインターフェイスについては、図1B、図4A、図4C~図4E、図5A~図5D及び図6A~図6Cに示すユーザインターフェイスを参照されたい。ディスプレイモジュールは、図2Bの出力モジュール107として具体的に実施され得る。
インターフェイス図を参照しながら、本願の実施形態で提供されるデータ伝送プロセスを以下で説明する。先ず、本願の実施形態で提供されるプロジェクション装置100上での「プロジェクション」を可能にするいくつかの方法について説明する。
図3Aは、プロジェクション装置100上で「プロジェクション」機能を有効にする動作を示す。図3Aに示すように、ステータスバー201上を下方にスワイプするユーザ操作を検出した場合、プロジェクション装置100は、ユーザ操作に応答して、ユーザインターフェイス21上にウィンドウ261を表示し得る。ウィンドウ261は、「プロジェクション」のスイッチコントロール263を表示し、他の機能(例えば、Wi-Fi、Bluetooth及び懐中電灯)のスイッチコントロールをさらに表示し得る。ウィンドウ261上のスイッチコントロール263に作用するユーザ操作(例えば、スイッチコントロール263に対するタッチ操作)が検出された場合、プロジェクション装置100は、ユーザ操作に応答して「プロジェクション」を有効にし得る。
任意で、「プロジェクション」が有効状態にある場合、プロジェクション装置100は、ステータスバー201内に識別子265を表示し得る。識別子265は、「プロジェクション」が有効であることを示すために用いられる。加えて、ユーザが「プロジェクション」を無効にした後では、プロジェクション装置100はもはや識別子265を表示しない。
ウィンドウ261内で「プロジェクション」を有効にすることに限定されず、ユーザは設定インターフェイスで「プロジェクション」をさらに有効にしてもよい。この方法については、図3Bに示す実施形態を参照されたい。
図3Cは、本願の実施形態に係る、プロジェクション装置100上に「プロジェクション」設定オプションを表示するためのユーザインターフェイス23を示す。ユーザインターフェイス23は、スイッチコントロール281、詳細コントロール283及び表示領域291を含む。ユーザがスイッチコントロール281をタップすると、タッピングに応答して、プロジェクション装置100は「プロジェクション」を有効にし、スイッチコントロール281を「オフ」状態を表示することから「オン」状態を表示することに切り替える。任意で、プロジェクション装置100は、ステータスバー201に禁止サイン265をさらに表示してもよい。
加えて、ユーザ操作に応答して、プロジェクション装置100は、プロジェクションを受信可能なプロジェクション装置100の周囲のラップトップも検出し、これらのラップトップに関する情報を表示領域291に表示する。
ユーザが詳細コントロール283をタップすると、タップ操作に応答して、プロジェクション装置100は、ユーザインターフェイス23の表示から、現在の装置であるHUAWEI P30に関する関連情報を含むユーザインターフェイスの表示に切り替える。
表示領域291は、プロジェクションを受信可能な1つ以上のラップトップに関する情報を表示するように構成され得る。具体的には、表示領域291は、コントロール285、コントロール287及びコントロール289を含む。1つのコントロールは1つのラップトップに対応し、異なるコントロールは異なるラップトップに対応する。例えば、コントロール285は、HUAWEI MateBook X Proラップトップ(ラップトップの名前)に対応する。ユーザがコントロール285をタップすると、タップ操作に応答して、プロジェクション装置100は、HUAWEI MateBook X Proラップトップにプロジェクション要求を送信する。次に、プロジェクション装置100は、プロジェクション要求の接続許可に対するHUAWEI MateBook X Proラップトップのフィードバックに応答して、HUAWEI MateBook X Proラップトップと接続関係を確立する。なお、別のコントロールの機能については、コントロール285の機能を参照されたい。詳細についてはここでは再度説明しない。
なお、ラップトップは、「プロジェクション」を有効にすることにより、本願の実施形態におけるデータ伝送方法を実施し得る。「プロジェクション」はラップトップ内のアプリケーションであってもいいし、「プロジェクション」は代替的にラップトップ内のアプリケーションで提供されるサービスであってもよい。例えば、アプリケーションは「コンピュータマネージャ」であり得るか、代替的に別のアプリケーションであり得る。これは、本願のこの実施形態では限定されない。「プロジェクション」を有効にした後で、ラップトップは、無線通信プロセッサモジュール104を用いることにより、プロジェクション装置100によって送信されるプロジェクション要求を受信し得る。任意で、プロジェクション要求を受信した後で、ラップトップはプロンプトウィンドウを表示し得る。プロンプトウィンドウは「許可」コントロール及び「拒否」コントロールを含む。ユーザによる「許可」コントロールに対する操作が検出されると、ラップトップは接続許可応答をプロジェクション装置に送信し、大画面装置200は、プロジェクション装置100への接続を確立する。
プロジェクション装置100がHUAWEI MateBook X Proラップトップとの接続関係を確立した後で、プロジェクション装置100のプロジェクションモジュール内のビデオストリーム伝送モジュールは、記録された表示コンテンツをラップトップに送信する。ラップトップは記録された表示コンテンツを受信し、ディスプレイ上に表示コンテンツを表示する。ラップトップ上の表示インターフェイスについては、図1Bに示すユーザインターフェイス41を参照されたい。
次に、前述の内容におけるプロジェクションシステム10、電子装置10及び電子装置20に基づいて、他の添付の図面を参照しながら、本願の実施形態で提供されるデータ伝送方法を詳細に説明する。なお、以下の実施形態では、プロジェクション装置100がスマートフォンであり、大画面装置200がラップトップである例を説明のために用いる。あるいは、プロジェクション装置100及び大画面装置200は別の電子装置であってもよい。例えば、プロジェクション装置100はラップトップであってもいいし、大画面装置200はテレビ、プロジェクタ等であってもよい。これは、本願の実施形態では限定されない。
本願の実施形態に示すデータ送信方法は2つのケースに分類され得る。第1のケースは、スマートフォン上のアプリケーションからラップトップ上のアプリケーションにデータが伝送される場合である。第2のケースは、ラップトップ上のアプリケーションからスマートフォン上のアプリケーションにデータが伝送される場合である。以下では、2つのケースを別々に説明し、最初に第1のケースを説明する。
プロジェクションシナリオ1:スマートフォンのディスプレイは「ギャラリー」のユーザインターフェイスを表示する。スマートフォンの表示コンテンツは、表示のためにラップトップのディスプレイに投影される。ラップトップのディスプレイは、スマートフォンの表示コンテンツと、Microsoft Office Wordの編集インターフェイス(以下では、Wordと略す)を同時に表示する。「ギャラリー」は、スマートフォン上の画像管理アプリケーションであり、「アルバム」、「フォト」等とも呼ばれ得る。本願ではその名前は限定されない。「Word」はラップトップ上のワープロアプリケーションである。
図4Aは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影するユーザインターフェイス51の概略図である。ユーザインターフェイス51は、ウィンドウc、ウィンドウd及びステータスバー310を含む。ウィンドウcはWordアプリケーションの編集インターフェイスをラップトップ上に表示するために用いられ、ウィンドウdはギャラリーアプリケーションのインターフェイスをスマートフォン上に表示するために用いられる。具体的には、ギャラリーアプリケーションのインターフェイスは、ナビゲーションバー及び複数のファイルオブジェクトを含む。例えば、ファイルオブジェクトはサムネイル303-1、サムネイル303-2等であり得る。Wordアプリケーションの編集インターフェイスはタイトルバー、メニューバー、ツールバー及びドキュメント編集領域345を含む。ドキュメント編集領域345は、ユーザが入力した情報を受信及び表示するために用いられる。ドキュメント編集領域345はカーソル502を含み、カーソル502は、ユーザによって入力すべき情報の表示位置を示すために用いられる。なお、Wordアプリケーションの編集インターフェイスにおいて、ドキュメント編集領域345は伝送されたファイルオブジェクトを受信し、伝送されたファイルオブジェクトをカーソル502によって示される位置に表示し得る。具体的には、Wordアプリケーションの編集インターフェイス上の各コントロールがファイルオブジェクトを受信できるかどうかは、Wordアプリケーションのユーザインターフェイス設計の間に決定され得る。
図4Aに示すプロジェクションシナリオは、スマートフォン上のギャラリーアプリケーションからラップトップ上のワードアプリケーションにデータを伝送するプロセスを説明するために以下で一例として用いる。プロセスについては、図4Bに示す方法フローチャートを参照されたい。この方法は以下のステップを含む。
S101:ウィンドウd内のギャラリーアプリケーションのインターフェイスに対してユーザによって行われた操作を検出すると、ラップトップは、操作に対応する変換入力された命令及び変換された座標情報をスマートフォンに送信する。
例えば、ウィンドウd内のギャラリーアプリケーションのインターフェイスに対してユーザによって行われる操作は、ユーザによるサムネイル303-1のタッチアンドホールド操作である。
具体的には、プロジェクションシナリオにおいて、ラップトップのプロジェクションモジュール内のモニタリングモジュールは、ディスプレイ上で受信される操作を連続的にモニタリングし、操作に対応する元の入力命令及び座標情報を特定し得る。モニタリングモジュールは、元の入力命令に関する座標情報及びギャラリーアプリケーションのインターフェイスの座標領域に基づいて、操作がギャラリーアプリケーションのインターフェイス上で行われたと判定し得る。例えば、元の入力命令は、「上に移動(リフト)」、「下に移動(プレス)」、「移動(移動)」等の命令を含み得る。
ユーザによって入力された操作はギャラリーアプリケーションのインターフェイスに作用することを検出した後に、モニタリングモジュールは、元の入力命令及び座標情報を命令伝送モジュールに送信する。命令伝送モジュールは、座標情報をプロジェクション装置100の表示コンテンツ(すなわち、ギャラリーアプリケーションのインターフェイス)に対する座標情報に変換し、元の入力命令をスマートフォンによって認識可能な入力命令に変換し、変換された入力命令及び変換された座標情報をスマートフォンに送信する。
S102:受信した変換された変換入力命令及び変換された座標情報に基づいて、サムネイル303-1のアイコンに対する選択イベントが受信されたとスマートフォンが判定した場合、スマートフォンは、アイコンに対応する写真に関するファイル情報を特定する。
選択イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。実施形態における選択イベントは、タッチアンドホールドイベントを用いることにより説明される。ファイル情報は、写真の名前、作成/変更日、形式、サイズ、アイコン等に関する情報を含み得る。選択イベントは、伝送すべきファイルオブジェクトを選択するために用いられる。
具体的には、ステップS102の実施プロセスは以下のステップを含み得る。
S1:スマートフォンの命令伝送モジュールは変換された入力命令及び変換された座標情報を入力マネージャに送信する。
S2:変換された入力命令及び変換された座標情報を入力マネージャが受信した後に、入力マネージャは、変換された入力命令に基づいて、タッチアンドホールドイベントが受信されたと判定する。例えば、入力命令は「MotionEvent.ACTION_DOWN」、「MotionEvent.ACTION_DOWN」及び「MotionEvent.ACTION_DOWN」であってもよく、入力マネージャは、タッチアンドホールドイベントが受信されたと判定する。
S3:入力マネージャは、タッチホールドイベント及びタッチホールドイベントに対応する座標情報をウィンドウマネージャに送信する。
タッチアンドホールドイベントに対応する座標情報は変換された座標情報である。
S4:ウィンドウマネージャがタッチホールドイベント及びタッチホールドイベントに対応する座標情報を受信した後に、ウィンドウマネージャは、座標情報に基づいて、タッチホールドイベントに対応する表示領域に表示されているアプリケーションインターフェイスはギャラリーのアプリケーションインターフェイスであると判定する。
なお、図4Aに示すスマートフォン上に表示領域が存在し、該表示領域はギャラリーのアプリケーションインターフェイスを表示するために用いられている。スマートフォンがスプリットスクリーン状態にある場合、スマートフォン上には2つの表示領域があり得る。ウィンドウマネージャは、座標情報に基づいて、タッチアンドホールドイベントに対応する表示領域は、2つの表示領域のうちの1つであると特定し、表示領域に表示されているアプリケーションインターフェイスを特定し得る。
S5:ウィンドウマネージャは、アプリケーションインターフェイスに関する情報、タッチホールドイベント及びタッチホールドイベントに対応する座標情報をビューシステムに送信する。
S6:ビューシステムがアプリケーションインターフェイスに関する情報、タッチホールドイベント及びタッチホールドイベントに対応する座標情報を受信した後、ビューシステムは、アプリケーションインターフェイスに関する情報及びタッチホールドイベントに対応する座標情報に基づいて、タッチホールドイベントに対応するコントロールはサムネイル303-1のアイコンであると判定し得る。
S7:ビューシステムは、サムネイル303-1のアイコンに対するタッチアンドホールドイベントをギャラリーアプリケーションに送信する。
S8:ビューシステムによって送信された、サムネイル303-1のアイコンに対するタッチアンドホールドイベントをギャラリーアプリケーションが受信した後、タッチアンドホールドイベントに応答して、ギャラリーアプリケーションは、マルチスクリーンフレームワークに、サムネイル303-1のアイコンに対応する写真に関するファイル情報を送信する。写真に関するファイル情報は、写真の名前、作成日、形式、サイズ、アイコン等のうちの1つ以上を含み得る。送信する必要があるファイル情報の種類は予め設定され得る。サムネイル303-1に対応する写真のファイル形式はJPEGであり得る。なお、異なるファイルオブジェクトの形式は異なり得る。例えば、ファイルオブジェクトの形式は、代替的に、グラフィックスインターチェンジ形式(graphics interchange format、GIF)、テキストファイルTXT、Microsoft PowerpointプレゼンテーションPPT、ポータブルドキュメント形式(portable document format、PDF)、JPEG形式(joint photographic experts group)形式、オーディオビデオインターリーブ(AVI)形式等であり得る。
可能な実施では、タッチアンドホールドイベントに応答して、ギャラリーアプリケーションは、ビューシステムを介してギャラリーアプリケーションのインターフェイス上に、サムネイル303-1のアイコンが選択されていることを表示し得る。例えば、サムネイル303-1のアイコンが選択されていることは、サムネイル303-1のアイコンの周囲にハイライトされたボックスを表示すること、サムネイル303-1のアイコン上に識別子(例えば、「√」)を表示すること又はサムネイル303-1のアイコンの表示色を変更することによって表示され得る。加えて、スマートフォンのディスプレイに表示されるコンテンツが変化するにつれて、ウィンドウdに表示されるコンテンツも変化する。
他の可能な実施では、前述の内容のS1~S8で説明した方法を参照して、ラップトップ上で検出され、ギャラリーアプリケーションのインターフェイス上で作用するユーザ操作は、応答のためにスマートフォンに同期される。ウィンドウd内でサムネイル303-1のアイコンをユーザがドラッグする操作に応答して、スマートフォンのビューシステムは、サムネイル303-1のアイコンに対する決定ドラッグイベントをギャラリーアプリケーションに送信する。ギャラリーアプリケーションは、ビューシステムを介してギャラリーアプリケーションのインターフェイス上に、アイコン505の一例として示すファイルアイコンを表示する。ファイルアイコンは、ピクチャのドラッグ位置を示すために用いられ、ファイルアイコンの表示位置は、マウスポインタ311の動きと共に変化する。
S9:ギャラリーアプリケーションによって送信された写真に関するファイル情報を受信した後に、マルチスクリーンフレームワークは写真に関するファイル情報をプロジェクションモジュールに送信する。
S103:スマートフォンは、写真に関するファイル情報をプロジェクションモジュールを介してラップトップに送信する。
S104:ラップトップは、写真に関するファイル情報に基づいてアイコン505を生成し表示する。
このような表示方法については、図4Cを参照されたい。アイコン505は、写真のドラッグ位置を示すために用いられ、アイコン505の表示位置はマウスポインタ311の動きと共に変化する。ラップトップは、写真に関するファイル情報内のアイコン情報に基づいてアイコン505を生成し得る。任意で、ラップトップは、ファイル情報内のファイル形式に基づいてアイコン505を生成し得る。同じ形式タイプのオブジェクトをドラッグすると、同じアイコンが表示される。なお、1つの形式タイプは複数の異なるファイル形式を含み得る。例えば、写真の種類は、GIF、JPEG、ポータブルネットワークグラフィックス(portable network graphics、PNG)等を含み、ビデオの種類はMPEG(motion picture experts group)、AVI、MP4(moving picture expert group 4)等を含み得る。
別の可能な実施では、ユーザのドラッグ操作がウィンドウd上に作用した場合、スマートフォンはファイルアイコンを生成し、表示する。ユーザがウィンドウdからウィンドウcにサムネイル303-1のアイコンをドラッグしたことを検出すると、ラップトップは、写真に関するファイル情報に基づいてアイコン505を生成し、表示する。スマートフォンのディスプレイ上のファイルアイコンは、ラップトップによって生成されたアイコン505と異なり得る。S105:Wordアプリケーションの編集インターフェイス上のドキュメント編集領域345でユーザによって行われた決定イベントを検出すると、ラップトップは第1の表示情報をスマートフォンに送信し、第1の表示情報は、写真をラップトップに送信するようスマートフォンに示すために用いられる。
決定イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。例えば、決定イベントは、Wordアプリケーションの編集インターフェイス上のドキュメント編集領域345で作用するリフト(lift)ドラッグ操作のドラッグイベントであり得る。決定イベントは、ファイルオブジェクトを受信するアプリケーションのコントロールを決定するために用いられ得る。
S106:スマートフォンが第1の表示情報を受信した後で、スマートフォンは、第1の表示情報に基づいて写真をラップトップに送信する。
スマートフォンによってラップトップに送信される写真は、写真のデータ及び写真に関するファイル情報を含む。
スマートフォンが写真をラップトップに送信する前に、スマートフォンは写真のストレージパスを特定する必要がある。スマートフォンが写真のストレージパスを特定する方法は次のようなものになり得る。ステップS8で、写真に関するファイル情報をマルチスクリーンフレームワークに送信するときに、ギャラリーアプリケーションは写真のストレージパスをマルチスクリーンフレームワークに送信する。次に、マルチスクリーンフレームワークは写真のストレージパスを、マルチスクリーンプロキシサービスモジュールに送信する。任意で、写真のストレージパスを特定する方法はさらに次のようなものになり得る。スマートフォンが第1の表示情報を受信した後に、マルチスクリーンプロキシサービスモジュールは、写真のストレージパスを取得するための命令をマルチスクリーンフレームワークに送信し、この命令に応答して、マルチスクリーンフレームワークは、ギャラリーアプリケーションから写真のストレージパスを取得し、ストレージパスをマルチスクリーンプロキシサービスモジュールにフィードバックする。具体的には、スマートフォンが写真のデータをラップトップに送信するプロセスは次のようになり得る。スマートフォンのプロジェクションモジュールのマルチスクリーンプロキシサービスモジュールは、写真のストレージパスに基づいたアプリケーションフレームワーク層のインターフェイスを呼び出し、コンテンツプロバイダから写真のデータをコピーし、写真のデータをラップトップに送信する。
S107:ラップトップが写真のデータを受信した後に、ラップトップはファイル編集領域345に写真を表示する。
このような表示方法については、図4Dに示すユーザインターフェイス53を参照されたい。具体的には、ステップS107の具体的な実施プロセスについては、以下のステップを参照されたい。
S11:ラップトップ内のマルチスクリーンプロキシサービスモジュールは、コンテンツパース配信モジュールを用いることにより、受信したデータ(データビットストリーム)をラップトップ上のアプリケーションによって読み取り可能な写真(例えば、ビデオ、オーディオ又はドキュメント等の他のデータであってもよい)にパースし、パースしたデータをコンテンツ記憶モジュールに記憶し、写真のデータのストレージパスを生成する。
S12:ラップトップ内のマルチスクリーンプロキシサービスモジュールは、写真のデータのストレージパスをWordアプリケーションに送信する。
S13:ラップトップ内のWordアプリケーションは、ファイル編集領域345に対応するプログラムに基づいて写真のデータを処理する。
例えば、Wordアプリケーションは写真をストレージパスから読み出し、ファイル編集領域345に写真を表示する。別の例では、伝送されたファイルがワードドキュメントの場合、Wordアプリケーションは、ドキュメント編集領域345内のカーソル502にワードドキュメントのアイコンを表示し、ユーザは、ドキュメントのアイコンをタップすることによりワードドキュメントを開き得る。
可能な実施では、Wordアプリケーションは、ファイル編集領域345内のカーソル502に写真を表示する。カーソル502の位置は、決定イベントを受信する前のカーソル502の表示位置である。別の可能な実施では、ステップS12で、マルチスクリーンプロキシモジュールは、決定イベントに対応する座標をWordアプリケーションにさらに送信し得る。Wordアプリケーションは、決定イベントに対応する座標に写真を表示する。任意で、Wordアプリケーションは、カーソル502の位置を写真の後ろに移動させる。
加えて、Wordアプリケーションは、ファイル1に対応するキャッシュスペースに写真を記憶する。また、ユーザがワード編集インターフェイス上の保存コントロールをタップした後に、Wordアプリケーションは、ファイル1に対応する記憶スペースに、ファイル1の写真として写真を記憶する。さらに別の可能なケースでは、ドキュメント編集領域345が写真を受信した後に、ユーザがファイル1を閉じ、ファイル1の変更を保存しない場合、Wordアプリケーションは写真を記憶せず、キャッシュスペースから写真を消去する。なお、伝送されたファイルデータをWordアプリケーションが処理する方法は、Wordアプリケーションのプログラム設計の間に決定され得る。このように、ユーザは、スマートフォン上のギャラリーアプリケーション内の写真をラップトップ上のWordアプリケーションに簡便に伝送できる。これにより、データ共有効率が改善される。
一部の他の実施形態では、ユーザがウィンドウdからウィンドウcにアイコン336-1をドラッグすることが検出されると、ラップトップは第1の表示情報をスマートフォンに送信する。次に、ラップトップは、スマートフォンによって送信された写真のデータを受信する。Wordアプリケーションの編集インターフェイスのドキュメント編集領域345上でユーザによるドラッグ操作のリフト操作が検出されると、ラップトップは、ファイル編集領域345に対応するプログラムを呼び出して写真のデータを処理する。
図4Eを参照して、一部の他の実施形態では、ユーザがウィンドウc内のアイコン505をドラッグするプロセスで、写真を受信できないツールバーにマウスポインタ311が移動したことをラップトップが検出した場合、ラップトップはアイコン505内に禁止サイン503を表示する。禁止サイン503は、ツールバーが写真を受信できないことを示すために用いられる。図4Eに一例として示す禁止サイン503に限定されず、禁止サイン503は代替的に別のスタイルであってもよい。例えば、禁止サイン503は、アイコン505の周囲に表示される赤色(又は別の色)のプロンプトボックスであり得るか又は「x」字状のアイコン等であり得る。これは、本願の実施形態では限定されない。任意で、写真を受信できないツールバーにマウスポインタ311が移動することをラップトップが検出した場合、ラップトップはプロンプト情報をさらに表示し得る。プロンプト情報は、ツールバーが写真を受信できないことを示すために用いられる。
一部の他の実施形態では、選択イベントに対応するデータはテキストである。この場合、前述のステップS106では、スマートフォンがテキストをラップトップに送信するプロセスにおいて、スマートフォンはテキストのストレージアドレスを特定し、ストレージアドレスからテキストを読み出す必要がなく、スマートフォンはテキストを直接コピーし得る。ステップS107の実施プロセスでは、ラップトップのマルチスクリーンプロキシサービスモジュールはテキストを記憶する必要がなく、テキストを処理のためにWordアプリケーションに直接送信する。
他の可能な実施では、ラップトップのウィンドウcは他のアプリケーションのインターフェイスをさらに表示し得る。他のプロジェクションシナリオを以下で説明する。
プロジェクションシナリオ2:スマートフォン上の「ギャラリー」アプリケーションの表示インターフェイスと、ラップトップの「WeChat(WeChat)」のチャットインターフェイスとが、ラップトップのディスプレイに同時に表示されている。「WeChat」はラップトップ上のインスタントメッセージングソフトウェアである。図5Aは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影するユーザインターフェイス61の概略図である。ユーザインターフェイス61は、ウィンドウc、ウィンドウd及びステータスバー310を含む。ウィンドウcはWeChatのチャットインターフェイスを表示する。WeChatのチャットインターフェイスはメッセージリスト、表示領域370及び入力ボックス372を含む。
前述のプロジェクションシナリオ1で説明したデータ伝送方法を参照されたい。ウィンドウdから入力ボックス372にサムネイル303-1に対応する写真をユーザがドラッグする操作に応答して、ラップトップは表示情報をスマートフォンに送信する。表示情報に応答して、スマートフォンは写真のデータをラップトップに送信する。ラップトップが写真のデータを受信した後で、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスをWetChatアプリケーションに送信する。WeChatアプリケーションは、入力ボックス372に対応するプログラムを呼び出して写真のデータを処理する。WeChatアプリケーションは写真をストレージパスから読み出し、写真をチャットオブジェクト(すなわち、Lisa)に送信し、表示領域370に写真のアイコン368をメッセージ記録として表示する。具体的には、アイコン368は最近のメッセージ記録の下に表示される。
加えて、WetChatアプリケーションは、チャットオブジェクトとのチャット記録の記憶スペースに写真を記憶し得る。例えば、図5Bに示すユーザインターフェイス62を参照されたい。ユーザインターフェイス62内のウィンドウgは、ラップトップを用いるユーザと、チャットオブジェクトとの間のチャット記録の表示インターフェイスを表示するために用いられる。表示インターフェイスは「写真及びビデオ」の記録を一例として用いる。伝送された写真のアイコン366は記録内で見られ得る。ユーザはアイコン366をタップし、タップ操作に応答して、ラップトップは写真を表示する。
一部の他の可能な実施では、ラップトップが第1の表示情報をスマートフォンに送信する前に、ラップトップは、写真に関するファイル情報に基づいて、入力ボックス372は写真を受信可能であると判定する。判定方法は、ラップトップが、入力ボックス372によって受信可能なファイルオブジェクトのプリセット条件を特定することであり得る。ラップトップは、写真に関するファイル情報をプリセット条件と比較し、ファイル情報がプリセット条件を満たす場合、ラップトップは入力ボックス372が写真を受信可能であると判定する。例えば、プリセット条件は、入力ボックス372によって受信可能なファイルオブジェクトの形式及び最大ファイルサイズを示す。この場合、入力ボックス372によって受信可能なファイル形式がファイル情報で示されるファイル形式を含み、入力ボックス372によって受信可能な最大ファイルサイズが表示情報で示されるファイルサイズ以上の場合、ファイル情報はプリセット条件を満たし、入力ボックス372は写真を受信できる。なお、入力ボックス372によって受信可能なファイルオブジェクトのプリセット条件は、WeChatアプリケーションプログラムが書かれたときに決定され得る。
一部の他の例では、ユーザによってドラッグされたファイルオブジェクトは10M GIFであり、入力ボックス372は最大5M GIFを受信し得る。この場合、ラップトップは、入力ボックス372がGIFを受信できないと判定し、ラップトップは表示情報をスマートフォンに送信しない。任意で、ラップトップはプロンプト情報を表示し、プロンプト情報は、入力ボックス372がGIFを受信できないことを示すために用いられる。
一部の他の例では、ユーザによってドラッグされたデータはテキストであり、WeChatアプリケーションは入力ボックス372にテキストを表示する。ユーザがメッセージ送信コントロールをタップすると、タップ操作に応答して、WeChatアプリケーションはテキストをチャットオブジェクトに送信し、テキストを表示領域370にメッセージ記録として表示する。具体的には、テキストは最近のメッセージ記録の下に表示される。加えて、WeChatアプリケーションは、チャットオブジェクトとのチャット記録の記憶スペースにテキストを記憶する。
一部の他の可能な実施形態では、決定イベントは、ファイルオブジェクトを受信するアプリケーションを決定するために用いられ、ファイルオブジェクトを受信する特定のコントロールは区別されない。この場合、ラップトップが第1の表示情報をスマートフォンに送信する前に、ラップトップは、写真に関するファイル情報に基づいて、WeChatアプリケーションが写真を受信できると判定する。判定方法は、ラップトップが、WeChatアプリケーションによって受信可能なファイルオブジェクトのプリセット条件を特定するというものであり得る。ラップトップは写真に関するファイル情報をプリセット条件と比較し、ファイル情報がプリセット条件を満たす場合、。ラップトップは、WeChatアプリケーションが写真を受信できると判定する。例えば、プリセット条件は、WeChatアプリケーションによって受信可能なファイルオブジェクトの形式及び/又は最大ファイルサイズを示し得る。WeChatアプリケーションが受信可能なファイルオブジェクトのプリセット条件は、WeChatアプリケーションプログラムが書かれたときに決定され得る。次いで、スマートフォンによって送信された写真を受信した後に、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスをWetChatアプリケーションに送信する。WeChatアプリケーションは写真のデータを処理する。
プロジェクションシナリオ3:スマートフォン上の「ギャラリー」アプリケーションの表示インターフェイスと、ラップトップ上の「このPC」のインターフェイスとがラップトップのディスプレイに同じに表示される。「このPC」は、ラップトップ上のファイルリソース管理アプリケーションである。このアプリケーションは、ラップトップの基本的なハードウェアリソースに保存されているファイルの表示、ファイルのコピー、ペースト、移動及びディスクのフォーマットに用いることができる。
図5Cは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影するユーザインターフェイス63の概略図である。ユーザインターフェイス63は、ウィンドウc、ウィンドウd及びステータスバー310を含む。ウィンドウcは「このPC」のインターフェイスを表示する。「このPC」のインターフェイスは、タイトルバー、詳細バー、メニューバー、アドレスオプションバー358及び表示領域362を含む。
アドレスオプションバー358は1つ以上のアドレスオプションを表示するために用いられ得る。一例におけるアドレスオプションは、クイックアクセス、このPC及びこのPC下でのより詳細なアドレス(例えば、ローカルディスク(C:)及びソフトウェア(D:))を含む。なお、1つ以上の詳細なアドレスは代替的にクイックアクセス下に存在してもよく、別のアドレスオプションがアドレスオプションバー内にさらに存在し得る。この図は一例に過ぎない。表示領域362は、選択されたアドレス(即ち、オフィス(F:))に記憶されたファイルに関する情報を表示するために用いられ得る。1つの例では、表示領域362はファイル1のアイコン336-1と、ファイル2のアイコン336-2と、ファイル3のアイコン336-3とを含む。表示領域にファイルを表示する方法は、超大型アイコン、大型アイコン、中型アイコン、小型アイコン、リスト、詳細、タイル、コンテンツ等を含む。図に示す例のファイルは大型アイコンで表示されているが、別の方法で表示されてもよい。これは、本願の実施形態では限定されない。
前述のプロジェクションシナリオ1で説明したデータ伝送方法を参照されたい。サムネイル303-1に対応するアイコンをウィンドウdから表示領域362にドラッグするユーザの操作に応答して、ラップトップは表示情報をスマートフォンに送信する。表示情報に応答して、スマートフォンは写真をラップトップに送信する。ラップトップが写真を受信した後に、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスを「このPC」に送信する。「このPC」は、表示領域362に対応するプログラムを呼び出して写真を処理する。「このPC」はストレージパスに基づいて写真を読み出し、写真をオフィス(F:)の記憶スペースに記憶し、表示領域362に写真の大型アイコン365を表示し、大きなアイコンの下に写真名IMG_0373.JGPを表示する。なお、マルチスクリーンプロキシサービスモジュールは、写真のデータ及び写真に関するファイル情報を記憶し、「このPC」はストレージパスに基づいて写真に関するデータ及びファイル情報を読み出し得る。
一部の他の例では、サムネイル303-1に対応するアイコンをウィンドウdからドキュメント(E:)のアドレスオプションにユーザがドラッグすると、「このPC」はストレージパスに基づいて写真を読み出し、その写真をドキュメント(E:)の記憶スペースに記憶する。
プロジェクションシナリオ4:ウィンドウcはメールボックスアプリケーションの電子メール編集インターフェイスを表示する。上記のプロセスと同様に、サムネイル303-1に対応するアイコンをウィンドウdから電子メール編集領域にユーザがドラッグする操作に応答して、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスをメールボックスアプリケーションに送信する。メールボックスアプリケーションはストレージパスに基づいて写真を読み出し、電子メール添付ファイルとして写真を編集インターフェイスに表示する。加えて、メールボックスアプリケーションは、メールボックスアプリケーションのキャッシュスペースに写真を記憶する。また、ユーザが電子メールの送信コントロールをタップした後に、メールボックスは電子メールを送信し、電子メールに対応する記憶領域に電子メールの添付ファイルとして写真を記憶する。
プロジェクションシナリオ5:デスクトップ及びウィンドウdがラップトップ上に表示され、スマートフォン上のギャラリーアプリケーションの表示インターフェイスがウィンドウdに表示されている。サムネイル303-1に対応するアイコンをウィンドウdからデスクトップ上のステータスバー310内のWeChatアイコンにドラッグするユーザの操作に応答して、前述のプロセスと同様に、マルチスクリーンプロキシサービスモジュールは写真を記憶し、写真のデータのストレージパスを、WeChatアイコンに対応するWeChatアプリケーションに送信する。WeChatアプリケーションは、ストレージパスに基づいて写真を読み出し、WeChatアプリケーションに対応する記憶スペースに写真を記憶し得る。任意で、WeChatアプリケーションは、最近の閲覧履歴リストの固定カラムに写真をさらに表示し得る。そのような表示方法については、図5Dに示すユーザインターフェイス64を参照されたい。なお、ユーザはWeChatアイコンを右クリックして、WeChatアプリケーションの最近の閲覧履歴リストを開き得る。WeChatアプリケーションは、別の方法で写真をさらに処理し得る。これは、本願の実施形態では限定されない。
本願の実施形態に示すデータ伝送方法の第2のケースを以下で説明する。
プロジェクションシナリオ6:「WeChat(WeChat)」のユーザインターフェイスがスマートフォンのディスプレイに表示されている。スマートフォンの表示コンテンツは、表示のためにラップトップのディスプレイに投影されている。スマートフォンの表コンテンツと「このPC」のアプリケーションインターフェイスとがラップトップのディスプレイに同時に表示されている。「WeChat」は、スマートフォン上のインスタントメッセージングアプリケーションである。「このPC」は、ラップトップ上のファイルリソース管理アプリケーションである。このアプリケーションは、ラップトップの基本的なハードウェアリソースに記憶されているファイルの表示、ファイルのコピー、ペースト、移動及びディスクのフォーマットを行うために用いることができる。
図6Aは、本願の実施形態に係るスマートフォンのスクリーンをラップトップに投影する他のユーザインターフェイス71の概略図である。ユーザインターフェイス61はウィンドウe及びウィンドウfを含む。ウィンドウeはラップトップ上の「このPC」のアプリケーションインターフェイスを表示するために用いられ、ウィンドウfは携帯端末上のWeChatのアプリケーションインターフェイスを表示するために用いられる。具体的には、ウィンドウfは、表示領域405及び入力ボックス408を含む。表示領域405は、インスタントチャットメッセージを表示するために用いられ得る。これらのインスタントチャットメッセージは、電子装置を用いるユーザと、現在のチャットオブジェクト(すなわち、Lisa)との間のチャット記録に記憶される。入力ボックス408は、ユーザによって入力された情報を受信するために用いられ得る。なお、ウィンドウfに表示されるユーザインターフェイスにおいて、入力ボックス408はファイルオブジェクトを受信し得る。任意で、入力ボックス408によって受信可能なファイルオブジェクトの形式及び/又はサイズが設定され得る。例えば、入力ボックス408によって受信可能なグラフィックインターチェンジ形式(graphics interchange format、GIF)のファイルの最大サイズは5メガバイト(MB)である。ウィンドウfに表示される「このPC」のインターフェイスの説明については、図5Cに示すユーザインターフェイス63の説明を参照されたい。詳細についてはここでは再度説明しない。
ラップトップ上の「このPC」からスマートフォン上の「WeChat」アプリケーションにデータを伝送するプロセスを説明するために、図6Aに示すプロジェクションシナリオを以下で一例として用いる。プロセスについては、図7に示す方法フローチャートを参照されたい。この方法は以下のステップを含む。
S201:「このPC」のアプリケーションインターフェイス上でのユーザによるアイコン336-1のタッチアンドホールド操作に応答して、ラップトップはアイコン336-1に対応するワードドキュメントに関するファイル情報を取得する。
任意の実施では、プロジェクションシナリオにおいて、ユーザにより入力された操作が「このPC」のインターフェイス上で作用することを検出した後で、モニタリングモジュールは、入力イベント及び入力イベントに対応するコントロールを特定するために、元の入力命令及び座標情報をラップトップのプロセッサに送信する。モニタリングモジュールは、元の入力命令に関する座標情報及び「このPC」のインターフェイスの座標領域に基づいて、操作が「このPC」のインターフェイス上で実行されたと判定し得る。入力イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチイベント、ドラッグイベント等であり得る。
ラップトップのプロセッサは、元の入力命令及び座標情報に基づいて、「このPC」のアプリケーションインターフェイス上のアイコン336-1に対してタッチアンドホールドイベントが受信されたと判定する。ラップトップは、タッチアンドホールドイベントが選択イベントであると判定し、この選択イベントに応答して、「このPC」は、アイコン336-1に対応するワードドキュメントに関するファイル情報をプロジェクションモジュール内のマルチスクリーンプロキシサービスモジュールに送信する。ファイル情報は、ワードドキュメントの名前、サイズ、形式、アイコン等のうちの1つ以上であり得る。ラップトップは、取得したファイル情報の種類をプリセットし得る。ラップトップは、選択イベントのイベント種類を予め記憶してもよい。例えば、選択イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチイベント、ドラッグイベント等のうちの1つ以上であり得る。伝送すべきファイルオブジェクトを選択するために選択イベントが用いられる。
可能な実施では、選択イベントに応答して、「このPC」はアイコン336-1が選択されたとの内容を表示し得る。例えば、アイコン336-1が選択されたことは、アイコン336-1の周囲にハイライトボックスを表示すること、アイコン336-1上に識別子(例えば、「√」)を表示すること又はアイコン336-1の表示色を変更することにより表示され得る。
S202:ユーザによるアイコン336-1のドラッグ操作に応答して、ラップトップはアイコン601を表示する。
アイコン601はドキュメントのドラッグ位置を示すために用いられ、アイコン601の表示位置は、マウスポインタ311の移動と共に変化する。アイコン601は、アイコン336-1に基づいて生成され得るか又はワードドキュメントに関するファイル情報に基づいて生成され得る。
任意で、マウスポインタ311がウィンドウeからウィンドウfに移動するプロセスにおいて、アイコン601は継続的に表示され得る。
S203:ユーザがアイコン336-1をウィンドウeからウィンドウfにドラッグすることが検出されると、ラップトップは、ドラッグ操作に基づいて、変換された入力命令及び変換された座標情報を特定し、ドラッグ操作に対応する変換された入力命令及び変換された座標情報をスマートフォンに送信する。
S204:受信した変換された入力命令及び変換された座標情報に基づいて、決定イベントが受信されたとスマートフォンが判定した場合、スマートフォンは決定イベントに対応するアプリケーションを特定する。
決定イベントは、タップイベント、ダブルタップイベント、タッチアンドホールドイベント、フォースタッチ(force touch)イベント、ドラッグイベント等であり得る。ドラッグイベントを一例として用いる。スマートフォンの場合、決定イベントは、WeChatのアプリケーションインターフェイスの端から入力ボックス408にリフトのためにドラッグするドラッグイベントであり得る。決定イベントは、ファイルオブジェクトを受信するアプリケーションを選択するために用いられ得る。
具体的には、スマートフォンは、入力マネージャを介して、受信した変換された入力命令及び変換された座標情報に基づいて決定イベントが受信されたと判定し得る。スマートフォンは、ウィンドウマネージャを介し且つ変換された座標情報に基づいて、決定イベントに対応する表示領域に表示されるアプリケーションはWeChatアプリケーションであると判定し得る。
S205:スマートフォンは第2の表示情報をラップトップに送信し、第2の表示情報は、ワードドキュメントのデータをスマートフォンに送信するようラップトップに示すために用いられる。
S206:ラップトップが第2の表示情報を受信した後で、ラップトップは、第2の表示情報に基づいて、ワードドキュメントに関するデータ及びファイル情報をスマートフォンに送信する。
第2の表示情報に基づいて、ラップトップがワードドキュメントのデータをスマートフォンに送信するプロセスは、ラップトップがワードドキュメントのストレージパスに基づいて、ワードドキュメントの記憶スペースからワードドキュメントのデータをコピーし、ワードドキュメントのデータをラップトップに送信するというものであり得る。ラップトップがワードドキュメントのストレージパスを特定する方法は次のようなものであり得る:ステップS201で、ラップトップは、ワードドキュメントに関するファイル情報を取得しながら、ワードドキュメントのストレージパスを取得する。ラップトップがワードドキュメントのストレージパスを特定する方法は代替的に次のようなものであり得る:スマートフォンによって送信され第2の表示情報を受信した後に、ラップトップは「このPC」からワードドキュメントのストレージパスを取得する。
S207:スマートフォンが写真のデータを受信した後に、スマートフォンは、WeChatアプリケーションを介してチャットオブジェクトにワードドキュメントを送信し、メッセージ記録として表示領域405にワードドキュメントを表示する。
そのような表示方法については、図6Bに示すユーザインターフェイス72を参照されたい。具体的には、ステップS208の具体的な実施プロセスについては、以下のステップを参照されたい。
S21:スマートフォン内のマルチスクリーンプロキシサービスモジュールは、コンテンツパース配信モジュールを用いて、受信したデータ(データビットストリーム)をスマートフォン上のアプリケーションが読み取り可能なワードドキュメント(例えば、写真、ビデオ又はオーディオ等の他のデータであってもよい)にパースし、パースしたデータをコンテンツ記憶モジュールに記憶し、ワードドキュメントのストレージパスを生成する。
S22:スマートフォンのマルチスクリーンプロキシサービスモジュールは、ワードドキュメントのストレージパスをWeChatアプリケーションに送信する。
S23:スマートフォン上のWeChatアプリケーションは、ワードドキュメントを処理する。
例えば、WeChatアプリケーションは、ストレージパスからワードドキュメントを読み出し、ワードドキュメントをチャットオブジェクトに送信し、ワードドキュメントのアイコン605をメッセージ記録として表示領域405に表示する。具体的には、アイコン605は、最近のメッセージ記録の下に表示される。加えて、WeChatアプリケーションは、チャットオブジェクトとのチャット記録の記憶スペースにワードドキュメントを記憶し得る。例えば、ウィンドウfがWeChatのファイル表示インターフェイスに切り替わるようにWeChatの表示インターフェイスを操作してもよい。詳細については、図6Cに示すユーザインターフェイス73を参照されたい。ファイル表示インターフェイスは表示領域631を含む。表示領域631は、スマートフォンを用いているユーザ(例えば、「Sean」)と、チャットオブジェクト(すなわち、「Lisa」)との間のチャット記録におけるファイル情報を含む。表示領域631はコントロール633をさらに含む。ユーザはコントロール633をタップし、タップ操作に応答して、スマートフォンはローカルに記憶されたファイル1を読み出し、ファイル1のコンテンツをディスプレイに表示する。ラップトップ上のウィンドウfの表示コンテンツは、スマートフォンの表示コンテンツと共に変化する。すなわち、ラップトップは、ファイル1のコンテンツをウィンドウfに表示する。このように、ユーザは、ラップトップ上の「このPC」のワードドキュメントをスマートフォン上のWeChatアプリケーションに簡便に伝送できる。これにより、データ共有効率が改善される。
一部の他の可能な実施では、ユーザがウィンドウeからウィンドウfにマウスポインタ311をドラッグしたことが検出されると、ラップトップは、ワードドキュメントのデータをスマートフォンに送信する。これに対応して、スマートフォンはワードドキュメントのデータを受信します。そして、受信した変換された入力命令及び変換された座標情報に基づいて、決定イベントが受信されたとスマートフォンが判定した場合、スマートフォンは決定イベントに対応するアプリケーションを特定する。そして、スマートフォンは、WeChatアプリケーションを介してチャットオブジェクトにワードドキュメントを送信し、最近のメッセージ記録の下にワードドキュメントをメッセージ記録として表示する。
一部の他の可能な実施では、ユーザがウィンドウeからウィンドウfにマウスポインタ311をドラッグしたことが検出されると、ラップトップは、ワードドキュメントに関するファイル情報をスマートフォンにさらに送信し得る。マウスポインタ311がウィンドウeからウィンドウfに移動すると、ラップトップはもはやアイコン601を表示しない。一部の他の可能な実施では、ステップS203で、ユーザがウィンドウeからウィンドウfにアイコン336-1をドラッグしたことが検出されると、ラップトップは、ワードドキュメントに関するファイル情報をスマートフォンにさらに送信し得る。ステップS204の後で且つステップS205の前に、スマートフォンは、WeChatアプリケーションがワードドキュメントを受信可能(又は処理可能)であると判定する。特定方法は、WeChatアプリケーションが受信可能なファイルオブジェクトのプリセット条件をスマートフォンが特定するというものであり得る。ラップトップは、ワードドキュメントに関するファイル情報をプリセット条件と比較し、ファイル情報がプリセット条件を満たす場合、ラップトップは、WeChatアプリケーションがワードドキュメントを受信可能であると判定する。なお、WeChatアプリケーションによって受信可能なファイルオブジェクトのプリセット条件は、WeChatアプリケーションプログラムが書かれたときに決定され得る。例えば、プリセット条件は、WeChatアプリケーションによって受信可能なファイルオブジェクトの形式及び最大ファイルサイズを示し得る。一部の他の例では、ウィンドウfに電話アプリケーションのダイヤルインターフェイスが表示されている場合、電話アプリケーションはワードドキュメントを受信できないとスマートフォンが判定し、スマートフォンは第2のユーザインターフェイスに禁止サインを表示する。さらに別の可能な実施では、ラップトップによって生成されたアイコン601がドラッグプロセスで継続的に表示される。この場合、スマートフォンは第3の表示情報をラップトップに送信する。第3の表示情報は、電話アプリケーションがワードドキュメントを受信できないことを示すために用いられる。ラップトップは、第3の表示情報に基づいて、アイコン601上に禁止サインを表示し得る。禁止サインは、電話アプリケーションがワードドキュメントを受信できないことを示すために用いられる。加えて、スマートフォンは、第2の表示情報をラップトップに送信しない。
一部の他の可能な実施では、ステップS203で、ユーザがウィンドウeからウィンドウfにアイコン336-1をドラッグしたことが検出されると、ラップトップは、ワードドキュメントに関するファイル情報をスマートフォンにさらに送信し得る。スマートフォンは、ファイル情報に基づいて、ワードドキュメントに対応するファイルアイコンを生成及び表示し得る。ファイルアイコンは、ワードドキュメントのドラッグ位置を示すために用いられる。ステップS204の後で且つステップS205の前に、スマートフォンは、決定イベントに対応する入力ボックス408がワードドキュメントを受信可能(又は処理可能)であると判定する。すなわち、この実施形態では、決定イベントが受信されたとスマートフォンが判定した後に、スマートフォンは、決定イベントに対応する入力ボックス408を特定する。具体的には、スマートフォンは、ウィンドウマネージャ及びビューマネージャを介し且つ変換された座標情報に基づいて、入力ボックス408が決定イベントに対応することを特定し得る。そして、スマートフォンは、入力ボックス408によって受信可能なファイルオブジェクトのプリセット条件をワードドキュメントに関するファイル情報と比較して、入力ボックス408はワードドキュメントを受信可能であると判定する。例えば、プリセット条件は、WeChatアプリケーションによって受信可能なファイルオブジェクトの形式及び最大ファイルサイズを示し得る。一部の他の例では、決定イベントが、WeChatのアプリケーションインターフェイスの端から表示領域405にリフトのためにドラッグするドラッグイベントである場合、スマートフォンは、決定イベントに対応する表示領域405はワードドキュメントを受信できないと判定し、スマートフォンは、表示されたファイルアイコンに禁止サインを表示する。さらに別の可能な実施では、スマートフォンはファイルアイコンを生成せず、ラップトップによって生成されたアイコン601はドラッグプロセスで継続的に表示される。この場合、スマートフォンは第4の表示情報をラップトップに送信する。第4の表示情報は、表示領域405がワードドキュメントを受信できないことを示すために用いられる。ラップトップは、第4の指示情報に基づいて、アイコン601上に禁止サインを表示し得る。禁止サインは、表示領域405がワードドキュメントを受信できないことを示すために用いられる。加えて、スマートフォンは、第2の表示情報をラップトップに送信しない。
上記で本願の実施形態で提供されるデータ伝送プロセスを説明してきた。一部の実施形態では、スマートフォンがラップトップに投影された後に、ラップトップは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうか判定してもよい。つまり、予め設定されたイベント種類がラップトップ内の入力イベントを特定する既存のメカニズムと矛盾する場合、選択イベント/決定イベントを特定するメカニズムが特定基準として用いられる。例えば、予め設定された選択イベントはダブルタップイベントである。ラップトップ内の入力イベントを特定するための既存のメカニズムでは、ワードドキュメントのアイコンをダブルタップする入力イベントが、ワードドキュメントを開くイベントとして決定されている。しかしながら、プロジェクションシナリオでは、ユーザがワードドキュメントのアイコンをダブルタップすると、ラップトップは選択イベントが受信されたと判定し、ワードドキュメントに関するファイル情報を得ることができるが、ワードドキュメントを開かない。同様に、プロジェクションシナリオにおいて、スマートフォンは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうか判定し得る。予め設定されたイベント種類がスマートフォン内の入力イベントを特定する既存のメカニズムと矛盾する場合、選択イベント/決定イベントを特定するメカニズムが特定基準として用いられる。一部の可能な実施では、予め設定された選択イベント及び決定イベントのイベント種類は、一般的に用いられる入力イベントのイベント種類とは異なり得る。
一部の他の実施形態では、スマートフォンが表示コンテンツをラップトップに投影した後で、伝送すべきファイルオブジェクトが特定される前に、ユーザは、データ伝送コントロールを操作することにより、データ伝送機能を有効又は無効にし得る。データ伝送コントロールの表示方法については、図8に示すユーザインターフェイス81を参照されたい。例えば、データ伝送コントロール801が第1の状態で表示される場合、それは、データ伝送機能が有効であることを示し、ラップトップは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうかを判定し得る。予め設定されたイベント種類が、ラップトップ内の入力イベントを特定する既存のメカニズムと矛盾する場合、選択イベント/決定イベントを特定するメカニズムが特定基準として用いられる。データ伝送コントロール801が第2の状態で表示される場合、それは、データ伝送機能が無効であることを示し、ラップトップは選択イベント/決定イベントを特定しない。第1の状態は第2の状態とは異なる。可能な実施では、プロジェクションシナリオにおいて、データ伝送コントロール801は全てのウィンドウの前に常に表示されてもよく、データ伝送コントロール801の表示位置は調整され得る。
なお、スマートフォンのデータ伝送機能を有効又は無効にすることは、ラップトップのデータ伝送機能を有効又は無効することと同期される。具体的には、プロジェクションが有効にされた後に、ラップトップは、データ伝送機能が現在有効であるか無効であるかを示す情報をスマートフォンに送信する。プロジェクションプロセスでは、ユーザがデータ伝送機能の有効又は無効を切り替えると、ラップトップは、切り替えを示す情報をスマートフォンに送信する。同様に、データ伝送機能が有効になっている場合、スマートフォンは、予め設定された選択イベント及び決定イベントのイベント種類に基づいて、選択イベント/決定イベントが受信されたかどうかを判定し得る。データ伝送機能が無効の場合、スマートフォンは選択イベント/決定イベントを判定しない。
なお、前述の実施形態は、プロジェクション装置の表示コンテンツが大画面装置に投影されるシナリオを説明している。実際の用途では、2つ以上のプロジェクション装置の表示コンテンツが大画面装置の表示インターフェイスに投影され得る。同様に、大画面装置のアプリケーションからプロジェクション装置のアプリケーションにデータが伝送されるか又はプロジェクション装置のアプリケーションから大画面装置のアプリケーションにデータが伝送される。
前述の実施形態は、本願の技術的解決策を説明することを意図したものにすぎず、本願を限定するものではない。本願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態に記録された技術的解決策に対する変更又はその技術的特徴の一部に対する同等の置き換えが依然行われ得ることを理解すべきである。