JP2022015836A

JP2022015836A - 画面共有のためのプログラムおよび装置

Info

Publication number: JP2022015836A
Application number: JP2020118950A
Authority: JP
Inventors: 正則西田; Masanori Nishida
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2020-07-10
Filing date: 2020-07-10
Publication date: 2022-01-21
Also published as: US20220012074A1

Abstract

【課題】複数の端末間で共有画面を、色覚多様性を持つユーザーが認識しやすい形式に変換するため描画設定を変更可能な描画命令を共有する技術を提供する。
【解決手段】画面共有ツールがインストールされた送信側の端末において、画面共有のためのプログラムは、アプリケーションがＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）に対して発行した、ＯＳに予め設定されている描画設定を反映させ、デバイスドライバーによりディスプレイに表示するための画像データを生成するために使用される描画命令３２１を取得するステップと、描画命令３２１を受信側の端末に送信するステップとを１つ以上のプロセッサに実行させる。
【選択図】図６

Description

本開示は、装置間の画面共有に関し、より特定的には、装置間で送受信する情報に関する。

近年、オンライン会議ツール等の画面共有ツールが普及している。いくつかの画面共有ツールは、音声通話およびビデオ通話に加え、ディスプレイの画面全体または特定のアプリケーションの画面（ダイアログ）を複数のコンピューター間で共有する画面共有機能を備える。従来の画面共有ツールにおいて、送信側のコンピューターは、ディスプレイに表示される画面の全てまたは一部をキャプチャーして取得した画像データを受信側のコンピューターに送信していた。また、受信側のコンピューターは、受信した画像データをそのままディスプレイに表示していた。

一方で、近年のコンピューターは、色覚多様性を持つユーザー用にハイコントラスト表示の機能等を備えている。しかし、コンピューターは、画面共有ツールによって受信された画像データに対して、色覚多様性を持つユーザー用の設定を適用することができない。そのため、色覚多様性を持つ会議参加者にとって、画面共有ツールにて共有される画面が認識しにくいという問題があった。

画面共有に関し、例えば、特開２０１３－１３７６６９号公報（特許文献１）は、「自装置が実行するプログラムに対応したオブジェクト画像が配置されたホーム画面について画面共有が行われた場合の、アイコン画像や背景画像等のオブジェクト画像の表示の制限又は遠隔操作の制限を定めた設定情報を、画面共有の相手別に格納した設定情報テーブルを記憶している。ホスト端末となる端末装置は、画面共有の相手となる外部装置を特定すると、設定情報テーブルを参照して、特定した外部装置に対応した設定情報に従って、オブジェクト画像の表示又は外部装置からの遠隔操作を制限するよう、前記画面共有の設定を行う。ホスト端末となる端末装置は、画面共有の設定後、オブジェクト画像の表示を制限したホーム画面を共有したり遠隔操作を制限したりして、ゲスト端末との画面共有を行う」端末装置を開示している（［要約］参照）。

また、画面共有に関する他の技術が、例えば、特開２０１２－２０３４８５号公報（特許文献２）に開示されている。

特開２０１３－１３７６６９号公報特開２０１２－２０３４８５号公報

特許文献１および２に開示された技術によると、共有画面を、色覚多様性を持つユーザーが認識しやすい形式に変換することができない。したがって、例えば、複数の端末間で描画設定を変更可能な描画命令を共有するための技術が必要とされている。

本開示は、上記のような背景に鑑みてなされたものであって、ある局面における目的は、複数の端末間で描画設定を変更可能な描画命令を共有する技術を提供することにある。

ある実施の形態に従う画面共有のためのプログラムは、アプリケーションがＯＳ（Operating System）に対して発行した描画命令を取得するステップと、描画命令を受信側の端末に送信するステップとを１つ以上のプロセッサに実行させる。

ある局面において、描画命令は、ＯＳにより、当該ＯＳに予め設定されている描画設定を反映され、デバイスドライバーによりディスプレイに表示するための画像データを生成するために使用される。

ある局面において、描画命令を受信するステップは、画面共有機能を有効にする指令を受け付けるステップと、指令を受け付けたことに基づいて、ＯＳに描画命令を要求するステップとを含む。

ある局面において、プログラムは、１つ以上のプロセッサに、送信情報の選択の入力を受け付けるステップと、送信情報の選択の入力を受け付けたことに基づいて、描画命令または画像データのいずれかを受信側の端末に送信するステップとをさらに実行させる。

ある局面において、プログラムは、１つ以上のプロセッサに、受信側の端末からＯＳの種類情報を受信するステップと、受信側の端末から受信したＯＳの種類情報に基づいて、描画命令を変換するステップとをさらに実行させる。描画命令を受信側の端末に送信するステップは、変換後の描画命令を受信側の端末に送信するステップを含む。

ある局面において、プログラムは、１つ以上のプロセッサに、受信側の端末からＯＳのバージョン情報を受信するステップと、受信側の端末から受信したＯＳのバージョン情報に基づいて、描画命令を変換するステップとをさらに実行させる。描画命令を受信側の端末に送信するステップは、変換後の描画命令を受信側の端末に送信するステップを含む。

ある局面において、プログラムは、１つ以上のプロセッサに、描画命令をＯＳに依存しない形式に変換するステップをさらに実行させる。描画命令を受信側の端末に送信するステップは、変換後の描画命令を受信側の端末に送信するステップを含む。

ある局面において、プログラムは、１つ以上のプロセッサに、送信側の端末から描画命令を受信するステップと、受信側の端末のＯＳに設定された図形または／および文字の描画設定と、描画命令とに基づいて、画像を生成するステップと、生成した画像をディスプレイに描画するステップとをさらに実行させる。

ある局面において、プログラムは、１つ以上のプロセッサに、受信した描画命令の形式またはパラメータが受信側の端末のＯＳに対応していないことに基づいて、描画命令を受信側の端末のＯＳに対応する形式に変換するステップをさらに実行させる。

他の実施の形態に従うと、画面共有のための別のプログラムが提供される。このプログラムは、プログラムは１つ以上のプロセッサに、複数の端末間で送受信される描画命令を受信するステップと、描画命令の送信側の端末のＯＳと、描画命令の受信側の端末のＯＳとに差異があることに基づいて、描画命令を受信側の端末のＯＳにて処理可能な形式に変換するステップと、変換後の描画命令を受信側の端末に送信するステップとを実行させる。

他の実施の形態に従うと、画面共有のための装置が提供される。装置は、上記に記載のプログラムを格納したメモリーと、プログラムを実行する１つ以上のプロセッサとを備える。

ある実施の形態に従うと、複数の端末間で描画設定を変更可能な描画命令を共有することが可能である。

この開示内容の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本開示に関する次の詳細な説明から明らかとなるであろう。

パーソナルコンピューター等の端末のディスプレイに画面が表示される仕組みの一例を示す図である。画面共有ツールの第１の例を示す図である。画面共有ツール２５０がインストールされた送信側の端末１０１の内部動作の一例を示す図である。画面共有ツール２５０がインストールされた受信側の端末１０１の内部動作の一例を示す図である。画面共有ツールの第２の例を示す図である。画面共有ツール５００がインストールされた送信側の端末１０１の内部動作の一例を示す図である。画面共有ツール５００がインストールされた受信側の端末１０１の内部動作の一例を示す図である。画面共有ツールの第３の例を示す図である。ある実施の形態に従う画面共有ツールを実行可能な端末１０１の構成の一例を示す図である。送信側の端末１０１における画面の表示及び共有の処理手順の一例を示す図である。受信側の端末１０１における画面の表示及び共有の処理手順の一例を示す図である。

以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜Ａ．画像データを送受信する画面共有ツールの動作例＞
まず、図１～図４を参照して、画面共有ツールを使用して画像データを送受信し、ディスプレイに表示される画面または特定のアプリケーションのダイアログを共有する仕組みについて説明する。

図１は、パーソナルコンピューター等の端末のディスプレイに画面が表示される仕組みの一例を示す図である。図１を参照して、端末１０１のディスプレイにアプリケーション１０２のダイアログ１１０が表示されるまでの流れについて説明する。端末１０１は、それぞれインストールされたアプリケーション１０２と、ＯＳ（Operating System）１０３と、デバイスドライバー１０４とを保持している。また、デバイスドライバー１０４とアプリケーション１０２とは、ＯＳ１０３上で動作する。ある局面において、端末１０１は、パーソナルコンピューター、タブレット、スマートフォン、通信機能を持つゲーム機およびその他の任意の情報処理装置であってもよい。

まず、アプリケーション１０２は、ＯＳ１０３に対して、形状データ１２０およびテキスト１３０を含む描画命令を送信する。形状データ１２０は、例えば、アプリケーション１０２のダイアログの形状、画像等のテキスト情報以外の全てを含み得る。テキスト１３０は、ダイアログ１１０上に表示されるテキスト情報を含む。アプリケーション１０２からＯＳ１０３に送信される描画命令は、ハードウェアに依存したパラメーター等を含まない描画命令（以下、「抽象化された描画命令」と表すこともある）である。

次に、ＯＳ１０３は、デバイスドライバー１０４に対して、形状データ１２０およびテキスト１３０の描画命令を送信する。ＯＳ１０３は、端末１０１のハードウェアを制御するためのデバイスドライバー１０４を選択して、当該デバイスドライバー１０４に描画命令を送信する。ＯＳ１０３からデバイスドライバー１０４に送信される描画命令は、ハードウェアに依存したパラメーター等を含む描画命令（以下、「具体化された描画命令」と表すこともある）である。

デバイスドライバー１０４は、具体化された描画命令に基づいて画像データを生成し、当該画像データを端末１０１のハードウェア１０５に送信する。ハードウェア１０５は、例えば、端末１０１のディスプレイである。画像データは、具体化された描画命令に含まれる形状データ１２０およびテキスト１３０を組み合わせた画像データとして生成される。

図２は、画面共有ツールの第１の例を示す図である。次に、図２を参照して、ネットワークを介して接続された端末１０１Ａ，１０１Ｂ（総称する場合は、「端末１０１」と表す）が画面共有ツールを使用して画面を共有する流れについて説明する。

図２の例では、端末１０１Ａは、端末１０１Ａのディスプレイの画像を端末１０１Ｂと共有している。すなわち、端末１０１Ａは、画面共有における送信側の端末１０１であり、端末１０１Ｂは、受信側の端末１０１である。

端末１０１Ａ，１０１Ｂの各々は、インストールされた画面共有ツール２５０を保持している。端末１０１Ａのディスプレイは、アプリケーションのダイアログ２１０を表示する。端末１０１Ｂのディスプレイは、アプリケーションのダイアログ２２０を表示する。

画面共有ツール２５０は、画面共有制御部２５１と、共有画面送信部２５２と、共有画面受信部２５３と、共有画面表示部２５４と、自画面取得部２５５と、自画面トリミング部２５６とを備える。

画面共有制御部２５１は、画面共有ツール２５０の全体の動作を制御する。共有画面送信部２５２は、端末１０１Ａ，１０１Ｂの間で共有されるべき画面を表示するための画像データ２３０を送信する。共有画面受信部２５３は、端末１０１Ａ，１０１Ｂの間で共有されるべき画面を表示するための画像データ２３０を受信する。共有画面表示部２５４は、受信した画像データ２３０を受信側の端末１０１のディスプレイに表示する。自画面取得部２５５は、送信側の端末１０１から、送信側の端末１０１のディスプレイに表示されている画像を受信する。自画面トリミング部２５６は、自画面取得部２５５によって受信された画像から必要な部分の画像のみをトリミングする。図２の例では、自画面トリミング部２５６は、ディスプレイ画像からダイアログ２１０の画像のみをトリミングする。

図２に示す例において、端末１０１Ａにインストールされた画面共有ツール２５０は、端末１０１Ａのディスプレイに表示されているダイアログ２１０の画像データ２３０を生成し、当該画像データ２３０を端末１０１Ｂに送信する。端末１０１Ｂにインストールされた画面共有ツール２５０は、受信した画像データ２３０に基づいて、ダイアログ２２０を端末１０１Ｂのディスプレイに表示する。ここで端末１０１Ａ，１０１Ｂ間で送受信されている画像データ２３０は、図１におけるデバイスドライバー１０４が生成した画像データに相当する。

図３は、画面共有ツール２５０がインストールされた送信側の端末１０１の内部動作の一例を示す図である。図３を参照して、送信側の端末１０１上で動作するアプリケーション３１０、ＯＳ３００および画面共有ツール２５０の動作について説明する。図３に示す例は、図２においてダイアログ２１０の画像データ２３０を送信している端末１０１Ａの内部動作に相当する。

ＯＳ３００は、ＧＤＩ（Graphics Device Interface）３０１と、ユニバーサルデザイン処理部３０２と、ＤＤＩ（Device Driver Interface）３０３とを含む。ＧＤＩ３０１は、ＯＳにインストールされた各アプリケーションとのインターフェイスである。ＧＤＩ３０１は、アプリケーション３１０から抽象化された描画命令３２１を受信する。また、ＧＤＩ３０１は、抽象化された描画命令３２１をユニバーサルデザイン処理部３０２に送信する。

ユニバーサルデザイン処理部３０２は、ＯＳ３００に予め設定されている描画設定（ハイコントラスト表示、カラーフィルター機能、および文字サイズの変更等）を抽象化された描画命令３２１に反映させることができる。また、ユニバーサルデザイン処理部３０２は、抽象化された描画命令３２１に基づいて、各種デバイスドライバーに渡すべき情報を含む、具体化された描画命令３２２を生成する。ユニバーサルデザイン処理部３０２は、具体化された描画命令３２２をＤＤＩ３０３に送信する。

ＤＤＩ３０３は、受信した具体化された描画命令３２２をディスプレイドライバー３０４に送信する。具体化された描画命令３２２を受信したディスプレイドライバー３０４は、具体化された描画命令３２２に基づいて画像データ３２３を生成する。当該画像データ３２３は、端末１０１のディスプレイに表示される。当該画像データ３２３は、図２におけるダイアログ２１０に相当する。

画面共有ツール２５０は、ＯＳ３００を介して、この画像データ３２３を受信して、受信側の端末１０１に当該画像データ３２３を送信する。当該処理は、図２における端末１０１Ａにインストールされた画面共有ツール２５０が画像データ２３０を端末１０１Ｂに送信する処理に相当する。

図４は、画面共有ツール２５０がインストールされた受信側の端末１０１の内部動作の一例を示す図である。図４を参照して、受信側の端末１０１上で動作する画面共有ツール２５０の動作について説明する。図３に示す例は、図２の画像データ２３０を受信して、ダイアログ２２０をディスプレイに表示している端末１０１Ｂの内部動作に相当する。

画面共有ツール２５０は、画像データ３２３を受信し、当該画像データ３２３をＧＤＩ３０１に送信する。画像データ３２３は、ＧＤＩ３０１、ユニバーサルデザイン処理部３０２およびＤＤＩ３０３の順に転送されていく。最終的に、画像データ３２３は、ディスプレイドライバー３０４により、受信側の端末１０１のディスプレイに表示される。

図３および図４を比較すると、送信側の端末１０１の画像表示のプロセスと、受信側の端末１０１の画像表示のプロセスに大きな違いがあることがわかる。送信側の端末１０１において、ＧＤＩ３０１は、抽象化された描画命令３２１を受信している。ＯＳ３００は、抽象化された描画命令３２１を受信することにより、ＯＳ３００に予め設定されている描画設定を抽象化された描画命令３２１に反映させることができる。例えば、ＯＳ３００は、抽象化された描画命令３２１に、弱視者または色覚多様性保持者向けの設定等を反映させることができる。こうすることで、ＯＳ３００は、端末１０１のユーザーに適した描画設定を反映した画像データ３２３を生成することができる。

これに対して、受信側の端末１０１において、ＧＤＩ３０１は、抽象化された描画命令３２１の代わりに画像データ３２３を受信している。ユニバーサルデザイン処理部３０２は、画像データ３２３に対して、ＯＳ３００に予め設定されている描画設定を追加することはできない。そのため、ＯＳ３００は、受信した画像データ３２３をそのままディスプレイに表示させることになる。すなわち、受信側の端末１０１に表示される画像は、送信側の端末１０１で生成された画像データ３２３に依存することになる。

＜Ｂ．描画命令を送受信する画面共有ツールの動作＞
次に、図５～図８を参照して、複数の端末が、画面共有ツールを使用して描画命令を送受信し、ディスプレイに表示される画面または特定のアプリケーションのダイアログを共有する仕組みについて説明する。図５～図８に示す例は、画像データではなく描画命令を送受信することにより画面を共有する点で図２～図４の例とは異なる。

図５は、画面共有ツールの第２の例を示す図である。まず、図５を参照して、ネットワークを介して接続された端末１０１Ａ，１０１Ｂが描画命令を送受信する画面共有ツールを使用して画面を共有する流れについて説明する。図５の例では、端末１０１Ａは、端末１０１Ａのディスプレイの画像を端末１０１Ｂと共有している。すなわち、端末１０１Ａは、画面共有における送信側の端末１０１であり、端末１０１Ｂは、受信側の端末１０１である。

端末１０１Ａ，１０１Ｂの各々は、インストールされた画面共有ツール５００を備える。端末１０１Ａのディスプレイは、アプリケーションのダイアログ５１０を表示する。端末１０１Ｂのディスプレイは、アプリケーションのダイアログ５２０を表示する。

画面共有ツール５００は、画面共有制御部５０１と、描画命令送信部５０２と、描画命令取得部５０３と、描画命令取得部５０４と、描画命令表示部５０５とを備える。また、画面共有ツール５００は、描画命令保持部５０６と連係する。ある局面において、画面共有ツール５００は、描画命令保持部５０６を含んでいてもよい。

画面共有制御部５０１は、画面共有ツール５００の全体の動作を制御する。描画命令送信部５０２は、端末１０１Ａ，１０１Ｂの間で共有されるべき画面の描画命令５３０を受信側の端末１０１Ｂに送信する。描画命令取得部５０３は、端末１０１Ａ，１０１Ｂの間で共有されるべき画面の描画命令５３０を送信側の端末１０１Ａから受信する。描画命令取得部５０４は、描画命令保持部５０６から描画命令５３０を受信する。描画命令表示部５０５は、描画命令取得部５０３が受信した描画命令５３０に基づいて画像データを生成し、当該画像データを端末１０１のディスプレイに表示する。

描画命令保持部５０６は、端末１０１にインストールされた各アプリケーションまたはＯＳから描画命令５３０を受信する。ある局面において、描画命令保持部５０６は、ＯＳに対して描画命令５３０を要求してもよい。また、他の局面において、描画命令保持部５０６は、各アプリケーションから描画命令５３０を直接受信してもよい。

図５に示す例において、端末１０１Ａにインストールされた画面共有ツール５００は、端末１０１Ａのディスプレイに表示されているダイアログ５１０を生成するときに使用した描画命令５３０を受信し、当該描画命令５３０を端末１０１Ｂに送信する。端末１０１Ｂにインストールされた画面共有ツール５００は、受信した描画命令５３０に基づいて、ダイアログ２２０の画像データを生成し、当該ダイアログ２２０を端末１０１Ｂのディスプレイに表示する。ここで端末１０１Ａ，１０１Ｂ間で送受信されている描画命令５３０は、図１におけるアプリケーション１０２からＯＳ１０３に対して送信された抽象化された描画命令に相当する。

図６は、画面共有ツール５００がインストールされた送信側の端末１０１の内部動作の一例を示す図である。図６を参照して、送信側の端末１０１上で動作するアプリケーション３１０、ＯＳ３００および画面共有ツール５００の動作について説明する。図６に示す端末１０１内部のシステム構成は、画面共有ツール５００および描画命令保持部５０６を含む点で、図３に示す端末１０１内部のシステム構成と異なる。

ＧＤＩ３０１は、アプリケーション３１０から抽象化された描画命令３２１を受信する。また、ＧＤＩ３０１は、抽象化された描画命令３２１をユニバーサルデザイン処理部３０２に送信する。その際、ＧＤＩ３０１は、描画命令保持部５０６に対しても抽象化された描画命令３２１を送信する。ある局面において、ＧＤＩ３０１は、描画命令保持部５０６からの要求を受けたことに基づいて、描画命令保持部５０６に対しても抽象化された描画命令３２１を送信してもよい。他の局面において、描画命令保持部５０６は、アプリケーション３１０から抽象化された描画命令３２１を直接受信してもよい。

ユニバーサルデザイン処理部３０２は、ＯＳ３００に予め設定されている描画設定（ハイコントラスト表示、カラーフィルター機能、および文字サイズの変更等）を抽象化された描画命令３２１に反映させることができる。また、ユニバーサルデザイン処理部３０２は、抽象化された描画命令３２１に基づいて、各種デバイスドライバーに渡すべき情報を含めむ、具体化された描画命令３２２を生成する。ユニバーサルデザイン処理部３０２は、具体化された描画命令３２２をＤＤＩ３０３に送信する。

ＤＤＩ３０３は、具体化された描画命令３２２をディスプレイドライバー３０４に送信する。具体化された描画命令３２２を受信したディスプレイドライバー３０４は、画像データ３２３を生成する。当該画像データ３２３は、端末１０１のディスプレイに表示される。当該画像データ３２３は、図５におけるダイアログ５１０に相当する。

画面共有ツール５００は、描画命令保持部５０６から、抽象化された描画命令３２１を受信し、当該抽象化された描画命令３２１を受信側の端末１０１に送信する。当該処理は、図５における端末１０１Ａにインストールされた画面共有ツール５００が描画命令５３０を端末１０１Ｂに送信する処理に相当する。

図７は、画面共有ツール５００がインストールされた受信側の端末１０１の内部動作の一例を示す図である。図７を参照して、受信側の端末１０１上で動作する画面共有ツール５００の動作について説明する。図７に示す端末１０１内部のシステム構成は、画面共有ツール５００および描画命令保持部５０６を含む点で、図４に示す端末１０１内部のシステム構成と異なる。

画面共有ツール５００は、抽象化された描画命令３２１を受信し、当該抽象化された描画命令３２１をＧＤＩ３０１に送信する。ＧＤＩ３０１は、受信した抽象化された描画命令３２１をユニバーサルデザイン処理部３０２に送信する。

ユニバーサルデザイン処理部３０２は、ＯＳ３００に予め設定されている描画設定（ハイコントラスト表示、カラーフィルター機能、および文字サイズの変更等）を抽象化された描画命令３２１に反映させることができる。また、ユニバーサルデザイン処理部３０２は、抽象化された描画命令３２１に基づいて、各種デバイスドライバーに渡すべき情報を含めむ、具体化された描画命令３２２を生成する。その後、ユニバーサルデザイン処理部３０２は、具体化された描画命令３２２をＤＤＩ３０３に送信する。

ＤＤＩ３０３は、具体化された描画命令３２２をディスプレイドライバー３０４に送信する。具体化された描画命令３２２を受信したディスプレイドライバー３０４は、画像データ３２３を生成し、当該画像データ３２３を端末１０１のディスプレイに表示する。当該画像データ３２３は、図５におけるダイアログ５２０に相当する。

図６および図７を比較すると、送信側の端末１０１の画像表示のプロセスと、受信側の端末１０１の画像表示のプロセスとが同じであることがわかる。画面共有ツール５００は、抽象化された描画命令３２１を送受信する。そのため、送信側の端末１０１Ａだけでなく、受信側の端末１０１Ｂも、抽象化された描画命令３２１に基づいて、画像データ３２３を生成することができる。これにより、画面共有ツール５００を用いて画面共有を行なっている端末１０１Ａおよび端末１０１Ｂの各々は、異なる描画設定を用いて画像データ３２３を生成することができる。

例えば、端末１０１ＡのＯＳ３００の描画設定は特別な設定を含まず、端末１０１ＢのＯＳ３００の描画設定はハイコントラスト表示を含んでいたとする。この場合、端末１０１Ａに表示される画像データ３２３には特別な描画処理は反映されない。一方で、端末１０１Ｂに表示される画像データ３２３にはハイコントラスト表示の設定が反映される。

上記の図６および図７で説明したように、画面共有ツール５００は、ディスプレイドライバー３０４が生成した画像データ３２３ではなく、抽象化された描画命令３２１を受信側の端末１０１に送信する。言い換えれば、画面共有ツール５００は、ＯＳ３００が描画設定を反映可能な形式のデータを受信側の端末１０１に送信する。

受信側の端末１０１は、受信した抽象化された描画命令３２１に基づいて、画像データ３２３を生成する。それにより、各端末１０１は、各端末１０１のＯＳ３００に設定された描画設定を抽象化された描画命令３２１に反映した後に画像データ３２３を生成することができる。その結果、各端末１０１は、各端末１０１のユーザーが認識しやすい設定を反映した画像データ３２３をディスプレイに表示することができる。

なお、図２～図７において、送信側の端末１０１Ａおよび受信側の端末１０１Ｂを例に各画面共有ツール２５０，５００の機能について説明したが、実際には画面共有ツール２５０または画面共有ツール５００をインストールされた端末１０１は、送信側の端末１０１Ａおよび受信側の端末１０１Ｂの両方の機能を備え得る。

図８は、画面共有ツールの第３の例を示す図である。次に、図８を参照して、ネットワークを介して接続された端末１０１Ａ，１０１Ｂが中継装置８４０を介して描画命令を送受信する流れについて説明する。

図８の例では、端末１０１Ａは、端末１０１Ａのディスプレイの画像を端末１０１Ｂと共有している。すなわち、端末１０１Ａは、画面共有における送信側の端末１０１であり、端末１０１Ｂは、受信側の端末１０１である。また、端末１０１Ａ，１０１Ｂの各々は、種類の異なるＯＳまたはバージョンの異なるＯＳがインストールされている。さらに、端末１０１Ａ，１０１Ｂの各々は、画面共有ツール８００がインストールされている。端末１０１Ａのディスプレイには、アプリケーションのダイアログ８１０が表示されている。端末１０１Ｂのディスプレイには、アプリケーションのダイアログ８２０が表示されている。

中継装置８４０は、端末１０１Ａおよび端末１０１Ｂ間のデータを中継する。例えば、端末１０１Ａおよび端末１０１Ｂは、中継装置８４０を介して、描画命令８３０を送受信することができる。ある局面において、中継装置８４０は、データ変換部８５０を備えていてもよい。その場合、データ変換部８５０は、受信側の端末１０１ＢのＯＳの種類および／またはバージョンに基づいて、描画命令８３０の形式を変換し得る。また、他の局面において、中継装置８４０は、描画命令８３０とは別に、各端末１０１Ａ，１０１ＢからＯＳの種類および／またはバージョンの情報等を受信してもよい。

ある局面において、画面共有ツール８００がデータ変換部８６０を備えていてもよい。その場合、画面共有ツール８００は、受信側の端末１０１ＢのＯＳの種類および／またはバージョンに基づいて、描画命令８３０を端末１０１ＢのＯＳが処理できる形式に変換し得る。この場合、画面共有ツール８００は、互いに各端末１０１Ａ，１０１ＢのＯＳの種類および／またはバージョンの情報等を交換してもよい。また、画面共有ツール８００がデータ変換部８６０を備える場合、描画命令８３０は中継装置８４０を経由しなくてもよい。

ある局面において、端末１０１Ａは、データ変換部８６０により、送信前の描画命令８３０を端末１０１ＢのＯＳが処理できる形式に変換してもよい。また、他の局面において、端末１０１Ｂは、データ変換部８６０により、受信した描画命令８３０を端末１０１ＢのＯＳが処理できる形式に変換してもよい。

ある局面において、端末１０１Ａ，１０１Ｂまたは中継装置８４０は、描画命令８３０の形式を受信側の端末１０１ＢのＯＳが処理できる形式に変換する代わりに、ＯＳに依存しない任意の形式に変換してもよい。その場合、端末１０１Ｂのデータ変換部８６０は、ＯＳに依存しない形式に変換された描画命令８３０を受信したことに基づいて、当該描画命令８３０を端末１０１ＢのＯＳが処理できる形式に変換する。

上記のように、画面共有ツール８００または中継装置８４０は、受信側の端末１０１のＯＳの種類および／またはバージョンに基づいて、描画命令８３０の形式を変換し得る。当該機能により、例えば、画面を共有する複数の端末１０１間でＯＳの種類および／またはバージョンに差異がある場合でも、各端末１０１にインストールされた画面共有ツール８００は、適切に形式を変換された描画命令８３０を交換することができる。その結果、受信側の端末１０１は、ＯＳの種類および／またはバージョンによらず、ＯＳに設定された描画設定を描画命令８３０に反映させることができる。

＜Ｃ．ハードウェア構成＞
図９は、本実施の形態に従う画面共有ツールを実行可能な端末１０１の構成の一例を示す図である。本実施の形態に従う画面共有ツール５００，８００等は、プログラムとして端末１０１にインストールされて実行されてもよい。

端末１０１は、ＣＰＵ（Central Processing Unit）９０１と、１次記憶装置９０２と、２次記憶装置９０３と、外部機器インターフェイス９０４と、入力インターフェイス９０５と、出力インターフェイス９０６と、通信インターフェイス９０７とを含む。

ＣＰＵ９０１は、端末１０１の各種機能を実現するためのプログラムを実行し得る。ＣＰＵ９０１は、例えば、少なくとも１つの集積回路によって構成される。集積回路は、例えば、少なくとも１つのＣＰＵ、少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、またはこれらの組み合わせ等によって構成されてもよい。

１次記憶装置９０２は、ＣＰＵ９０１によって実行されるプログラムと、ＣＰＵ９０１によって参照されるデータとを格納する。ある局面において、１次記憶装置９０２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）等によって実現されてもよい。

２次記憶装置９０３は、不揮発性メモリーであり、ＣＰＵ９０１によって実行されるプログラムおよびＣＰＵ９０１によって参照されるデータを格納してもよい。その場合、ＣＰＵ９０１は、２次記憶装置９０３から１次記憶装置９０２に読み出されたプログラムを実行し、２次記憶装置９０３から１次記憶装置９０２に読み出されたデータを参照する。ある局面において、２次記憶装置９０３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）またはフラッシュメモリー等によって実現されてもよい。

外部機器インターフェイス９０４は、プリンター、スキャナーおよび外付けＨＤＤ等の任意の外部機器に接続され得る。ある局面において、外部機器インターフェイス９０４は、ＵＳＢ（Universal Serial Bus）端子等によって実現されてもよい。

入力インターフェイス９０５は、キーボード、マウス、タッチパッドまたはゲームパッド等の任意の入力装置に接続され得る。ある局面において、入力インターフェイス９０５は、ＵＳＢ端子、ＰＳ／２端子およびＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等によって実現されてもよい。

出力インターフェイス９０６は、ブラウン管ディスプレイ、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイ等の任意の出力装置に接続され得る。ある局面において、出力インターフェイス９０６は、ＵＳＢ端子、Ｄ－ｓｕｂ端子、ＤＶＩ（Digital Visual Interface）端子およびＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等によって実現されてもよい。

通信インターフェイス９０７は、有線または無線のネットワーク機器と接続される。ある局面において、通信インターフェイス９０７は、有線ＬＡＮ（Local Area Network）ポートおよびＷｉ-Ｆｉ（登録商標）（Wireless Fidelity）モジュール等によって実現されてもよい。他の局面において、通信インターフェイス９０７は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、ＵＤＰ（User Datagram Protocol）等の通信プロトコルを用いてデータを送受信してもよい。

＜Ｄ．フローチャート＞
次に、図１０および図１１を参照して、本実施の形態に従う画面共有ツール５００の処理の流れについて説明する。図１０は、送信側の端末１０１における画像データの表示および共有の処理手順の一例を示す図である。ある局面において、ＣＰＵ９０１は、図１０の処理を行うためのプログラムを２次記憶装置９０３から１次記憶装置９０２に読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。

ＣＰＵ９０１は、ステップＳ１０１０～Ｓ１０５０までの処理と、ステップＳ１０６０～Ｓ１０８０までの処理とを並列に繰り返し実行し得る。ステップＳ１０１０～Ｓ１０５０までの処理は、端末１０１のディスプレイへの画像データの表示に係る処理である。ステップＳ１０６０～Ｓ１０８０までの処理は、画面共有ツール５００による描画命令の送信に係る処理である。

ステップＳ１０１０において、ＣＰＵ９０１は、ＧＤＩコール、すなわち、アプリケーションからＯＳに対して描画命令の送信があったことに基づいて、ＧＤＩ割り込み処理を実行する。ＧＤＩコールは、例えば、図３等を参照して説明した、ＧＤＩ３０１への抽象化された描画命令３２１の送信処理に対応する。また、ＣＰＵ９０１は、ＧＤＩ割り込み処理の実行に基づいて、ステップＳ１０６０～Ｓ１０８０の画面共有の処理を開始する。

ステップＳ１０２０において、ＣＰＵ９０１は、ユニバーサルデザインの適用処理を実行する。本ステップの処理は、図３等を参照して説明した、ユニバーサルデザイン処理部３０２が抽象化された描画命令３２１にＯＳ３００に設定された描画設定を適用する処理に対応する。

ステップＳ１０３０において、ＣＰＵ９０１は、抽象化された描画命令を具体化された描画命令に変換する。本ステップの処理は、図３等を参照して説明した、抽象化された描画命令３２１を具体化された描画命令３２２に変換する処理に対応する。

ステップＳ１０４０において、ＣＰＵ９０１は、ＤＤＩコールを実行する。本ステップの処理は、図３等を参照して説明した、ＤＤＩ３０３に具体化された描画命令３２２を送信する処理に対応する。

ステップＳ１０５０において、ＣＰＵ９０１は、端末１０１のディスプレイにアプリケーションのダイアログを表示する。本ステップの処理は、図３等を参照して説明した、ディスプレイドライバー３０４が、画像データ３２３を端末１０１のディスプレイに表示する処理に対応する。

ステップＳ１０６０において、ＣＰＵ９０１は、画面共有機能が有効であるか否かを判定する。例えば、ＣＰＵ９０１は、画面共有ツール５００における複数の端末１０１間の画面共有機能が有効であるか否かを判定する。ＣＰＵ９０１は、画面共有機能が有効であると判定した場合（ステップＳ１０６０にてＹＥＳ）、制御をステップＳ１０７０に移す。そうでない場合（ステップＳ１０６０にてＮＯ）、ＣＰＵ９０１は、画面共有の処理を終了する。

ステップＳ１０７０において、ＣＰＵ９０１は、ＯＳに送信された描画命令を保持する。本ステップの処理は、図６等で説明した、画面共有ツール５００が描画命令保持部５０６を介して抽象化された描画命令３２１を受信する処理に対応する。

ステップＳ１０８０において、ＣＰＵ９０１は、受信側の端末１０１に描画命令を送信する。本ステップの処理は、図６等で説明した、画面共有ツール５００が抽象化された描画命令３２１を受信側の端末１０１に送信する処理に対応する。

図１１は、受信側の端末１０１における画像データの表示および共有の処理手順の一例を示す図である。ある局面において、ＣＰＵ９０１は、図１１の処理を行うためのプログラムを２次記憶装置９０３から１次記憶装置９０２に読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。

ＣＰＵ９０１は、ステップＳ１１１０～Ｓ１１４０までの処理と、ステップＳ１１５０～Ｓ１１８０までの処理とを並列に繰り返し実行し得る。ステップＳ１１１０～Ｓ１１４０までの処理は、画面共有ツール５００による描画命令の受信に係る処理である。ステップＳ１１５０～Ｓ１１８０までの処理は、端末１０１のディスプレイへの画像データの表示に係る処理である。

ステップＳ１１１０において、ＣＰＵ９０１は、画面共有機能が有効であるか否かを判定する。例えば、ＣＰＵ９０１は、画面共有ツール５００における複数の端末１０１間の画面共有機能が有効であるか否かを判定する。ＣＰＵ９０１は、画面共有機能が有効であると判定した場合（ステップＳ１１１０にてＹＥＳ）、制御をステップＳ１１２０に移す。そうでない場合（ステップＳ１１１０にてＮＯ）、ＣＰＵ９０１は、画面共有の処理を終了する。

ステップＳ１１２０において、ＣＰＵ９０１は、送信側の端末１０１から描画命令を受信する。ステップＳ１１３０において、ＣＰＵ９０１は、受信した描画命令を画面共有のサイズに合わせてスケールする。例えば、ＣＰＵ９０１は、描画命令に含まれる画面のサイズ等を受信側の端末１０１に合わせて変更し得る。ステップＳ１１４０において、ＣＰＵ９０１は、ＧＤＩコール、すなわち、アプリケーションからＯＳに対して描画命令の送信を実行する。ＧＤＩコールが発生したことに基づいて、ＣＰＵ９０１は、ステップＳ１１５０～Ｓ１１８０までの処理を開始する。

ステップＳ１１５０において、ＣＰＵ９０１は、ユニバーサルデザインの適用処理を実行する。本ステップの処理は、図７等を参照して説明した、ユニバーサルデザイン処理部３０２が抽象化された描画命令３２１にＯＳ３００に設定された描画設定を適用する処理に対応する。

ステップＳ１１６０において、ＣＰＵ９０１は、抽象化された描画命令を具体化された描画命令に変換する。本ステップの処理は、図７等を参照して説明した、抽象化された描画命令３２１を具体化された描画命令３２２に変換する処理に対応する。

ステップＳ１１７０において、ＣＰＵ９０１は、ＤＤＩコールを実行する。本ステップの処理は、図７等を参照して説明した、ＤＤＩ３０３に具体化された描画命令３２２を送信する処理に対応する。

ステップＳ１１８０において、ＣＰＵ９０１は、端末１０１のディスプレイにアプリケーションのダイアログを表示する。本ステップの処理は、図７等を参照して説明した、ディスプレイドライバー３０４が、画像データ３２３を端末１０１のディスプレイに表示する処理に対応する。

ある局面において、端末１０１に画面共有ツール８００がインストールされている場合、送信側の端末１０１は、例えば、ステップＳ１０７０の処理の後に、データ変換部８６０により、送信前の描画命令を受信側の端末１０１のＯＳが処理できる形式の描画命令、または、ＯＳに依存しない形式の描画命令に変換してもよい。

他の局面において、端末１０１に画面共有ツール８００がインストールされている場合、受信側の端末１０１は、例えば、ステップＳ１１２０の処理の後に、データ変換部８６０により、受信後の描画命令を受信側の端末１０１のＯＳが処理できる形式の描画命令、または、ＯＳに依存しない形式の描画命令に変換してもよい。

ある局面において、画面共有ツール５００，８００は、画面共有機能の有効および無効を切り替える命令の入力を受け付けてもよい。その場合、送信側の端末にインストールされた画面共有ツール５００，８００は、当該命令の入力を受け付けたことに基づいて、ＯＳまたはアプリケーションに描画命令を要求してもよい。また、画面共有ツール５００，８００は、キーボード、マウス、タッチパネルまたはマイク等の任意の入力インターフェイスから、画面共有機能の有効および無効を切り替える命令の入力を受け付けてもよい。

ある局面において、送信側の端末にインストールされた画面共有ツール５００，８００は、送信する情報の選択命令の入力を受け付けてもよい。送信する情報とは、例えば、描画命令および画像データを含む。画面共有ツール５００，８００は、送信する情報の選択命令の入力を受け付けたことに基づいて、描画命令または画像データのいずれかの情報を受信側の端末１０１に送信してもよい。また、画面共有ツール５００，８００は、キーボード、マウス、タッチパネルまたはマイク等の任意の入力インターフェイスから、送信する情報の選択命令の入力を受け付けてもよい。

上記の図２～図１１に示す例では、２台の端末１０１における画面の共有について説明したが本実施の形態に従う画面共有ツール５００，８００は、３台以上の端末１０１間での画面共有にも使用可能である。画面共有ツール５００，８００は、３台以上の端末１０１間で画面を共有する場合、共有する画面を表示している端末１０１は、他の全ての端末に描画命令を送信する。他の全ての端末１０１は、受信した描画命令に基づいて画像データをディスプレイに表示する。

以上説明した通り、本実施の形態に従う画面共有ツール５００をインストールされた各端末１０１は、互いに抽象化された描画命令を共有する。当該機能により、各端末１０１は、各端末１０１のユーザーが認識しやすい設定を反映した画像データをディスプレイに表示することができる。

また、画面共有ツール８００または中継装置８４０が描画命令の変換機能を備えることにより、送受信する端末１０１間でＯＳの種類および／またはバージョンに差異がある場合でも、各端末１０１にインストールされた画面共有ツールは、適切に変換された描画命令を交換することができる。その結果、受信側の端末１０１は、ＯＳの種類および／またはバージョンによらず、ＯＳに設定された描画設定を描画命令に反映させることができる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内で全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された開示内容は、可能な限り、単独でも、組合わせても、実施することが意図される。

１０１端末、１０２，３１０アプリケーション、１０４デバイスドライバー、１０５ハードウェア、１１０，２１０，２２０，５１０，５２０，８１０，８２０ダイアログ、１２０形状データ、１３０テキスト、２３０，３２３画像データ、２５０，５００，８００画面共有ツール、２５１，５０１画面共有制御部、２５２共有画面送信部、２５３共有画面受信部、２５４共有画面表示部、２５５自画面取得部、２５６自画面トリミング部、３００ＯＳ、３０１ＧＤＩ、３０２ユニバーサルデザイン処理部、３０３ＤＤＩ、３０４ディスプレイドライバー、３２１抽象化された描画命令、３２２具体化された描画命令、５０２描画命令送信部、５０３描画命令取得部、５０４描画命令取得部、５０５描画命令表示部、５０６描画命令保持部、５３０，８３０描画命令、８４０中継装置、８５０，８６０データ変換部、９０１ＣＰＵ、９０２１次記憶装置、９０３２次記憶装置、９０４外部機器インターフェイス、９０５入力インターフェイス、９０６出力インターフェイス、９０７通信インターフェイス。

Claims

画面共有のためのプログラムであって、
アプリケーションがＯＳ（Operating System）に対して発行した描画命令を取得するステップと、
前記描画命令を受信側の端末に送信するステップとを１つ以上のプロセッサに実行させる、プログラム。
前記描画命令は、
前記ＯＳにより、前記ＯＳに予め設定されている描画設定を反映され、
デバイスドライバーによりディスプレイに表示するための画像データを生成するために使用される、請求項１に記載のプログラム。
前記描画命令を受信するステップは、
画面共有機能を有効にする指令を受け付けるステップと、
前記指令を受け付けたことに基づいて、前記ＯＳに前記描画命令を要求するステップとを含む、請求項１または２に記載のプログラム。
前記１つ以上のプロセッサに、
送信情報の選択の入力を受け付けるステップと、
前記送信情報の選択の入力を受け付けたことに基づいて、前記描画命令または画像データのいずれかを前記受信側の端末に送信するステップとをさらに実行させる、請求項１～３のいずれかに記載のプログラム。
前記１つ以上のプロセッサに、
前記受信側の端末から前記ＯＳの種類情報を受信するステップと、
前記受信側の端末から受信した前記ＯＳの種類情報に基づいて、前記描画命令を変換するステップとをさらに実行させ、
前記描画命令を前記受信側の端末に送信するステップは、変換後の前記描画命令を前記受信側の端末に送信するステップを含む、請求項１～４のいずれかに記載のプログラム。
前記１つ以上のプロセッサに、
前記受信側の端末から前記ＯＳのバージョン情報を受信するステップと、
前記受信側の端末から受信した前記ＯＳのバージョン情報に基づいて、前記描画命令を変換するステップとをさらに実行させ、
前記描画命令を前記受信側の端末に送信するステップは、変換後の前記描画命令を前記受信側の端末に送信するステップを含む、請求項１～４のいずれかに記載のプログラム。
前記１つ以上のプロセッサに、前記描画命令を前記ＯＳに依存しない形式に変換するステップをさらに実行させ、
前記描画命令を前記受信側の端末に送信するステップは、変換後の前記描画命令を前記受信側の端末に送信するステップを含む、請求項１～４のいずれかに記載のプログラム。
前記１つ以上のプロセッサに、
送信側の端末から前記描画命令を受信するステップと、
前記受信側の端末の前記ＯＳに設定された図形または／および文字の描画設定と、前記描画命令とに基づいて、画像を生成するステップと、
生成した前記画像をディスプレイに描画するステップとをさらに実行させる、請求項１～７のいずれかに記載のプログラム。
前記１つ以上のプロセッサに、受信した前記描画命令の形式またはパラメータが前記受信側の端末の前記ＯＳに対応していないことに基づいて、前記描画命令を前記受信側の端末の前記ＯＳに対応する形式に変換するステップをさらに実行させる、請求項８に記載のプログラム。
画面共有のためのプログラムであって、前記プログラムは１つ以上のプロセッサに、
複数の端末間で送受信される描画命令を受信するステップと、
前記描画命令の送信側の端末の前記ＯＳと、前記描画命令の受信側の端末の前記ＯＳとに差異があることに基づいて、前記描画命令を前記受信側の端末の前記ＯＳにて処理可能な形式に変換するステップと、
変換後の前記描画命令を前記受信側の端末に送信するステップとを実行させる、プログラム。
請求項１～１０のいずれかに記載のプログラムを格納したメモリーと、
前記プログラムを実行する１つ以上のプロセッサとを備える、装置。