JP2018072949A - 送信制御プログラム、送信制御方法および情報処理装置 - Google Patents

Abstract

【課題】表示端末に送信するデータ量の増大を抑制することができる送信制御プログラム、送信制御方法および情報処理装置を提供する。【解決手段】送信制御プログラムは、ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する処理をコンピュータに実行させる。送信制御プログラムは、表示端末により送信された画像情報の範囲を指定する情報を受信すると、ヘッドマウントディスプレイに表示される画像情報のうち、受信した情報に応じた範囲の画像情報を抽出する処理をコンピュータに実行させる。送信制御プログラムは、抽出した画像情報を表示端末に送信する処理をコンピュータに実行させる。【選択図】図１

Description

本発明は、送信制御プログラム、送信制御方法および情報処理装置に関する。

近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）ともいう。）等を用いて、例えば工場などの保守作業を行うことが提案されている。このような場合において、ＨＭＤは、作業者が所持する端末に接続され、端末で動作するアプリケーションの画面を表示する。このときＨＭＤは、ＨＭＤ側の各種設定を行うことが求められる場合がある。この場合、ＨＭＤの画面を端末に転送して、端末からＨＭＤに対してリモート操作を行うことで操作が行われる。また、操作端末での操作に応じて、据置型端末やメガネ型端末に表示させる画像を生成して送信することが提案されている。

特開２０１５−２１５４６５号公報 特開平７−１０４２１０号公報

しかしながら、端末からＨＭＤに対してリモート操作を行うために、例えば無線を用いて画面を転送する場合、転送レートの制約から転送する画面の解像度を低く設定すると、画面の文字がかすれて可読性が悪くなる場合がある。これに対し、転送する画面の解像度を高く設定すると、フレームレートが低下するとともに転送するデータ量が増大する場合がある。

一つの側面では、本発明は、表示端末に送信するデータ量の増大を抑制することができる送信制御プログラム、送信制御方法および情報処理装置を提供することにある。

一つの態様では、送信制御プログラムは、ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する処理をコンピュータに実行させる。送信制御プログラムは、前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出する処理をコンピュータに実行させる。送信制御プログラムは、抽出した前記画像情報を前記表示端末に送信する処理をコンピュータに実行させる。

表示端末に送信するデータ量の増大を抑制することができる。

図１は、実施例の送信制御システムの構成の一例を示すブロック図である。 図２は、画像全体を縮小して送信する場合の一例を示す図である。 図３は、端末装置で画像が拡大された場合の一例を示す図である。 図４は、実施例の送信制御処理の一例を示すシーケンス図である。 図５は、送信制御プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する送信制御プログラム、送信制御方法および情報処理装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例の送信制御システムの構成の一例を示すブロック図である。図１に示す送信制御システム１は、ＨＭＤ１０と、端末装置１００とを有する。ＨＭＤ１０と端末装置１００とは、例えば１対１で無線により接続される。すなわち、ＨＭＤ１０は、端末装置１００の表示部の一例として機能させることができる。また、ＨＭＤ１０は、端末装置１００と接続した状態で、ＨＭＤ１０に表示される画像情報、つまり画面を端末装置１００に転送し、端末装置１００で転送された画面が共有されることでリモート操作されることができる。なお、図１では、ＨＭＤ１０と端末装置１００との組について、１組を一例として示したが、ＨＭＤ１０と端末装置１００との組の数は限定されず、任意の数のＨＭＤ１０と端末装置１００との組を有してもよい。

ＨＭＤ１０と端末装置１００との間は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local Area Network）により相互に通信可能に接続される。なお、ＨＭＤ１０と端末装置１００との間は、有線で接続されるようにしてもよい。

ＨＭＤ１０は、ユーザが端末装置１００とともに装着し、端末装置１００から送信される表示画面を表示部に表示する情報処理装置である。なお、ＨＭＤ１０は、ユーザが単独で装着してもよい。また、ＨＭＤ１０は、端末装置１００と接続した状態で、ＨＭＤ１０に表示される画像情報、つまり画面を端末装置１００に送信する。ＨＭＤ１０は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１０は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。また、ＨＭＤ１０は、頭部に装着するディスプレイであれば、例えば、眼鏡型や帽子型等の各種のＨＭＤを用いるようにしてもよい。

また、ＨＭＤ１０は、端末装置１００により送信された画像情報の範囲を指定する情報を受信すると、ＨＭＤ１０の表示部に表示される画像情報のうち、受信した情報に応じた範囲の画像情報を抽出する。ＨＭＤ１０は、抽出した画像情報を端末装置１００に送信する。これにより、ＨＭＤ１０は、端末装置１００に送信するデータ量の増大を抑制することができる。

端末装置１００は、表示端末の一例であり、例えばユーザが装着して操作する情報処理装置である。端末装置１００は、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。端末装置１００は、例えば、ＨＭＤ１０から画像情報を受信すると、受信した画像情報を表示部に表示して、ＨＭＤ１０と画像情報、つまり画面を共有する。端末装置１００は、ユーザから画像の拡縮操作を受け付けると、拡縮操作に基づく拡縮比率を取得して、拡縮比率を含んで範囲を指定する指定情報をＨＭＤ１０に送信する。端末装置１００は、ＨＭＤ１０から指定情報に応じた範囲の画像情報を受信して表示する。

次に、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、通信部１１と、表示部１２と、記憶部１３と、制御部１４とを有する。なお、ＨＭＤ１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）により端末装置１００と無線で接続され、端末装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１４から入力された表示部１２に表示される画像情報または抽出された画像情報を端末装置１００に送信する。また、通信部１１は、端末装置１００から画面を共有するための接続要求、画像情報の範囲を指定する指定情報および操作情報を受信する。通信部１１は、受信した接続要求、指定情報および操作情報を制御部１４に出力する。

表示部１２は、各種情報を表示するための表示デバイスである。表示部１２は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤの表示素子に相当する。なお、表示部１２は、没入型、ビデオ透過型、網膜投影型等のＨＭＤに対応する表示素子でもよい。

記憶部１３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１３は、制御部１４での処理に用いる情報を記憶する。

制御部１４は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。

制御部１４は、接続部１５と、抽出部１６と、送信制御部１７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１４の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１４は、例えばＨＭＤ１０の電源が投入されると、初期画面やメニュー画面等の画像情報を表示部１２に表示させる。

接続部１５は、端末装置１００との接続を確立する。接続部１５は、例えば図示しない操作部が操作されて接続を待ち受ける状態で、通信部１１を介して、端末装置１００から画面を共有するための接続要求を受信すると、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）により端末装置１００との接続を確立する。接続部１５は、端末装置１００との接続が確立すると、表示部１２に表示される画像情報から抽出する抽出範囲を初期値に設定する。抽出範囲の初期値は、例えば、表示部１２に設定可能な複数の表示解像度のうち、例えばＶＧＡ（６４０ピクセル×４８０ピクセル）といった画像サイズとすることができる。すなわち、抽出範囲の初期値は、拡縮比率で表すと、横：０．０〜１．０／縦：０．０〜１．０となる。なお、抽出範囲の初期値は、表示部１２の表示解像度に限定されない。接続部１５は、初期値に設定した抽出範囲を抽出部１６に出力する。

また、接続部１５は、通信部１１を介して、端末装置１００から操作情報を受信すると、受信した操作情報の入力を受け付ける。すなわち、ＨＭＤ１０は、端末装置１００からリモート操作を受け付ける。

抽出部１６は、接続部１５から初期値に設定された抽出範囲が入力されると、表示部１２に表示される画像情報が入力された抽出範囲よりも大きい場合には、画像情報を抽出範囲に縮小して抽出した画像情報とする。抽出部１６は、例えば、抽出範囲の初期値がＶＧＡであり、表示部１２に表示される画像情報がＸＧＡ（１０２４ピクセル×７６８ピクセル）であるとすると、画像情報をＸＧＡからＶＧＡに縮小することで抽出した画像情報とする。抽出部１６は、表示部１２に表示される画像情報が入力された抽出範囲以下の大きさである場合には、画像情報を縮小せずに、そのまま抽出した画像情報とする。抽出部１６は、抽出した画像情報を送信制御部１７に出力する。

また、抽出部１６は、通信部１１を介して、端末装置１００から画像情報の範囲を指定する指定情報を受信したか否かを判定する。抽出部１６は、指定情報を受信していない場合には、引き続き、初期値に設定された抽出範囲に応じた抽出した画像情報を送信制御部１７に出力する。抽出部１６は、指定情報を受信した場合には、受信した指定情報に基づいて抽出範囲を算出する。画像情報の範囲を指定する指定情報は、例えば、矩形の拡縮比率で表すことができる。矩形の拡縮比率は、例えば、拡縮比率［（ｘ下限，ｙ下限），（ｘ上限，ｙ上限）］で表すことができる。また、抽出範囲は、表示部１２に表示される画像情報の画像サイズと、拡縮比率とから、下記の式（１）で求めることができる。

抽出範囲 ＝ 画像サイズ（ｘ，ｙ）
× 拡縮比率［（ｘ下限，ｙ下限），（ｘ上限，ｙ上限）］ ・・・（１）

例えば、表示部１２に表示される画像情報の画像サイズがＶＧＡであり、拡縮比率が横：０．２５〜０．７５／縦：０．２５〜０．７５である場合には、抽出範囲は下記の式（２）で示す値となる。

抽出範囲 ＝ 画像サイズ（６４０，４８０）
× 拡縮比率［（０．２５，０．２５），（０．７５，０．７５）］
＝［（１６０，１２０），（４８０，３６０）］ ・・・（２）

抽出部１６は、算出した抽出範囲に基づいて、表示部１２に表示される画像情報から、抽出範囲に応じた画像情報を抽出する。

抽出部１６は、抽出した画像情報が所定の画像サイズを超えているか否かを判定する。ここで、所定の画像サイズは、例えば、ＱＶＧＡ（３２０ピクセル×２４０ピクセル）とすることができる。抽出部１６は、抽出した画像情報が所定の画像サイズを超えている場合には、抽出した画像情報を所定の画像サイズに縮小して送信制御部１７に出力する。抽出部１６は、抽出した画像情報が所定の画像サイズを超えていない場合には、抽出した画像情報を縮小せずに、そのまま送信制御部１７に出力する。上述の式（２）の例では、抽出範囲は、３２０ピクセル×２４０ピクセルとなるので、抽出した画像情報がそのまま送信制御部１７に出力される。

言い換えると、抽出部１６は、端末装置１００により送信された画像情報の範囲を指定する情報を受信すると、ヘッドマウントディスプレイ、つまりＨＭＤ１０の表示部１２に表示される画像情報のうち、受信した情報に応じた範囲の画像情報を抽出する。また、抽出部１６は、端末装置１００から表示領域における画像の拡縮を示す所定の比率を含む画像情報の範囲を指定する情報を受信すると、画像情報の拡縮前の画像サイズと、所定の比率とに基づく範囲の画像情報を抽出する。なお、実施例における指定情報は、画像情報の範囲を指定する情報の一例である。さらに、抽出部１６は、抽出した画像情報が所定の画像サイズを超える場合に、抽出した画像情報を所定の画像サイズに縮小する。

送信制御部１７は、抽出部１６から抽出した画像情報が入力されると、通信部１１を介して、入力された画像情報の端末装置１００への送信を開始する。また、送信制御部１７は、端末装置１００またはＨＭＤ１０の図示しない操作部から画面共有を終了する情報の受信または入力があったか否かを判定する。すなわち、送信制御部１７は、画面共有を終了するか否かを判定する。送信制御部１７は、画面共有を終了しない場合には、引き続き、画像情報の送信を継続する。送信制御部１７は、画面共有を終了する場合には、送信制御処理を終了し、画像情報の送信を停止する。

続いて、端末装置１００の構成について説明する。図１に示すように、端末装置１００は、通信部１１０と、表示操作部１１１と、記憶部１２０と、制御部１３０とを有する。なお、端末装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０と無線で接続され、ＨＭＤ１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、ＨＭＤ１０から画像情報を受信する。通信部１１０は、受信した画像情報を制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力された画面を共有するための接続要求、画像情報の範囲を指定する指定情報および操作情報をＨＭＤ１０に送信する。

表示操作部１１１は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１１は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１１は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１１は、表示デバイスと入力デバイスとが一体化される。表示操作部１１１は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、表示操作部１１１は、ＨＭＤ１０と画面共有を行っている場合には、ＨＭＤ１０から受信した画面情報に基づく画面を表示し、ＨＭＤ１０と画面共有を行っていない場合には、ＨＭＤ１０と異なる画面を表示する。

記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、接続部１３１と、拡縮部１３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

接続部１３１は、ＨＭＤ１０との接続を確立する。接続部１３１は、例えば、ユーザによって画面を共有するための接続を要求する操作が表示操作部１１１から入力されると、通信部１１０を介して、ＨＭＤ１０に画面を共有するための接続要求を送信する。その後、接続部１３１は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０との接続を確立する。接続部１３１は、ＨＭＤ１０との接続を確立すると、通信部１１０を介して、ＨＭＤ１０から画像情報の受信、および、表示操作部１１１への表示を開始する。なお、接続部１３１は、画面の共有中に表示操作部１１１から表示画面に対する操作情報が入力されると、入力された操作情報を、通信部１１０を介してＨＭＤ１０に送信する。

また、接続部１３１は、表示操作部１１１から画面共有を終了する情報の入力があったか否かを判定する。すなわち、接続部１３１は、画面共有を終了するか否かを判定する。接続部１３１は、画面共有を終了しない場合には、引き続き、画像情報の受信および表示、ならびに、画像の拡縮操作の受け付けを継続する。接続部１３１は、画面共有を終了する場合には、処理を終了して画像情報の受信および表示、ならびに、画像の拡縮操作の受け付けを停止する。

拡縮部１３２は、接続部１３１によってＨＭＤ１０との接続が確立され、画像情報の受信および表示が開始されると、表示操作部１１１に対するユーザによる画像の拡縮操作を受け付けたか否かを判定する。拡縮部１３２は、画像の拡縮操作を受け付けた場合には、拡縮操作に基づく拡縮比率を取得する。なお、画像の拡縮操作は、例えば、ユーザが表示操作部１１１上で２本の指を離して画像を拡大するピンチアウトや、２本の指を近づけて画像を縮小するピンチインと呼ばれる操作が挙げられる。拡縮部１３２は、例えば、拡縮操作の前後における画像のピクセル数に基づいて、拡縮比率を算出して取得する。また、拡縮比率は、表示操作部１１１の表示領域における画像の拡縮を示す所定の比率の一例である。

拡縮部１３２は、画像情報の範囲を指定する方法の一例として、取得した拡縮比率を指定情報に含める。拡縮部１３２は、通信部１１０を介して、拡縮比率を含む指定情報をＨＭＤ１０に送信する。拡縮部１３２は、画像の拡縮操作を受け付けていない場合には、引き続き、画像の拡縮操作の受け付けを待機する。

ここで、図２および図３を用いて画像の拡縮に応じた表示について説明する。図２は、画像全体を縮小して送信する場合の一例を示す図である。図２の例では、ＨＭＤ１０は、メニュー画面２０の全体の画像情報を縮小して送信している。メニュー画面２０には、各種の操作ボタン２１ａ〜２１ｇが配置され、例えば、操作ボタン２１ｂには「カメラ」といった文字が含まれる。端末装置１００の表示操作部１１１に表示されているメニュー画面２２は、メニュー画面２０の全体の画像情報が縮小されている。このため、メニュー画面２２では、操作ボタン２１ａ〜２１ｇの文字、例えば操作ボタン２１ｂの「カメラ」という文字や、操作ボタン２１ｃの「ファイル選択」といった文字が潰れて判読しにくくなっている状態である。

図３は、端末装置で画像が拡大された場合の一例を示す図である。図３の拡大画面２３は、図２の状態から操作ボタン２１ｂおよび２１ｃを含む領域がピンチアウトの操作により拡大された画面である。拡大画面２３では、文字が潰れて判読しにくいメニュー画面２０をそのまま拡大して表示しているので、操作ボタン２１ｂの「カメラ」という文字や、操作ボタン２１ｃの「ファイル選択」という文字は、潰れたままである。端末装置１００は、ピンチアウトの操作を受け付けると、拡縮比率を取得して指定情報としてＨＭＤ１０に送信する。

ＨＭＤ１０は、指定情報を受信すると、指定情報に基づいて抽出範囲２４を算出して抽出し、抽出画像２５の画像情報を端末装置１００に送信する。すなわち、ＨＭＤ１０は、抽出範囲２４について、メニュー画面２０よりも文字が判読しやすい画像を抽出して送信する。端末装置１００は、受信した抽出画像２５の画像情報を表示操作部１１１に表示することで、操作ボタン２１ｂの「カメラ」という文字や、操作ボタン２１ｃの「ファイル選択」という文字が潰れずに判読しやすく表示される。このように、送信制御システム１では、端末装置１００で求められる画像の部分だけＨＭＤ１０から解像度の高い画像を送信するので、ＨＭＤ１０から端末装置１００に送信するデータ量の増大を抑制することができる。

次に、実施例の送信制御システム１の動作について説明する。図４は、実施例の送信制御処理の一例を示すシーケンス図である。

ＨＭＤ１０は、電源が投入されてメニュー画面等の画像情報を表示部１２に表示させる。また、ＨＭＤ１０の接続部１５は、端末装置１００からの接続を待ち受ける。端末装置１００の接続部１３１は、例えば、接続を要求する操作が入力されると、ＨＭＤ１０に画面を共有するための接続要求を送信する（ステップＳ１）。

ＨＭＤ１０の接続部１５は、接続要求を受信すると、端末装置１００との接続を確立する（ステップＳ２）。接続部１５は、端末装置１００との接続が確立すると、表示部１２に表示される画像情報から抽出する抽出範囲を初期値に設定する。接続部１５は、初期値に設定した抽出範囲を抽出部１６に出力する。抽出部１６は、接続部１５から初期値に設定された抽出範囲が入力されると、抽出範囲、例えば画面全体の画像情報を送信制御部１７に出力する。送信制御部１７は、抽出部１６から入力された画像情報の端末装置１００への送信を開始する（ステップＳ３）。

端末装置１００の接続部１３１は、ＨＭＤ１０との接続を確立すると、ＨＭＤ１０からの画像情報の受信および表示を開始する（ステップＳ４）。拡縮部１３２は、接続部１３１によってＨＭＤ１０との接続が確立され、画像情報の受信および表示が開始されると、画像の拡縮操作を受け付けたか否かを判定する（ステップＳ５）。拡縮部１３２は、画像の拡縮操作を受け付けていない場合には（ステップＳ５：否定）、ステップＳ１５に進む。

拡縮部１３２は、画像の拡縮操作を受け付けた場合には（ステップＳ５：肯定）、拡縮操作に基づく拡縮比率を取得する（ステップＳ６）。拡縮部１３２は、取得した拡縮比率を指定情報に含める。拡縮部１３２は、拡縮比率を含む指定情報をＨＭＤ１０に送信する（ステップＳ７）。

ＨＭＤ１０の抽出部１６は、端末装置１００から指定情報を受信したか否かを判定する（ステップＳ８）。抽出部１６は、端末装置１００から指定情報を受信していない場合には（ステップＳ８：否定）、ステップＳ１４に進む。抽出部１６は、端末装置１００から指定情報を受信した場合には（ステップＳ８：肯定）、受信した指定情報に基づいて抽出範囲を算出する（ステップＳ９）。抽出部１６は、算出した抽出範囲に基づいて、表示部１２に表示される画像情報から、抽出範囲に応じた画像情報を抽出する（ステップＳ１０）。

抽出部１６は、抽出した画像情報が所定の画像サイズを超えているか否かを判定する（ステップＳ１１）。抽出部１６は、抽出した画像情報が所定の画像サイズを超えている場合には（ステップＳ１１：肯定）、抽出した画像情報を所定の画像サイズに縮小して（ステップＳ１２）、送信制御部１７に出力する。抽出部１６は、抽出した画像情報が所定の画像サイズを超えていない場合には（ステップＳ１１：否定）、抽出した画像情報を縮小せずに、そのまま送信制御部１７に出力する。

送信制御部１７は、抽出部１６から入力された画像情報の端末装置１００への送信を開始する（ステップＳ１３）。なお、端末装置１００では、ステップＳ４で画像情報の受信および表示が開始されているので、表示する画像情報がステップＳ１３で送信が開始される画像情報に変わることとなる。

送信制御部１７は、画面共有を終了するか否かを判定する（ステップＳ１４）。送信制御部１７は、画面共有を終了しない場合には（ステップＳ１４：否定）、ステップＳ８に戻る。送信制御部１７は、画面共有を終了する場合には（ステップＳ１４：肯定）、送信制御処理を終了し、画像情報の送信を停止する。

端末装置１００の接続部１３１は、画面共有を終了するか否かを判定する（ステップＳ１５）。接続部１３１は、画面共有を終了しない場合には（ステップＳ１５：否定）、ステップＳ５に戻る。接続部１３１は、画面共有を終了する場合には（ステップＳ１５：肯定）、処理を終了して画像情報の受信および表示、ならびに、画像の拡縮操作の受け付けを停止する。これにより、ＨＭＤ１０は、端末装置１００で求められる画像の部分だけ解像度の高い画像を送信するので、端末装置１００に送信するデータ量の増大を抑制することができる。すなわち、ＨＭＤ１０は、端末装置１００においてユーザが意識することなく解像度を自動調整できる。

このように、ＨＭＤ１０は、ＨＭＤ１０の表示部１２に表示される画像情報を端末装置１００に送信する。また、ＨＭＤ１０は、端末装置１００により送信された画像情報の範囲を指定する情報を受信すると、ＨＭＤ１０の表示部１２に表示される画像情報のうち、受信した情報に応じた範囲の画像情報を抽出する。また、ＨＭＤ１０は、抽出した画像情報を端末装置１００に送信する。その結果、端末装置１００、つまり表示端末に送信するデータ量の増大を抑制することができる。

また、ＨＭＤ１０は、端末装置１００から表示領域における画像の拡縮を示す所定の比率を含む画像情報の範囲を指定する情報を受信すると、画像情報の拡縮前の画像サイズと、所定の比率とに基づく範囲の画像情報を抽出する。その結果、画像内の文字の判読性を向上させることができる。

また、ＨＭＤ１０は、抽出した画像情報が所定の画像サイズを超える場合に、抽出した画像情報を所定の画像サイズに縮小する。その結果、端末装置１００での拡縮量に応じた画像情報を端末装置１００に送信できる。

なお、上記実施例では、ＨＭＤ１０の設定時のメニュー画面等を共有する例を説明したが、これに限定されない。例えば、ＨＭＤ１０でトラブルが発生した場合に、エラーログやコンソール画面を共有してもよい。また、タッチパネル入力ができないＨＭＤ１０において、タッチパネル入力ができない端末での動作を想定していないアプリケーションを動作させる場合に、ＨＭＤ１０の画面を端末装置１００で共有してリモート操作を行ってもよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、抽出部１６と送信制御部１７とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図５は、送信制御プログラムを実行するコンピュータの一例を示す図である。

図５に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、フラッシュメモリ２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。

フラッシュメモリ２０８には、図１に示した接続部１５、抽出部１６および送信制御部１７の各処理部と同様の機能を有する送信制御プログラムが記憶される。また、フラッシュメモリ２０８には、送信制御プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、図１に示した表示部１２と同様の機能を有し、コンピュータ２００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えばマイクやイヤホン等が接続される。通信装置２０６は、例えば、図１に示した通信部１１と同様の機能を有し端末装置１００と接続され、端末装置１００と各種情報をやりとりする。

ＣＰＵ２０１は、フラッシュメモリ２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した接続部１５、抽出部１６および送信制御部１７として機能させることができる。

なお、上記の送信制御プログラムは、必ずしもフラッシュメモリ２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの送信制御プログラムを記憶させておき、コンピュータ２００がこれらから送信制御プログラムを読み出して実行するようにしてもよい。

以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。

（付記１）ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する処理をコンピュータに実行させる送信制御プログラムにおいて、
前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出し、
抽出した前記画像情報を前記表示端末に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。

（付記２）前記抽出する処理は、前記表示端末から表示領域における画像の拡縮を示す所定の比率を含む前記画像情報の範囲を指定する情報を受信すると、前記画像情報の拡縮前の画像サイズと、前記所定の比率とに基づく範囲の画像情報を抽出する、
ことを特徴とする付記１に記載の送信制御プログラム。

（付記３）前記抽出する処理は、抽出した前記画像情報が所定の画像サイズを超える場合に、抽出した前記画像情報を所定の画像サイズに縮小する、
ことを特徴とする付記１または２に記載の送信制御プログラム。

（付記４）ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する処理をコンピュータが実行する送信制御方法において、
前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出し、
抽出した前記画像情報を前記表示端末に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。

（付記５）前記抽出する処理は、前記表示端末から表示領域における画像の拡縮を示す所定の比率を含む前記画像情報の範囲を指定する情報を受信すると、前記画像情報の拡縮前の画像サイズと、前記所定の比率とに基づく範囲の画像情報を抽出する、
ことを特徴とする付記４に記載の送信制御方法。

（付記６）前記抽出する処理は、抽出した前記画像情報が所定の画像サイズを超える場合に、抽出した前記画像情報を所定の画像サイズに縮小する、
ことを特徴とする付記４または５に記載の送信制御方法。

（付記７）ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する情報処理装置において、
前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出する抽出部と、
抽出した前記画像情報を前記表示端末に送信する送信制御部と、
を有することを特徴とする情報処理装置。

（付記８）前記抽出部は、前記表示端末から表示領域における画像の拡縮を示す所定の比率を含む前記画像情報の範囲を指定する情報を受信すると、前記画像情報の拡縮前の画像サイズと、前記所定の比率とに基づく範囲の画像情報を抽出する、
ことを特徴とする付記７に記載の情報処理装置。

（付記９）前記抽出部は、抽出した前記画像情報が所定の画像サイズを超える場合に、抽出した前記画像情報を所定の画像サイズに縮小する、
ことを特徴とする付記７または８に記載の情報処理装置。

１ 送信制御システム
１０ ＨＭＤ
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 制御部
１５ 接続部
１６ 抽出部
１７ 送信制御部
１００ 端末装置
１１０ 通信部
１１１ 表示操作部
１２０ 記憶部
１３０ 制御部
１３１ 接続部
１３２ 拡縮部

Claims (5)

1. ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する処理をコンピュータに実行させる送信制御プログラムにおいて、
   前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出し、
   抽出した前記画像情報を前記表示端末に送信する、
   処理をコンピュータに実行させることを特徴とする送信制御プログラム。
2. 前記抽出する処理は、前記表示端末から表示領域における画像の拡縮を示す所定の比率を含む前記画像情報の範囲を指定する情報を受信すると、前記画像情報の拡縮前の画像サイズと、前記所定の比率とに基づく範囲の画像情報を抽出する、
   ことを特徴とする請求項１に記載の送信制御プログラム。
3. 前記抽出する処理は、抽出した前記画像情報が所定の画像サイズを超える場合に、抽出した前記画像情報を所定の画像サイズに縮小する、
   ことを特徴とする請求項１または２に記載の送信制御プログラム。
4. ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する処理をコンピュータが実行する送信制御方法において、
   前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出し、
   抽出した前記画像情報を前記表示端末に送信する、
   処理をコンピュータが実行することを特徴とする送信制御方法。
5. ヘッドマウントディスプレイに表示される画像情報を表示端末に送信する情報処理装置において、
   前記表示端末により送信された画像情報の範囲を指定する情報を受信すると、前記ヘッドマウントディスプレイに表示される前記画像情報のうち、受信した前記情報に応じた範囲の画像情報を抽出する抽出部と、
   抽出した前記画像情報を前記表示端末に送信する送信制御部と、
   を有することを特徴とする情報処理装置。

Images