JP2017050735A - 通信装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】通信装置によって確保された通信期間の一部の相手装置への割り当てを、その相手装置から送信されるべきデータに応じて適切に行うこと。【解決手段】通信装置は、通信装置が相手装置へ信号を送信することができる通信期間を確保し、相手装置から要求があった場合には相手装置が通信装置へ信号を送信するのに通信期間の一部を割り当て、相手装置から要求がなかった場合には相手装置が通信装置へ信号を送信するための期間を割り当てないと判定し、通信期間の一部を相手装置が通信装置へ信号を送信するのに割り当てると判定した場合に、割り当てられる通信期間の一部に関する情報を相手装置へ通知する。【選択図】 図１

Description

本発明は、通信におけるリソースの効率的使用技術に関する。

ＩＥＥＥ８０２．１１規格シリーズに準拠する無線ＬＡＮでは、複数の通信装置によってそれぞれ送信された信号が受信側の通信装置において衝突するのを防ぐために、他の通信装置による信号の送信を抑制することができる。例えば、通信装置は、自身が相手装置へ信号を送信するための通信期間を確保するために、ＲＴＳ（Ｒｅｑｕｅｓｔ Ｔｏ Ｓｅｎｄ）を送信し、相手装置は、ＲＴＳを受信したことに応じて、ＣＴＳ（Ｃｌｅａｒ Ｔｏ Ｓｅｎｄ）を送信する。このＣＴＳを受信した他の通信装置は、信号の送信を行わないようにする。これにより、相手装置が送信したＣＴＳが届く範囲の、すなわち相手装置が受信機として動作する場合の干渉源となり得る、他の通信装置による信号の送信が行われなくなり、相手装置は干渉がない状態で通信装置が送信した信号を受信することが可能となる。

ここで、通信装置と相手装置との間の通信が、双方向通信である場合、すなわち、通信装置と相手装置とがそれぞれ送信機として機能しうる場合、通信装置と相手装置は、それぞれ通信期間を確保することとなる。すなわち、通信装置および相手装置は、それぞれ、自身が他方の装置へ信号を送信する際に、ＲＴＳを送信し、相手方からＣＴＳを受信することによって、通信期間を確保する。しかしながら、通信装置と相手装置がそれぞれＲＴＳを送信すると、それによって周辺の他の通信装置が通信を行うことができなくなるため、通信システム全体としてのリソースの利用効率が低下しうる。

これに対して、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ａｃ、ＩＥＥＥ８０２．１１ａｄ規格では、双方向伝送の高効率化するプロトコルとして、ＲＤ（Ｒｅｖｅｒｓｅ Ｄｉｒｅｃｔｉｏｎ）プロトコルを規格化している。ＲＤプロトコルでは、送信局が、ＣＳＭＡ／ＣＡに基づいて通信期間を確保し、確保した通信期間の一部を受信局がＡＣＫ伝送とデータ伝送とを実行するための期間として受信局に割り当てる。このとき、送信局は、確保した通信期間の一部を受信局に割り当てることを、ＲＤＧ（Ｒｅｖｅｒｓｅ Ｄｉｒｅｃｔｉｏｎ Ｇｒａｎｔ）によって通知する。なお、ＲＤＧは、送信局が送信するデータと共に送信される。受信局は、ＲＤＧを受信することにより、送信局が確保した通信期間の一部が、自身のデータ送信のために割り当てられたことを認識することができる。これにより、受信局は、割り当てられた通信期間の一部において、送信局に対してＡＣＫとともにデータを送信することができる。

ＲＤプロトコルを用いることにより、例えば通信装置と相手装置とが互いに１回ずつのデータの送信を行う際のＲＴＳとＣＴＳの送信回数が、ＲＤプロトコルを用いない場合だと各２回であるのに対して、各１回に削減される。すなわち、ＲＤプロトコルを用いると、例えば、通信装置がＲＴＳを、相手装置がＣＴＳを、それぞれ送信することにより、通信装置が、通信期間を確保してその期間の一部でデータを送信し、相手装置が、その通信期間の別の一部でデータを送信する。一方で、ＲＤプロトコルを用いないと、通信装置がＲＴＳを、相手装置がＣＴＳを、それぞれ送信することにより、通信装置が通信期間を確保してその期間でデータを送信するが、相手装置はその通信期間ではデータを送信できない。このため、この場合、相手装置は、別途ＲＴＳを送信し、通信装置からＣＴＳを受信することによって、通信期間を確保して、その確保した機関においてデータを送信する。ＲＴＳ及びＣＴＳの送信回数が減ることにより、通信システムにおけるオーバヘッドが削減され、さらに、ＲＴＳ及びＣＴＳ自体が他の信号と衝突する確率が低くなるため、通信システム全体として無線リソースの利用効率が改善し得る。

なお、ＲＤプロトコルを用いる場合は、ＲＴＳを送信する通信装置は、自身が送信するデータ量と相手装置が送信するデータ量とに応じて、確保すべき通信期間を特定することとなる。特許文献１には、このような場合に、相手装置が送信するデータ量を、伝送データ種別や、相手装置のバッファ残量に基づいて推定して、確保すべき通信期間を特定する手法が記載されている。

特開２００９−０６０２１３号公報

ＲＤプロトコルは、通信装置が相手装置に通信期間の一部を割り当てるものであるため、相手装置が送信すべきデータを有していることが、無線リソースの有効活用のための前提となる。すなわち、相手装置が送信すべきデータを有していない場合に通信期間の一部がその相手装置に割り当てられると、その通信期間の一部は実際には使用されず、また、他の通信装置もその通信期間の一部において通信することができない。このような状況は、例えば、相手装置から通信装置へ伝送すべきデータ量がリアルタイムに大きく時間変動する場合に生じうる。これに対して、特許文献１に記載の技術では、伝送データ種別やバッファ残量に基づいて、時間変動が少ないデータや、すでに発生していたデータについて、確保すべき通信期間を特定することはできる。しかしながら、特許文献１に記載の技術では、相手装置から送信されるデータの量がリアルタイムに大きく時間変動する場合に、相手装置による信号の送信のために確保すべき通信期間を適切に特定することが困難となるという課題があった。

本発明は、上記課題に鑑みなされたものであり、通信装置によって確保された通信期間の一部の相手装置への割り当てを、その相手装置から送信されるべきデータに応じて適切に行うことを可能とすることを目的とする。

上記課題を解決するために、本発明の通信装置は、通信装置であって、前記通信装置が相手装置へ信号を送信することができる通信期間を確保する確保手段と、前記相手装置から要求があった場合には前記相手装置が前記通信装置へ信号を送信するのに前記通信期間の一部を割り当て、前記相手装置から前記要求がなかった場合には前記相手装置が前記通信装置へ信号を送信するための期間を割り当てないと判定する判定手段と、前記判定手段が前記通信期間の一部を前記相手装置が前記通信装置へ信号を送信するのに割り当てると判定した場合に、割り当てられる前記通信期間の一部に関する情報を前記相手装置へ通知する通知手段と、を有する。

本発明によれば、通信装置によって確保された通信期間の一部の相手装置への割り当てを、その相手装置から送信されるべきデータに応じて適切に行うことが可能となる。

無線ＭＲシステムの構成例を示す図。 ＨＭＤが実行する処理の流れの例を示すフローチャート。 ＰＣが実行する処理の流れの例を示すフローチャート。 ＨＭＤ装着者の視野範囲、撮像画像およびＣＧ画像の対応関係を示す図。 ＨＭＤ装着者の座標、視線ベクトル、仮想物体の中心座標、及びＨＭＤ装着者と仮想物体との間の直線距離の対応関係を示す図。 無線ＭＲシステムの別の構成例を示す図。 ＨＭＤが実行する処理の流れの別の例を示すフローチャート。 ＰＣが実行する処理の流れの例を示すフローチャート。

＜＜実施形態１＞＞
以下、図面を参照しながら、本発明の実施形態について説明する。本実施形態では、通信装置と相手装置とが双方向通信を行うことが前提となる無線ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムを例として用いて説明する。ただし、無線ＭＲシステム以外であっても、相手装置が送信するデータ量又は相手装置がデータを送信するか否かが時間変動するシステムであれば、以下の説明が適用されうる。

ＭＲ技術では、現実世界で撮像された第１の画像に、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で表現された仮想世界の第２の画像が、合成（重畳）されて表示される。なお、ここでは、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧが重畳表示されるものとする。このシステムでは、ＨＭＤは、撮像ユニットを用いて撮像した撮像画像に関する情報を、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの画像処理装置へ伝送し、ＰＣは取得した撮像画像に基づいてＣＧ描画処理を行う。その後、ＨＭＤは、ＰＣが描画したＣＧ画像を撮像画像と合成して表示を行い、ＨＭＤを装着しているユーザにＭＲ空間の体験を提供する。

ここで、ＣＧ描画処理は、ＨＭＤの位置姿勢情報（位置と姿勢との少なくともいずれか）に基づいて行われる。ここで、ＨＭＤの位置とは例えば地理的な絶対位置であり、ＨＭＤの姿勢とは例えばＨＭＤが撮像する（例えば３次元の）方向でありうる。また、ＨＭＤの位置姿勢情報は、撮像画像内におけるマーカー又は自然特徴を用いて抽出された特徴点に基づいて取得されうる。なお、ＨＭＤの位置姿勢情報のうち、位置情報が例えばＧＰＳなどによって取得され、姿勢情報が例えば加速度センサなどによって取得されうる。

また、以下のシステムでは、ＨＭＤは、ＨＭＤの位置姿勢情報などのデータを、ＰＣへ無線伝送する。ＰＣは、ＨＭＤの位置姿勢情報を受信すると、その位置姿勢においてＨＭＤに表示させるべきＣＧ物体が存在する場合にはＣＧ描画を行い、ＨＭＤにＣＧ画像を無線伝送する。ＨＭＤは、ＣＧ画像を受信すると、メモリ内に記憶しておいた撮像画像に、ＣＧ画像を重畳したＭＲ画像を生成して表示する。一方、ＰＣは、受信した位置姿勢において、ＨＭＤに表示させるべきＣＧ物体が存在しない場合は、ＣＧ描画及びＣＧ画像の伝送を行わない。すなわち、ＨＭＤはＰＣへ位置姿勢情報を定期的に伝送し、ＰＣは必要に応じてＨＭＤへＣＧ画像を伝送する。

無線ＭＲシステムでは、ＨＭＤとＰＣとが、それぞれ自身が相手方へ信号を送信する際にＲＴＳを送信して通信期間を確保すると、ＲＴＳ／ＣＴＳの送信によって無線リソースが浪費されうる。さらに、ＨＭＤからＰＣへの特徴点送信が行われた後で、ＰＣがＣＧ画像の伝送のための通信期間を確保するための、ＲＴＳ／ＣＴＳが他の信号と衝突すると、ＰＣが通信期間を確保するまでの遅延時間が発生してしまう。この場合、ＨＭＤの撮像カメラが撮像処理を行ってから、ＨＭＤのディスプレイにＭＲ画像を表示するまでの時間差が大きくなり、ＭＲシステムにおけるユーザの没入感を損ねてしまう。このため、以下の無線ＭＲシステムでは、上述のＲＤプロトコルを用いるものとする。ただし、以下の説明ではＩＥＥＥ８０２．１１規格シリーズ準拠の無線ＬＡＮにおいて、ＲＤプロトコルを用いる場合について説明するが、これに限られない。すなわち、任意のシステムにおける、通信装置が確保した通信期間の一部を相手装置へ割り当てるプロトコルが用いられてもよい。

一方で、上述のように、ＨＭＤは定期的に位置姿勢情報をＰＣへ送信するが、ＰＣは、位置姿勢に応じてＣＧ画像を送信する場合もあれば、送信しない場合もある。したがって、ＨＭＤが、ＲＤプロトコルを用いて、自身が確保した通信期間の一部をＰＣへ常に割り当てるようにすると、ＰＣは、その割り当てられた通信期間の一部で信号を送信しない場合が生じ得る。このため、本実施形態では、ＨＭＤは、ＰＣから通信期間の要求があった場合には自信が確保した通信期間の一部を割り当てるが、ＰＣからそのような要求がなかった場合には、通信期間の一部を割り当てないようにする。すなわち、ＰＣは、ＨＭＤの位置と姿勢との少なくともいずれかに応じて、送信すべきＣＧ画像が存在するかを判定して、送信すべきＣＧ画像が存在する場合に通信期間の要求をＨＭＤへ送信する。そして、ＨＭＤは、そのような要求を受信した場合に、自身がＲＴＳ／ＣＴＳによって確保した通信期間の一部をＰＣに割り当てる。一方で、ＰＣは、送信すべきＣＧ画像が存在しない場合には、通信期間の要求を送信しないため、この場合は、ＨＭＤは通信期間の一部のＰＣへの割り当てを行わない。これにより、ＰＣが送信する情報が存在しないにもかかわらず、ＰＣへＨＭＤが確保した通信期間の一部が割り当てられて、無線リソースが浪費されるのを防ぐことができる。

なお、本実施形態に係る手法は、コンテンションベースのアクセスが生じる通信システムに適用可能である。すなわち、有線通信においても、コンテンションベースのアクセスが生じ、通信装置が通信期間を確保してから通信する場合には、以下の手法を適用することができる。それにより、有線通信に係る通信帯域などのリソースの有効利用を図ることが可能となる。

以下、無線ＭＲシステムのＨＭＤ及びＰＣの構成と、それらが実行する処理の流れについて詳細に説明する。

（無線ＭＲシステムの構成）
図１に、本実施形態に係る無線ＭＲシステムの構成例を示す。本無線ＭＲシステムは、利用者の頭部に装着され、撮像機能を有する表示装置である、ＨＭＤ１００と、画像処理装置であるＰＣ１２０とを含んで構成される。ＨＭＤ１００とＰＣ１２０とは、ＨＭＤ１００の無線Ｉ／Ｆ部１０９とＰＣ１２０の無線Ｉ／Ｆ部１２９によって、互いに無線接続される。なお、ここでの無線通信には、例えば８０２．１１ａｃや８０２．１１ａｄなどのＩＥＥＥ８０２．１１規格シリーズに準拠する無線ＬＡＮ規格などの任意の無線方式が用いられる。

（ＨＭＤの構成例）
ＨＭＤ１００は、例えば、撮像部１０１、画像情報検出部１０２、メモリ１０３、画像合成部１０４、表示部１０５、要求判定部１０６、通信期間確保部１０７、割当判定部１０８、無線Ｉ／Ｆ部１０９及びＣＧ取得部１１０を有する。

撮像部１０１は、ＨＭＤ装着者の左右の視線と略一致する周辺環境をステレオ撮像し、撮像画像および撮像時刻を示すフレーム番号を取得する。なお、撮像部１０１は、例えば、ステレオ画像を生成するための右目用及び左目用の２組の撮像素子と光学系及び後段の画像処理を行うためのＤＳＰなどによる信号処理回路とを含んで構成される撮像デバイスでありうる。メモリ１０３は、撮像部１０１が取得したステレオ撮像画像をフレーム番号とともに保持する。一方で、ＣＧ取得部１１０は、無線Ｉ／Ｆ部１０９を介して、ＰＣ１２０からＣＧ画像を受信する。

画像合成部１０４は、メモリ１０３が保持している撮像画像と、ＣＧ取得部１１０が受信したＣＧ画像とを重畳し、撮像画像にＣＧ画像を重畳したＭＲ画像を生成する。ＭＲ画像の生成処理では、撮像画像におけるＣＧ画像の位置を示す座標情報、および撮像時刻を示すフレーム番号に基づいて、ＣＧの位置ずれ・時間方向のずれがないように、ＣＧ画像の合成処理が行われる。なお、ＣＧ取得部１１０がＣＧ画像を受信していない場合は、画像合成部１０４は、メモリ１０３から出力された撮像画像を、そのまま表示部１０５に出力する。表示部１０５は、画像合成部１０４が生成したＭＲステレオ画像を左右の目それぞれに対応したディスプレイに表示する。表示デバイスとして、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイなどが使用される。

画像情報検出部１０２は、撮像部１０１によって撮像された画像における特徴点を検出し、検出に用いた撮像のフレーム番号とともに無線Ｉ／Ｆ部１０９に出力する。本実施形態では、画像情報が特徴点である場合について説明するが、撮像画像データや、データ量削減のために色情報や画像の端部などを間引いた撮像画像データ等であってもよい。また、画像情報は、ＰＣ１２０が、その情報に基づいてＨＭＤ１００の位置姿勢を検出できるものであればよい。特徴点は、ＨＭＤ装着者の位置姿勢を求めることが可能な指標であればよく、例えばそれぞれが異なる色を有する円形状のマーカーによって構成されうる。また、それぞれが異なる特徴量を有する座標で、ある程度の面積を有する四角形領域によって形成されるような四角形指標が、特徴点として用いられてもよい。特徴点検出は、例えば公知の特徴点検出技術であるＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）が用いられうる。また、マーカーを使用せずに特徴点検出を行う自然特徴点検出技術が用いられてもよい。自然特徴点検出技術では、特徴量の閾値を変更することで、検出する特徴点の数を任意に設定することが可能である。そのため、検出した特徴点の中から、無線帯域の使用率などの使用状況に応じて、例えばコントラスト比などのパラメータに基づいて、無線送信されるべき特徴点が選択されうる。なお、画像情報検出部１０２に代えて、ＨＭＤ１００の位置と姿勢との少なくともいずれかを特定できるセンサが用いられてもよく、この場合、画像情報ではなく、位置姿勢情報がＰＣ１２０へ伝送されてもよい。

無線Ｉ／Ｆ部１０９は、無線通信チャネルを使用して、ＰＣ１２０との無線通信を行う無線通信インタフェースである。無線Ｉ／Ｆ部１０９は、画像情報検出部１０２が検出した特徴点を示す情報にＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）などのエラー検出符号を付加した特徴点パケットを、ＰＣ１２０を宛先として無線信号として送信する。また、無線Ｉ／Ｆ部１０９は、通信期間確保部１０７の制御に基づいて通信期間を確保するためのＲＴＳ信号を送信する。さらに、無線Ｉ／Ｆ部１０９は、割当判定部１０８の制御の下で、確保した通信期間のうちの一部を、ＰＣ１２０に割り当てる期間割当信号を送信しうる。また、無線Ｉ／Ｆ部１０９は、ＰＣ１２０からの無線信号を受信する。例えば、無線Ｉ／Ｆ部１０９は、ＰＣ１２０から、ＣＴＳ信号、ＣＧ画像を含む信号、及び通信期間の割当要求信号などを受信する。

要求判定部１０６は、ＰＣ１２０が送信し、無線Ｉ／Ｆ部１０９が受信したパケット内に通信期間の割当要求信号が存在するか否かを判定し、また、割当要求信号が存在する場合は、その割当要求信号に含まれている内容を解析する。

通信期間確保部１０７は、少なくともＨＭＤ１００からＰＣ１２０へ信号を送信するための通信期間を確保するための、送信局をＨＭＤ１００のＭＡＣアドレスとし、受信局をＰＣ１２０のＭＡＣアドレスとしたＲＴＳ信号を、無線Ｉ／Ｆ部１０９に送信させる。また、通信期間確保部１０７は、要求判定部１０６による割当要求信号の解析結果に基づいて、送信するＲＴＳ信号のＤｕｒａｔｉｏｎを更新しうる。なお、無線Ｉ／Ｆ部１０９がＰＣ１２０からＣＴＳ信号を受信したことに応じて、通信期間が確保される。なお、本実施形態では、通信期間を、ＣＳＭＡ／ＣＡに基づいて確保する方式に関して説明するが、ＣＳＭＡ／ＣＡ以外の方式で通信期間が確保されてもよい。例えば、ＨＭＤ１００は、ＴＤＭＡ方式において、制御局にタイムスロット割当を要求することにより、通信期間を獲得してもよい。

割当判定部１０８は、要求判定部１０６が取得した通信期間の割当要求信号とＣＴＳ信号とに基づいて、ＰＣに対して、通信期間確保部１０７が確保した通信期間の一部を、ＰＣが信号を送信することが可能な通信期間として割り当てるかを判定する。そして、割当判定部１０８は、通信期間確保部１０７が確保した通信期間の一部をＰＣ１２０に割り当てると判定した場合に、期間割当信号を生成して、無線Ｉ／Ｆ部１０９によって送信させることにより、ＰＣ１２０に対して通信期間の割り当てを通知する。

要求判定部１０６、通信期間確保部１０７、割当判定部１０８の動作、及び、通信期間の割当要求信号及び期間割当信号の詳細については後述する。

（ＰＣの構成）
ＰＣ１２０は、画像情報取得部１２１、位置姿勢取得部１２２、視野範囲取得部１２３、仮想物体判定部１２４、ＣＧデータベース部１２５、ＣＧ描画部１２６、要求信号生成部１２７、期間割当信号解析部１２８、無線Ｉ／Ｆ部１２９を含んで構成される。

画像情報取得部１２１は、ＨＭＤ１００が送信した信号（パケット）から、ＨＭＤ１００において検出された特徴点の情報を取得する。位置姿勢取得部１２２は、画像情報取得部１２１が取得した特徴点に基づいて、ＨＭＤ装着者の位置姿勢を算出する。位置姿勢取得部１２２は、特徴点の移動をフレームにまたがって追跡することにより、装着者の位置及び姿勢の変化を算出し、現在のＨＭＤ装着者の位置と姿勢（との少なくともいずれか）を算出することができる。なお、ＨＭＤ１００から、位置姿勢情報が直接的に送信されてきている場合は、画像情報取得部１２１及び位置姿勢取得部１２２に代えて、受信信号に含まれる位置姿勢情報を解析する機能部が用いられてもよい。

視野範囲取得部１２３は、詳細については後述するが、ＨＭＤ１００の表示部１０５に表示される表示画像の領域と略一致する領域、すなわち、ＨＭＤ装着者の視野範囲の領域を算出し、仮想物体判定部１２４に出力する。視野範囲の領域は、マーカーを用いる場合にはマーカーを原点とした座標系によって定義されうる。なお、座標系の原点がマーカー上に設定されていなくてもよい。例えば、画像情報検出部１０２によって検出された任意の１つのマーカー座標、またはマーカー以外の自然特徴点が、原点として設定されてもよい。そのため、ＨＭＤ装着者の現在位置が、座標系の原点として定義されてもよい。

仮想物体判定部１２４は、詳細については後述するが、視野範囲取得部１２３が取得したＨＭＤ装着者の視野範囲内に、ＨＭＤ１００に表示させるべき仮想物体が存在するか否かを判定し、判定結果をＣＧ描画部１２６および要求信号生成部１２７に出力する。ＣＧデータベース部１２５は、仮想物体の形状・質感・色・大きさに関する情報を保持する。ＣＧ描画部１２６は、ＣＧデータベース部１２５が保存する仮想物体の情報から、位置姿勢取得部１２２が取得したＨＭＤ装着者の位置姿勢情報に基づいて、ＨＭＤ装着者が観察した場合のＣＧ画像を描画してＣＧ画像データを生成する。そして、ＣＧ描画部１２６が描画したＣＧ画像データは、無線信号として無線Ｉ／Ｆ部１２９からＨＭＤ１００へと送信される。

無線Ｉ／Ｆ部１２９は、無線通信チャネルを使用して、ＨＭＤ１００との無線通信を行う無線通信インタフェースである。無線Ｉ／Ｆ部１２９は、ＣＧ描画部１２６が描画・生成したＣＧ描画データにＣＲＣなどのエラー検出符号を付加したＣＧ描画パケットを、ＨＭＤ１００を宛先として無線信号として送信する。また、無線Ｉ／Ｆ部１２９は、ＨＭＤ１００が通信期間を確保するために送信したＲＴＳ信号に対する応答信号としてのＣＴＳ信号を送信する。また、無線Ｉ／Ｆ部１２９は、ＨＭＤ１００へ送信するＣＧ画像データが存在するなど、信号を送信する必要がある場合に、要求信号生成部１２７が生成した、通信期間を要求するための割当要求信号を送信しうる。

要求信号生成部１２７は、仮想物体判定部１２４が、ＨＭＤ装着者の視野内に仮想物体が存在すると判断した場合に、通信期間の割当要求信号を生成する。割当要求信号は、上述のように、無線Ｉ／Ｆ部１２９によって送信される。期間割当信号解析部１２８は、ＨＭＤ１００から受信したパケットに、ＰＣ１２０が信号を送信するための通信期間を割り当てる期間割当信号が含まれるかを判定する。また、期間割当信号解析部１２８は、ＨＭＤ１００から受信したパケットに期間割当信号が含まれていた場合に、期間割当信号に含まれる情報を解析しうる。要求信号生成部１２７、期間割当信号解析部１２８の動作、及び、通信期間の割当要求信号及び期間割当信号の詳細については後述する。なお、図１に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。機能部がソフトウェアとして実装される場合には、例えば、これらの機能を実行するためのプログラムが、ＨＭＤ１００又はＰＣ１０２が備える記憶部（ＲＯＭ、ＲＡＭ等のメモリ）に記憶される。そして、この場合、ＨＭＤ１００又はＰＣ１０２が有するＣＰＵが記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現される。

（処理の流れ）
次に、図２及び図３を用いて、ＨＭＤ１００及びＰＣ１２０のそれぞれの動作について説明する。図２は、ＨＭＤ１００が実行する処理の流れの例を示しており、図３は、ＰＣ１２０が実行する処理の流れの例を示している。以下の説明では、撮像画像のフレーム番号をＮとし、ＣＧ画像のフレーム番号をＭとする。なお、フレーム番号Ｍは、フレーム番号Ｎよりも過去のフレームであり、ＣＧ画像のフレーム番号は、ＣＧ描画を実行する際に用いた撮像画像のフレーム番号である。なお、ＨＭＤ１００及びＰＣ１２０は、相互に信号の送受信を行うため、その信号の送受信の流れに沿って、処理の流れを説明する。

まず、ＨＭＤ１００において、撮像部１０１が周辺環境の撮像処理を行い、撮像画像を取得する（Ｓ２０１）。なお、ＨＭＤ１００では、メモリ１０３が、フレーム番号Ｎとともにその取得した撮像画像を保存する。そして、画像情報検出部１０２が、撮像画像における特徴点を検出して、フレーム番号Ｎとともにその検出結果を保存する（Ｓ２０２）。ここで、特徴点情報は、例えば特徴点の座標、特徴量を含んで構成され、データ量は特徴点の座標情報および特徴量を表すのに必要なデータ量×特徴点の個数に対応する大きさとなる。また、特徴点の座標情報は、撮像画像の画素数を表現できるビット数があれば足り、特徴量は、例えばＦＡＳＴであれば、定義された最大の輝度差を分解能で表現できるビット数で表される。

その後、要求判定部１０６が、前のフレームにおいて期間要求信号を受信していたか否かに応じて、期間割当信号を送信するか否かを判定する（Ｓ２０３）。詳細については後述するが、ＨＭＤ１００がＰＣ１２０に期間割当信号を送信しない条件は、例えば、ＨＭＤ装着者の視野内にＣＧ画像が存在しないこと、又は、ＨＭＤ１００が撮像を行ってからＭＲ画像が表示されるまでのタイムラグが大きいことでありうる。

そして、期間割当信号を送信しない場合（Ｓ２０３でＮＯ）、ＣＧ画像の伝送が行われないため、無線リソースが使用されない期間が生じうる。このため、この場合、無線Ｉ／Ｆ部１０９は、例えば、この期間を有効利用するために、通信品質を向上させるためのテスト信号などの追加データを生成する（Ｓ２０４）。例えば、無線Ｉ／Ｆ部１０９は、ミリ波無線システムなどの指向性通信を行っている場合には、指向性アンテナの指向特性を調整するための既知信号を生成し、送信しうる。また、無線Ｉ／Ｆ部１０９は、ＭＩＭＯ（Ｍｕｌｔｉ−Ｉｎｐｕｔ Ｍｕｌｔｉ−Ｏｕｔｐｕｔ）通信を行っている場合には、伝搬路推定を行うためのトレーニング信号を生成し、送信することも可能である。また、画像情報検出部１０２が検出した特徴点のうちの一部の特徴点を送信すべき特徴点として選択している場合には、無線Ｉ／Ｆ部１０９は、そこで選択されなかった特徴点の中から任意の特徴点に関する情報を追加データとして生成して送信しうる。また、画像情報として撮像画像を送信している場合では、無線Ｉ／Ｆ部１０９は、間引いた色情報や画像領域など、画質を向上させるデータを追加データとして生成して送信してもよい。無線Ｉ／Ｆ部１０９がこれらの追加データを送信することで、ＰＣ１２０における位置姿勢検出の精度が上がるため、無線ＭＲシステムをより安定に動作させることが可能になる。

一方で、期間割当信号を送信する場合（Ｓ２０３でＹＥＳ）は、ＰＣ１２０によってＣＧ画像の伝送が行われることとなるため、追加データの生成は行われない。その後、追加データが生成されたか否かによらず、通信期間確保部１０７の制御によって、無線Ｉ／Ｆ部１０９がＲＴＳを送信する（Ｓ２０５）。なお、通信期間確保部１０７は、ＲＴＳにおいて、送信局をＨＭＤ１００のＭＡＣアドレスに設定すると共に、受信局をＰＣ１２０のＭＡＣアドレスに設定し、Ｄｕｒａｔｉｏｎを、後述のステップで決定した期間に設定する。例えば、通信期間確保部１０７は、ＨＭＤ１００からＰＣ１２０への特徴点の送信のための期間と、送信されるべきＣＧ画像が存在する場合には、ＰＣ１２０からＨＭＤ１００へのＣＧ画像の送信のための期間との合計の期間を、Ｄｕｒａｔｉｏｎとして設定する。

図３に移り、ＰＣ１２０において、無線Ｉ／Ｆ部１２９は、ＲＴＳ信号を受信し（Ｓ３０１）、そのＲＴＳ信号への応答信号としてＣＴＳ信号を生成して、送信する（Ｓ３０２）。

図２に戻り、ＨＭＤ１００において、通信期間確保部１０７は、無線Ｉ／Ｆ部１０９を介してＣＴＳ信号を受信し（Ｓ２０６）、これにより、ＨＭＤ１００が送信権を有する通信期間の確保を完了する。

その後、無線Ｉ／Ｆ部１０９が、フレーム番号を付与した特徴点の情報を含むパケットを生成して、ＰＣ１２０へ送信する（Ｓ２０７）。また、このとき、前のフレームにおけるＳ２１５及びＳ２１６の判定（通信期間の割当要求信号の有無および受信タイミングに関する判定）に基づいて、割当判定部１０８は、送信対象のパケットに期間割当信号を付与するかを判定する。期間割当信号の付与は、例えば、無線パケットのペイロードデータ部を使用する方法により、又は、無線パケットのヘッダ部のリサーブビットを使用する方法により、行われうる。他にも、ＲＤＧを含めたＰＰＤＵ（ＰＬＣＰ Ｐｒｏｔｏｃｏｌ Ｄａｔａ Ｕｎｉｔ）によって期間が割り当てられることが通知されてもよい。また、ＣＳＭＡ／ＣＡに基づいてＨＭＤ１００が送信局として確保した通信期間の一部を、ＰＣ１２０が送信局として使用することをＨＭＤ１００とＰＣ１２０が互いに認識できる方法であれば、どのような方式が用いられてもよい。

図３に移り、ＨＭＤ１００がパケットを送信すると（Ｓ２０７）、ＰＣ１２０において、無線Ｉ／Ｆ部１２９は、その（特徴点の情報を含む）パケットを受信する（Ｓ３０３）。そして、期間割当信号解析部１２８は、例えば受信パケットにおいて、期間割当信号を受信したかを判定する（Ｓ３０４）。そして、期間割当信号解析部１２８が期間割当信号を受信したと判定した場合（Ｓ３０４でＹＥＳ）は、無線Ｉ／Ｆ部１２９は、ＣＧ画像情報を含む無線パケットを生成する（Ｓ３０５）。一方、期間割当信号解析部１２８が期間割当信号を受信しなかったと判定した場合（Ｓ３０４でＮＯ）は、無線パケットの生成を行わない。

なお、期間割当信号が受信されない場合とは、例えば、ＨＭＤ１００の視野範囲内に仮想物体が存在しない場合と、ＨＭＤ１００における撮像画像の取得時刻から割当要求信号の受信時刻までの時間差が所定値より大きい場合との少なくともいずれかでありうる。撮像画像を取得してからＭＲ画像を表示するまでの時間差が大きい場合、ＭＲシステムに対するユーザの没入感を損ねることがありうる。このため、本実施形態に係るＭＲシステムは、時間差を一定の範囲以内に収めるように動作しうる。例えば、ＨＭＤ１００が撮像画像を取得してからＰＣ１２０がＨＭＤ装着者の位置姿勢算出を完了するまでの時間を指標として遅延時間が判定され、遅延時間が大きい場合にはＣＧ画像の生成と無線通信とが省略されうる。これにより、画像の撮像とＭＲ画像の表示との間の時間差を所定長の範囲内に収めることができ、ユーザの没入感を損ねないＭＲシステムを実現することができる。

その後、画像情報取得部１２１が、ＨＭＤ１００からの受信データにおける特徴点情報を取得する（Ｓ３０６）。そして、位置姿勢取得部１２２が、特徴点に基づいて、ＨＭＤ１００の装着者の位置と姿勢との情報を検出し、視野範囲取得部１２３がＨＭＤ１００の視野範囲を取得する（Ｓ３０７）。なお、例えば、ＰＣ１２０は、ＨＭＤ１００の位置に応じて、その位置から所定範囲内に仮想物体が存在する場合に、その仮想物体に係るＣＧ画像の情報をＨＭＤ１００に送信し得る。この場合、ＨＭＤ１００は、自身の周囲に存在するＣＧ画像を取得した後に、自身の姿勢に応じて、どのＣＧ画像を表示させるかなどの判定を行い得る。また、ＰＣ１２０は、例えばＨＭＤ１００が向いている方角に応じたＣＧ画像をＨＭＤ１００へ送信し、ＨＭＤ１００は、自身の位置に基づいて、具体的に表示するＣＧ画像を特定してもよい。すなわち、ＰＣ１２０は、位置と姿勢との少なくともいずれかを特定して、送信対象となる仮想物体を特定できればよく、必ずしも視野範囲まで特定できなくてもよい。

その後、仮想物体判定部１２４は、仮想物体の中心座標を算出し（Ｓ３０８）、ＨＭＤ１００の装着者の視野範囲内に仮想物体が存在するかを判定する（Ｓ３０９）。仮想物体判定部１２４は、仮想物体が存在すると判定した場合（Ｓ３０９でＹＥＳ）は、続いて仮想物体のサイズを推定する（Ｓ３１０）。

ここで、ＨＭＤ１００の装着者の視野範囲内に仮想物体が存在するかを判定する方法と、仮想物体のサイズを推定する方法について、図４及び図５を用いて説明する。図４は、ＨＭＤ装着者の視野範囲、撮像画像およびＣＧ画像の対応関係を４つの状態について示す図である。また、図５は、各状態における、ＨＭＤ装着者の座標情報、視線ベクトル情報、仮想物体の中心座標情報、ＨＭＤ装着者と仮想物体との直線距離を示す。

図４の（ＡＡ）、（ＢＡ）、（ＣＡ）及び（ＤＡ）は、状態Ａ〜Ｄのそれぞれについての、ＨＭＤ装着者と、その視野範囲と、仮想物体と、の位置関係を示している。状態Ａは、視野範囲内の比較的遠い位置に仮想物体が存在する状態である。状態Ｂは、視野範囲内の比較的近い位置に仮想物体の中心および仮想物体が存在する状態である。状態Ｃは、視野範囲に比較的近い位置に仮想物体が存在するが、その仮想物体の中心は視野範囲外に存在する状態である。状態Ｄは、ＨＭＤ装着者の視野外に仮想物体が存在する状態である。図４の（ＡＡ）、（ＢＡ）、（ＣＡ）及び（ＤＡ）において、４００、４０５、４１０、４１５は各状態におけるＨＭＤ装着者を示し、４０１、４０６、４１１、４１６は各状態における視線ベクトルを示す。また、４０２、４０７、４１２、４１７は各状態におけるマーカーを、４０３、４０８、４１３、４１８は各状態における視野範囲を、４０４、４０９、４１４、４１９は各状態における座標系の原点を、それぞれ示す。ＨＭＤ装着者の視野範囲は、例えば図４（ＡＡ）に着目すると、ＨＭＤ装着者４００の座標、視線ベクトル４０１、及び視野角度により決定することができる。視線ベクトルは、ＨＭＤ装着者の正面方向として定義され、視線ベクトルを中心として水平方向に一定の角度広がりをもった領域が視野範囲として定義される。視野角度は、水平方向における視野の角度範囲を定義するもので、撮像カメラや表示デバイスの性能およびシステム要件により決定されるものであるが、ここでは例として±４５度の場合について図示している。

図４の（ＡＢ）、（ＢＢ）、（ＣＢ）及び（ＤＢ）は、状態Ａ〜Ｄのそれぞれにおいて、ＨＭＤ装着者が観察している画像を示している。また、図４の（ＡＣ）、（ＢＣ）、（ＣＣ）及び（ＤＣ）は、状態Ａ〜Ｄのそれぞれにおいて、描画されるＣＧ画像を示す。ＣＧを描画する位置は、マーカーによって決定される。本実施形態では、マーカーの真上にＣＧを描画する場合について説明するが、マーカーの真上にＣＧを描画するのではなく、撮像画像内の任意の座標とＣＧ描画座標の相対位置を予め算出することで、任意の座標にＣＧ描画することも可能である。

状態Ａ（図４の（ＡＡ））では、図５に示す通り、ＨＭＤ装着者４００の座標は（１００、５０、５０）である。したがって、呼の座標を始点とした、ＨＭＤ装着者の視線ベクトル（０．０、１．０、０．０）から、視野角度である±４５度の範囲４０３が視野範囲として特定される。この場合、ＣＧ描画座標であるマーカー座標（１０、４００、５０）が、範囲４０３の中に存在する座標となるため、ユーザの視野内に仮想物体が存在していると判定されうる。また、状態Ｃ（図４の（ＣＡ））では、仮想物体の中心座標が視野範囲内に存在しない場合である。このような場合であっても、仮想物体の一部が視野範囲内に存在する場合がある。すなわち、仮想物体の中心座標が視野範囲内に存在しない場合には、視野範囲の端部から仮想物体の中心までの距離をＲ、仮想物体の横方向の長さをＬとして、Ｒ＜Ｌ／２を満たしている場合、仮想物体が視野範囲内に存在すると判断することができる。

視野内における仮想物体の大きさおよびＣＧ物体伝送における伝送データ量は、ＨＭＤ装着者とＣＧ描画座標との距離に基づいて推定されうる。すなわち、仮想物体の大きさは、ＨＭＤ装着者とＣＧ描画座標との間の距離と反比例関係にあるため、距離に対するＣＧ画像の見た目の大きさを予め取得することにより、任意の距離におけるＣＧ画像の大きさ及び伝送データ量が推定されうる。例えば、ＨＭＤ装着者と仮想物体との間の距離を示す値が２５のときに仮想物体の大きさが１３１０キロピクセルとなるように予め設定しておいた場合、距離５０のときには仮想物体の大きさは３３０キロピクセルと推定されうる。また、この場合、距離３６０のときには、仮想物体の大きさは２５キロピクセルと推定されうる。また、仮想物体の中心座標が視野範囲内に存在しない場合も、視野における仮想物体の大きさを推定することができる。例えば、ＨＭＤ装着者と仮想物体との間の距離に基づいて仮想物体の大きさを算出し、視野範囲の端部から仮想物体の中心までの距離と、仮想物体の横方向の長さとに基づいて、視野における仮想物体の大きさが推定されうる。仮想物体の画素数×色階調度×フレームレートによって伝送データ量を算出することができ、色階調度とフレームレートとが一定とすると、画素数を精度良く推定することで、ＣＧ画像伝送データ量を精度良く推定することができる。

図３に戻り、無線Ｉ／Ｆ部１２９は、Ｓ３１０で仮想物体判定部１２４によって推定された仮想物体のサイズ情報をパケットに付与した通信期間の割当要求信号を生成する。割当要求信号は、例えば無線パケットのペイロードデータ部を使用して、又は、無線パケットのヘッダ部のリサーブビットを使用して送信されることができる。なお、仮想物体のサイズ情報は、ＰＣ１２０が推定した仮想物体の大きさをＨＭＤ１００が認識できるデータであれば足り、サイズそのものの情報ではなく、サイズに関する情報であれば足りる。

その後、無線Ｉ／Ｆ部１２９は、送信データの有無を判定する（Ｓ３１２）。送信データとは、ＣＧ画像データまたは通信期間の割当要求信号である。そのような送信データが存在しない場合（Ｓ３１２でＮＯ）、無線Ｉ／Ｆ部１２９は、ＡＣＫ信号のみをＨＭＤ１００に送信する。送信データが存在する場合（Ｓ３１２でＹＥＳ）は、無線Ｉ／Ｆ部１２９は、ＡＣＫ信号に送信データを付与してＨＭＤ１００に送信する（Ｓ３１３）。

図２に戻り、ＨＭＤ１００において、無線Ｉ／Ｆ部１０９は、ＰＣ１２０から無線信号を受信した際に、ＣＧ画像および割当要求信号の少なくともいずれかなどの、データ信号が含まれているかを判定する（Ｓ２０８）。受信した無線信号にデータ信号が含まれていない場合（Ｓ２０８でＮＯ）、すなわち受信信号がＡＣＫのみの信号である場合、画像合成部１０４が、メモリ１０３から出力されたフレーム番号Ｍの撮像画像をそのまま表示部１０５に出力する。

一方、受信した無線信号にデータ信号が含まれている場合（Ｓ２０８でＹＥＳ）、無線Ｉ／Ｆ部１０９が、受信データを復調し、ＣＧ画像データが存在するかを確認する（Ｓ２１０）。ＣＧ画像データが存在しない場合（Ｓ２１０でＮＯ）は、画像合成部１０４がメモリ１０３から出力されたフレーム番号Ｍの撮像画像をそのまま表示部１０５に出力する（Ｓ２１３）。一方、ＣＧ画像データが存在する場合（Ｓ２１０でＹＥＳ）は、画像合成部１０４がメモリ１０３から出力されたフレーム番号Ｍの撮像画像に、ＣＧ画像データ内の同じくフレーム番号ＭのＣＧ画像を合成してＭＲ画像を生成する（Ｓ２１１）。そして、画像合成部１０４は、生成したＭＲ画像を表示部１０５に出力し、表示部１０５は、ＭＲ画像をディスプレイに表示する（Ｓ２１２）。

その後、要求判定部１０６が、Ｓ２０８で受信した受信データに割当要求信号が含まれているかを判定する（Ｓ２１４）。割当要求信号が存在する場合（Ｓ２１４でＹＥＳ）は、要求判定部１０６が撮像画像を取得した時刻と、その撮像画像（フレーム）に関連する割当要求信号を受信した時刻との時間差を遅延時間として算出し、遅延時間が所定長を超えるかを判定する（Ｓ２１５）。遅延時間が所定値を超えて大きい場合（Ｓ２１５でＹＥＳ）は、割当判定部１０８は、ＣＧ画像描画及び無線伝送に要する時間を削減するために、通信期間の期間割当信号を生成しないと判定する。期間割当信号の生成及び送信が行われないことにより、ＰＣ１２０がＣＧ画像描画を実行しないため、少なくともそのフレーム分の処理がスキップされることにより、その次のフレーム以降の処理における遅延時間を削減することが可能になる。遅延時間が所定値以下である場合には（Ｓ２１５でＮＯ）、通信期間確保部１０７は、通信期間の割当要求信号に含まれている仮想物体のサイズに基づいて、Ｄｕｒａｔｉｏｎ期間を更新したＲＴＳ信号を生成する。

以上のように、本実施形態に係る通信装置は、相手装置において送信すべきデータが生じたことを相手装置からの期間要求信号を受信することにより知ることができ、期間要求信号を受信しない限りは通信期間の一部を割り当てないようにする。これにより、通信装置が、実際には相手装置から信号が送信されないにもかかわらず、相手装置に通信期間を割り当てるのを防ぐことができる。また、割り当てられなかった通信期間の一部を、さらなる詳細なデータの送信や、例えば指向特性が可変の指向性アンテナの指向特性を調整するための信号の送信など、様々な用途に用いることが可能となる。したがって、周波数資源などの無線リソースを効率的に用いることが可能となる。

また、本実施形態では、特徴点データの伝送と、場合によってはＣＧ画像の伝送とを行う無線ＭＲシステムにおいて、ＨＭＤ装着者の位置姿勢、仮想物体の位置、及びＨＭＤ装着者と仮想物体との位置関係に基づいて、ＨＭＤが確保する通信期間を決定する。例えば、ＨＭＤは、例えばＰＣが送信するＣＧ画像データなどがない場合には、ＨＭＤが位置姿勢を特定するための情報を送信するための通信期間のみを確保し、ＰＣがＣＧ画像データを送信するための期間を割り当てない。これにより、ＰＣから送信されるべきＣＧ画像データの有無の時間的変動がある場合であっても、無線リソースを効率的に用いることが可能となる。また、期間要求信号に、ＣＧ画像に関するデータサイズの情報を含めることにより、ＣＧ描画のデータサイズの時間的変動に応じて、適切な通信期間を確保することが可能となる。

＜＜実施形態２＞＞
実施形態１では、ＨＭＤ装着者と仮想物体との位置関係に基づいて、ＨＭＤが通信期間を確保して、必要に応じて、ＰＣへその一部を割り当てる例について説明した。本実施形態では、ＨＭＤ装着者と仮想物体との位置関係に基づいて、通信期間を確保する通信装置を、ＨＭＤとＰＣとの間で適応的に変更する例について説明する。

（無線ＭＲシステムの構成）
図６は、本実施形態に係る無線ＭＲシステムの構成例を示す図である。ＨＭＤ６００は、例えば、撮像部６０１、画像情報検出部６０２、メモリ６０３、合成部６０４、表示部６０５、通信期間確保部６０６、期間割当信号解析部６０７、無線Ｉ／Ｆ部６０８、及びＣＧ取得部６０９を有する。ＰＣ６２０は、画像情報取得部６２１、位置姿勢取得部６２２、視野範囲取得部６２３、仮想物体判定部６２４、ＣＧデータベース部６２５、ＣＧ描画部６２６、通信期間確保部６２７、割当制御部６２８、及び無線Ｉ／Ｆ部６２９を有する。ＨＭＤ６００は、実施形態１のＨＭＤ１００と比して、ＰＣ６２０が送信した期間割当信号を解析する期間割当信号解析部６０７を含む点で異なる。一方、ＰＣ６２０は、実施形態１のＰＣ１００と比して、さらに通信期間確保部６２７と割当制御部６２８とを有する。通信期間確保部６２７は、ＨＭＤ装着者と仮想物体との位置関係に基づいて、確保すべき通信期間を特定する。割当制御部６２８は、ＰＣ６２０が送信局として確保した通信期間の一部を、ＨＭＤ６００によるＡＣＫ信号及びデータ信号の送信のために割り当てるための制御を行う。割当制御部６２８は、例えば、上述のＲＤプロトコルによって、ＰＣ６２０が確保した通信期間の一部を、ＨＭＤ６００へと割り当てる。なお、各機能部は、実施形態１での説明と同様に、ハードウェア又はソフトウェアとして装置に実装される。

（処理の流れ）
次に、図７及び図８を用いて、本実施形態に係るＨＭＤ１００及びＰＣ１２０のそれぞれの動作について説明する。図７は、ＨＭＤ６００が実行する処理の流れの例を示しており、図８は、ＰＣ６２０が実行する処理の流れの例を示している。

まず、ＨＭＤ６００の動作について説明する。まず、撮像部６０１が周辺環境の撮像処理を行い、撮像画像を取得する（Ｓ７０１）。なお、撮像画像は、メモリ６０３に、フレーム番号Ｎとともに保存される。そして、画像情報検出部６０２は、撮像画像における特徴点を検出し（Ｓ７０２）、フレーム番号Ｎとともに保存する。その後、無線Ｉ／Ｆ部６０８は、ＰＣ６２０からＲＴＳ信号を指定の期間内に受信したかを判定する（Ｓ７０３）。

ここで、ＰＣ６２０は、前のフレームでの後述のＳ８０５における、送信されるべきＣＧ描画データが存在するかの判定に従って、通信期間を確保するか否かを決定する。すなわち、ＰＣ６２０は、送信すべきＣＧ描画データが存在する場合には、通信期間を確保するためにＲＴＳ信号を送信し、一方で、そのようなデータが存在しない場合には、ＲＴＳ信号を送信しない。このため、ＨＭＤ６００は、ＲＴＳ信号を受信したか否かに基づいて、ＰＣ６２０によって通信期間が確保されるかを判定することができる。ここで、ＨＭＤ６００には定常的に送信すべきデータが存在するため、ＰＣ６２０は、通信期間を確保する際には、ＨＭＤ６００に対して通信期間の一部を割り当てる。一方で、ＨＭＤ６００は、ＰＣ６２０が通信期間を確保しない場合には、自身がＲＴＳを送信することによって、通信期間を確保する。なお、ＨＭＤ６００によるＲＴＳ信号の待ち時間は、システム要件やフレームレートに応じて決定されうる。例えば、待ち時間は、１フレーム前のＣＧ画像データを受信してから１フレーム時間＋任意の時間などのように設定されうる。任意の時間を短く設定すると、ＨＭＤ６００は、早く通信期間を確保することができる。また任意の時間を長く設定すると、ＰＣ６２０におけるＣＧ描画処理による遅延に対して、マージンを持つことが可能となる。

無線Ｉ／Ｆ部６０８は、ＲＴＳ信号を受信した場合（Ｓ７０３でＹＥＳ）、受信したＲＴＳ信号に対する応答信号としてＣＴＳ信号を送信する（Ｓ７０４）。そして、無線Ｉ／Ｆ部６０８は、後述のＳ８１５においてＰＣ６２０が送信したＣＧ画像データを受信して（Ｓ７０５）、合成部６０４に出力する。合成部６０４は、メモリ６０３から出力されたフレーム番号Ｍの撮像画像に、受信したフレーム番号ＭのＣＧ画像を合成して、ＭＲ画像を生成し（Ｓ７０６）、ＭＲ画像を表示部６０５に出力する。そして、表示部６０５は、ＭＲ画像をディスプレイに表示する（Ｓ７０７）。その後、無線Ｉ／Ｆ部６０８は、ＰＣ６２０が確保した通信期間のうちの割り当てられた一部において、ＰＣ６２０にフレーム番号Ｎの特徴点データを送信する（Ｓ７０８）。

一方、ＲＴＳ信号を受信しなかった場合（Ｓ７０３でＮＯ）、フレームＭにおいてＣＧ画像が存在しないこととなるため、合成部６０４は、メモリ６０３から出力されたフレーム番号Ｍの撮像画像をそのまま表示部６０５に出力する。そして、表示部６０５は、ディスプレイに撮像画像を表示する（Ｓ７０９）。その後、無線Ｉ／Ｆ部６０８は、Ｓ７０２で検出した特徴点をＰＣ６２０に送信するための通信期間を確保するために、ＲＴＳを送信する（Ｓ７１０）。ここで送信されるＲＴＳでは、送信局がＨＭＤ６００のＭＡＣアドレスに、受信局がＰＣ６２０のＭＡＣアドレスに設定され、Ｄｕｒａｔｉｏｎが特徴点送信が可能な期間に設定される。その後、無線Ｉ／Ｆ部６０８は、ＰＣ６２０により送信されたＣＴＳ信号を受信して（Ｓ７１１）、通信期間を確保する。その後、無線Ｉ／Ｆ部６０８は、自身が確保した通信期間において、ＰＣ６２０にフレーム番号Ｎの特徴点データを送信する（Ｓ７０８）。

続いて、ＰＣ６２０の動作について説明する。まず、無線Ｉ／Ｆ部６２９は、ＨＭＤ６００から送信された無線信号を受信する（Ｓ８０１）。ここで、後述のＳ８１２においてＨＭＤ６００から特徴点情報を取得した時刻と、ＰＣ６２０がＣＧ描画を完了した時刻の差を遅延量として評価するために、無線Ｉ／Ｆ部６２９がＨＭＤ６００から無線信号を受信した時刻が記録される。そして、画像情報取得部６２１は、受信信号に含まれる特徴点情報を取得して、位置姿勢取得部６２２に出力する（Ｓ８０２）。位置姿勢取得部６２２は、特徴点に基づいて、ＨＭＤ装着者の位置姿勢を特定して、視野範囲取得部６２３は視野範囲を特定する（Ｓ８０３）。そして、仮想物体判定部６２４は、仮想物体の描画座標を取得し（Ｓ８０４）、フレーム番号ＮにおいてＨＭＤ装着者の視野範囲に仮想物体が存在するかを判定する（Ｓ８０５）。

仮想物体の描画座標がＨＭＤ装着者の視野範囲内に存在する場合（Ｓ８０５でＹＥＳ）、仮想物体判定部６２４は、仮想物体の大きさを算出し、ＣＧ描画部６２６および通信期間確保部６２７に出力する（Ｓ８０６）。そして、通信期間確保部６２７は、通信期間を確保するためにＲＴＳ信号を生成する（Ｓ８０７）。ここで、ＲＴＳ信号では、送信局がＰＣ６２０のＭＡＣアドレスに、受信局がＨＭＤ６００のＭＡＣアドレスに設定され、Ｄｕｒａｔｉｏｎは仮想物体の大きさに基づいて推定したデータ量とＨＭＤ６００からの特徴点情報の両方を送信可能な期間に設定される。一方、仮想物体の描画座標がＨＭＤ装着者の視野範囲内に存在しない場合（Ｓ８０５でＮＯ）は、Ｓ８０６及びＳ８０７の処理は行われない。

その後、ＣＧ描画部６２６は、フレーム番号Ｍに関して、仮想物体の描画座標が視野範囲内にあったと判定されていたかを判定する（Ｓ８０８）ことにより、ＣＧ画像送信用のＲＴＳ信号が生成されているかを判定する。ＲＴＳ信号が生成されていない場合（Ｓ８０８でＮＯ）は、フレームＭにおいて視野範囲内に仮想物体が存在せず、ＰＣ６２０からＨＭＤ６００へのデータの送信は行われない。このため、無線Ｉ／Ｆ部６２９は、ＨＭＤ６００からＲＴＳ信号を受信するのを待ち受け（Ｓ８１０）、ＲＴＳ信号を受信すると、ＣＴＳ信号を送信する（Ｓ８１１）。その後、ＰＣ６２０は、ＨＭＤ６００から、ＨＭＤ６００が確保した通信期間において、フレームＮ＋１の特徴点データを含んだ無線信号を受信する。

一方、ＲＴＳ信号が生成されている場合（Ｓ８０８でＹＥＳ）は、ＣＧ描画部６２６がＣＧ画像を描画し（Ｓ８０９）、無線Ｉ／Ｆ部６２９にＣＧ描画データが出力される。その後、ＣＧ描画部６２６は、ＣＧ描画を完了した時刻とＳ８０１でＨＭＤ６００から無線信号を受信した時刻との時間差が、所定長を超えて大きいかを判定し（Ｓ８１２）、遅延量を評価する。遅延時間が所定長を超えて大きい場合（Ｓ８１２でＹＥＳ）は、ユーザの没入感を損ねる可能性があるので、ＰＣ６２０によるＣＧ画像の送信と、ＨＭＤ６００による画像の合成処理を行わずに、遅延時間を短くする。したがって、この場合、無線Ｉ／Ｆ部６２９は、ＨＭＤ６００からＲＴＳ信号を待ち受け（Ｓ８１６）、ＲＴＳ信号を受信したことに応じて、ＨＭＤ６００に対してＣＴＳ信号を送信する（Ｓ８１７）。その後、無線Ｉ／Ｆ部６２９は、フレームＮ＋１の特徴点データを含んだ無線信号を、ＨＭＤ６００から受信する。

一方、遅延時間が所定長以下である場合（Ｓ８１２でＮＯ）は、無線Ｉ／Ｆ部６２９は、フレーム番号ＭのＣＧ画像送信用に生成したＲＴＳ信号を送信する（Ｓ８１３）。そして、無線Ｉ／Ｆ部６２９は、ＣＴＳ信号を受信し（Ｓ８１４）、通信期間を確保できたことを認識した後、ＨＭＤ６００へ、期間割当信号を付与したＣＧ画像パケットを送信する（Ｓ８１５）。

以上のように、本実施形態に係るＨＭＤ６００は、ＰＣ６２０からＲＴＳを受信しない限りは、ＣＧ画像がないことを認識することができる。一方で、ＨＭＤ６００は、ＰＣ６２０からＲＴＳを受信すると、ＰＣ６２０が確保した通信期間においてＣＧ画像を受信すると共に、自身が検出した特徴点の情報を送信することができる。別の視点から述べれば、ＨＭＤ装着者の位置姿勢、仮想物体の位置、及び、ＨＭＤ装着者と仮想物体との位置関係に基づいて、通信期間を確保する無線局をＨＭＤとＰＣの間で適応に変更することができる。これにより、不必要にＰＣ６２０による信号伝送のために無線リソースを確保することがなくなるため、無線リソースを有効活用することが可能となる。

ここで、特徴点のデータ量は（概ね）一定であり、ＣＧ画像データ量はその画像の大きさに基づいて時間的に大きく変動する。これに対して、本実施形態では、ＣＧ画像データを有する側の通信装置であるＰＣが、通信期間を決定して通信期間を確保するため、より精度良く通信期間を設定することが可能となる。したがって、無線リソースを有効活用することが可能となる。

なお、上述の各手法は、無線ＭＲシステムではなくとも、動的に送信すべきリソースの量が変動するシステムに適用されることで、通信帯域などのリソースの有効活用を図ることができる。特に、通信装置と相手装置との間の通信において、一方が定常的にデータを送信し、他方においてそのデータに応答して送信すべきデータが生じたり又は生じなかったりする（又はデータサイズが増減する）システムにおいて、本手法は有用である。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、６００：ＨＭＤ、１２０、６２０：ＰＣ、１０６；要求判定部、１０７、６０６、６２７：通信期間確保部、１０８、６２８：割当判定部、１０９、１２９：無線Ｉ／Ｆ部、１２７：要求信号生成部、１２８、６０７：期間割当信号解析部

Claims (22)

1. 通信装置であって、
   前記通信装置が相手装置へ信号を送信することができる通信期間を確保する確保手段と、
   前記相手装置から要求があった場合には前記相手装置が前記通信装置へ信号を送信するのに前記通信期間の一部を割り当て、前記相手装置から前記要求がなかった場合には前記相手装置が前記通信装置へ信号を送信するための期間を割り当てないと判定する判定手段と、
   前記判定手段が前記通信期間の一部を前記相手装置が前記通信装置へ信号を送信するのに割り当てると判定した場合に、割り当てられる前記通信期間の一部に関する情報を前記相手装置へ通知する通知手段と、
   を有することを特徴とする通信装置。
2. 前記通信装置は、前記通信期間において前記相手装置へ第１のデータを送信し、
   前記相手装置は、当該第１のデータに基づく第２のデータを送信すべき場合に、前記第２のデータを送信するための前記要求を前記通信装置へ送信し、
   前記判定手段は、前記相手装置から前記要求があった場合であっても、前記通信装置が前記第１のデータを取得するための処理を行ってから当該第１のデータに関する前記第２のデータの送信のための前記要求を受信するまでの時間の長さが所定長を超えて大きい場合は、前記相手装置が前記通信装置へ当該信号を送信するのに、前記通信期間の一部を割り当てないと判定する、
   ことを特徴とする請求項１に記載の通信装置。
3. 前記第１のデータは、前記通信装置の位置と姿勢との少なくともいずれかに関するデータであり、
   前記第１のデータを取得するための処理は、画像の撮像である、
   ことを特徴とする請求項２に記載の通信装置。
4. 前記要求には、前記相手装置が前記通信装置へ送信すべきデータのサイズに関する情報が含まれる、
   ことを特徴とする請求項１から３のいずれか１項に記載の通信装置。
5. 前記相手装置が前記通信装置へ送信すべきデータのサイズに応じて、前記相手装置へ割り当てる前記通信期間の一部の長さを特定する特定手段をさらに有する、
   ことを特徴とする請求項４に記載の通信装置。
6. 前記確保手段は、前記特定手段が特定した前記通信期間の一部の長さに応じた長さの前記通信期間を確保する、
   ことを特徴とする請求項５に記載の通信装置。
7. 撮像手段と、
   前記撮像手段によって撮像された第１の画像と合成すべき第２の画像を、前記相手装置から、前記通信期間の一部において受信する受信手段と、
   前記第１の画像と前記第２の画像とを合成して表示する表示手段と、
   をさらに有することを特徴とする請求項１から６のいずれか１項に記載の通信装置。
8. 前記通知手段は、前記通信期間において、前記通信期間の一部に関する情報を前記相手装置へ通知する、
   ことを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. 指向特性が可変のアンテナと、
   前記判定手段が前記通信期間の一部を前記相手装置が前記通信装置へ信号を送信するのに割り当てないと判定した場合に、前記通信期間の当該一部を用いて、前記アンテナにおける指向特性を調整するための信号を送信する送信手段と、
   をさらに有することを特徴とする請求項１から８のいずれか１項に記載の通信装置。
10. 通信装置であって、
    相手装置からデータを受信する受信手段と、
    受信した前記データに応じて、前記相手装置へ送信すべき情報があるかを判定する判定手段と、
    前記相手装置へ送信すべき情報がある場合には、前記相手装置へ、前記相手装置が前記通信装置へ信号を送信することができる通信期間のうちの一部を要求する信号を送信し、前記相手装置へ送信すべき情報がない場合には、前記通信期間のうちの一部を要求する信号を送信しない、送信手段と、
    を有し、
    前記送信手段は、前記通信期間のうちの一部を要求する信号を送信した場合であって、前記相手装置によって前記通信期間の一部が割り当てられた場合、当該割り当てられた通信期間を用いて、前記相手装置へ送信すべき情報を送信する、
    ことを特徴とする通信装置。
11. 前記相手装置は、当該相手装置が撮像した第１の画像と、前記通信装置が送信した第２の画像とを合成して表示する機能を有し、
    前記データは、当該相手装置の位置と姿勢との少なくともいずれかに関するデータであり、
    前記相手装置へ送信すべき情報は前記第２の画像であり、
    前記判定手段は、前記相手装置の位置と姿勢との少なくともいずれかに基づいて、当該相手装置において前記第１の画像と合成すべき前記第２の画像があるかを判定する、
    ことを特徴とする請求項１０に記載の通信装置。
12. 前記送信手段は、前記相手装置へ送信すべき情報のサイズの情報を前記要求に含めて当該要求を送信する、
    ことを特徴とする請求項１０又は１１に記載の通信装置。
13. 通信装置であって、
    相手装置が前記通信装置へ信号を送信することができる通信期間を確保するための信号を送信したかを判定する判定手段と、
    前記相手装置が通信期間を確保するための前記信号を送信していない場合に、前記通信装置が前記相手装置へ信号を送信することができる通信期間を確保する確保手段と、
    前記相手装置が通信期間を確保するための前記信号を送信していない場合には前記確保手段によって確保された通信期間において信号を送信し、相手装置が通信期間を確保するための前記信号を送信している場合には当該相手装置によって確保された通信期間の一部において信号を送信する、送信手段と、
    を有することを特徴とする通信装置。
14. 通信装置であって、
    相手装置からデータを受信する受信手段と、
    受信した前記データに応じて、前記相手装置へ送信すべき情報があるかを判定する判定手段と、
    前記相手装置へ送信すべき情報がある場合に、前記通信装置が前記相手装置へ信号を送信することができる通信期間を確保する確保手段と、
    前記確保手段によって確保された前記通信期間において、前記相手装置へ送信すべき情報と、前記相手装置へ前記通信期間の一部を割り当てることを示す情報とを、前記相手装置へ送信する送信手段と、
    を有し、
    前記相手装置へ送信すべき情報がない場合、前記確保手段による通信期間の確保を行わずに、前記相手装置が、当該相手装置から前記通信装置へ信号を送信することができる通信期間を確保するのを待ち受ける、
    ことを特徴とする通信装置。
15. 前記相手装置は、当該相手装置が撮像した第１の画像と、前記通信装置が送信した第２の画像とを合成して表示する機能を有し、
    前記データは、当該相手装置の位置と姿勢との少なくともいずれかに関するデータであり、
    前記相手装置へ送信すべき情報は前記第２の画像であり、
    前記判定手段は、前記相手装置の位置と姿勢との少なくともいずれかに基づいて、当該相手装置において前記第１の画像と合成すべき前記第２の画像があるかを判定する、
    ことを特徴とする請求項１４に記載の通信装置。
16. 前記確保手段は、前記相手装置へ送信すべき情報がある場合であっても、前記データを受信してから前記第２の画像が描画されるまでの時間の長さが所定長を超えて大きい場合、前記通信期間を確保せず、前記通信装置は、前記相手装置が、当該相手装置から前記通信装置へ信号を送信することができる通信期間を確保するのを待ち受ける、
    ことを特徴とする請求項１５に記載の通信装置。
17. 前記通信期間は、ＲＴＳ（Ｒｅｑｕｅｓｔ Ｔｏ Ｓｅｎｄ）を用いることによって確保される期間である、
    ことを特徴とする請求項１から１６のいずれか１項に記載の通信装置。
18. 相手装置へ信号を送信することができる通信期間を確保する確保手段を有する通信装置の制御方法であって、
    判定手段が、前記相手装置から要求があった場合には前記相手装置が前記通信装置へ信号を送信するのに前記通信期間の一部を割り当て、前記相手装置から前記要求がなかった場合には前記相手装置が前記通信装置へ信号を送信するための期間を割り当てないと判定する判定工程と、
    通知手段が、前記判定工程において前記通信期間の一部を前記相手装置が前記通信装置へ信号を送信するのに割り当てると判定した場合に、割り当てられる前記通信期間の一部に関する情報を前記相手装置へ通知する通知工程と、
    を有することを特徴とする制御方法。
19. 通信装置の制御方法であって、
    受信手段が、相手装置からデータを受信する受信工程と、
    判定手段が、受信した前記データに応じて、前記相手装置へ送信すべき情報があるかを判定する判定工程と、
    送信手段が、前記相手装置へ送信すべき情報がある場合には、前記相手装置へ、前記相手装置が前記通信装置へ信号を送信することができる通信期間のうちの一部を要求する信号を送信し、前記相手装置へ送信すべき情報がない場合には、前記通信期間のうちの一部を要求する信号を送信しない、工程と、
    前記送信手段が、前記通信期間のうちの一部を要求する信号を送信した場合であって、前記相手装置によって前記通信期間の一部が割り当てられた場合、当該割り当てられた通信期間を用いて、前記相手装置へ送信すべき情報を送信する工程と、
    を有することを特徴とする制御方法。
20. 通信装置の制御方法であって、
    判定手段が、相手装置が前記通信装置へ信号を送信することができる通信期間を確保するための信号を送信したかを判定する判定工程と、
    確保手段が、前記相手装置が通信期間を確保するための前記信号を送信していない場合に、前記通信装置が前記相手装置へ信号を送信することができる通信期間を確保する確保工程と、
    送信手段が、前記相手装置が通信期間を確保するための前記信号を送信していない場合には前記確保工程において確保された通信期間において信号を送信し、相手装置が通信期間を確保するための前記信号を送信している場合には当該相手装置によって確保された通信期間の一部において信号を送信する、送信工程と、
    を有することを特徴とする制御方法。
21. 通信装置の制御方法であって、
    受信手段が、相手装置からデータを受信する受信工程と、
    判定手段が、受信した前記データに応じて、前記相手装置へ送信すべき情報があるかを判定する判定工程と、
    確保手段が、前記相手装置へ送信すべき情報がある場合に、前記通信装置が前記相手装置へ信号を送信することができる通信期間を確保する確保工程と、
    送信手段が、前記確保工程において確保された前記通信期間において、前記相手装置へ送信すべき情報と、前記相手装置へ前記通信期間の一部を割り当てることを示す情報とを、前記相手装置へ送信する送信工程と、
    前記相手装置へ送信すべき情報がない場合、前記確保工程による通信期間の確保を行わずに、前記相手装置が、当該相手装置から前記通信装置へ信号を送信することができる通信期間を確保するのを待ち受ける工程と、
    を有することを特徴とする制御方法。
22. コンピュータを、請求項１から１７のいずれか１項に記載の通信装置の各手段として動作させるためのプログラム。

Images