JP2016167794A - 伝送制御装置および制御方法、並びに、複合現実感提示装置 - Google Patents

Abstract

【課題】 制御信号の状態に応じて、伝送制御装置における光信号と電気信号の出力を制御する。
【解決手段】 伝送制御装置18は、HMD10の撮像によって取得された映像データを画像処理装置20に伝送し、画像処理装置20によって生成された映像データをHMD10に伝送する。伝送制御装置18において、光電変換回路104aは映像データを表す電気信号から変換した光信号を出力し、光ファイバ105は光信号を伝送し、光電変換回路104bは光ファイバ105によって伝送される光信号を変換した電気信号を出力し、信号線106はHMD10の通信用IC1011が映像データの通信が可能か否かを示す制御信号CNTを伝送する。制御信号CNTに基づき、光電変換回路104a、104bの動作が制御される。
【選択図】 図3

Description

本発明は、撮像表示装置によって撮像された映像データを画像処理装置に伝送し、画像処理装置によって生成された映像データを撮像表示装置に伝送する伝送制御装置およびその制御方法、並びに、当該伝送制御装置を用いる複合現実感提示装置に関する。

コンピュータグラフィックス(CG)によって描かれた物体（仮想物体）が、恰も現実世界の中に存在しているように見せる複合現実感技術、所謂MR (mixed reality)技術が知られている。MR技術は、現実空間の画像と、三次元モデリングされたCGによって生成された仮想空間の画像を重畳し、各画像の位置を合わせて表示する。

MR技術を用いた複合現実感提示システム（以下、MR提示システム）は、以下の各装置から構成される。現実世界を撮像する現実画像撮像装置（例えば、ビデオカメラ）、現実世界の撮像位置から観た仮想空間画像を生成し、それら画像を合成した複合現実空間画像（以下、MR画像）を生成する画像処理装置、MR画像を表示する画像表示装置である。画像処理装置には、一般に、パーソナルコンピュータ(PC)やワークステーションが利用される。

MR提示システムの一つとして、ビデオシースルー型のヘッドマウントディスプレイ（頭部装着型表示装置、以下、HMD）を使用するシステムが知られている。このシステムは、HMDの装着者（以下、装着者）の瞳位置からの視線と撮像方向を略一致させた撮像部によって被写体を撮像し、その撮像画像を用いて生成したMR画像を任意の立体画像としてリアルタイムに装着者に提示する。

HMDにおいては、撮像解像度と表示解像度を向上させて、より現実に近い鮮明な画像をリアルタイムに装着者に提供することが求められている。この要求を満たすには、HMDとHMDコントローラの間や、HMDコントローラと画像処理装置の間で送受信される撮像画像および表示画像のデータ量を増加させる必要がある。

HMDと画像処理装置の間の接続には、多くの場合、伝送媒体として電線を使用したケーブル（以下、メタルケーブル）が使われている。勿論、当該接続に有線ではなく無線を使うこともできるが、無線通信の帯域が狭いことから低解像度画像を扱うHMDに限定される。また、HMDを装着した状態で様々な位置や角度から映像（CG等）を観るには、ある程度長い、例えば10m程度のケーブルが必要になる。メタルケーブルを使用する場合、ケーブル長と通信帯域はトレードオフの関係にあるため、長いメタルケーブルを使用すると信号が劣化しビットエラーの発生確率が高まる。

伝送媒体として光ファイバを使用したケーブル（以下、光ケーブル）を使用すれば、高帯域かつ長距離伝送が可能になるだけでなく、電磁波などのノイズに対する耐性も向上する。ただし、光ケーブルは、非嵌合状態の嵌合部（とくにファイバの光学端面）を劣化させないよう、取り扱いに充分な配慮が必要になる。特許文献1は、レーザダイオード(LD)とLDドライバを含む送信モジュールとLDの発光量を制御する制御部をコネクタに内蔵し、フォトダイオードと増幅器を含む受信モジュールと受光量の検出部をコネクタに内蔵したケーブルを提案する。当該ケーブルには送信側と受信側の間の制御信号線や電源線も含まれ、光ファイバと電気信号用の電線を複合した光電気複合ケーブルである。

HMDとHMDコントローラの間、あるいは、HMDコントローラと画像処理装置の間の接続に光電気複合ケーブルを利用すれば、HMDにバッテリを搭載する必要がないなど、利点は大きい。しかし、光電気複合ケーブルにおけるLDドライバの入力信号と増幅器の出力信号は差動信号である場合が多く、AC結合であるため、電源が入ると周波数不定の最大振幅（peak to peak）の信号が出力されるケースが多い。そのため、信号を入力する装置（例えば、HMD）の受信機能が稼働していない状態、つまり、受信用ICが非動作状態において周波数不定の信号が入力され、受信用ICを故障させる懸念がある。

また、光通信に使用される光は短波長の半導体レーザ光であり、何らかの原因により光ケーブルが切断された場合に光出力が継続され、切断面が誤って覗き込まれると眼に対する悪影響が考えられる。従って、光ケーブルの切断時に光出力を停止する対策が必要になる。

これらの問題に対し、特許文献2が開示する光通信装置は、光モジュールの接続を検知し、ホスト機器から通信要求を受信すると光モジュールの光電変換部への給電を開始する。言い替えれば、光通信が可能な状態か否かを確認して、通信可能な状態、かつ、通信要求を受信した場合に光電変換部への給電を開始する。この方法をHMDに応用すると、HMDのようなデバイスの接続状態を検知するために、デバイスの通信用ICが非動作状態においても検知信号が送信されるため、通信用ICを故障させる懸念は解消されない。また、デバイスの接続を監視するために、検知信号を定期的にデバイスに送信する必要があり、効率が良い方法とは言えない。

また、特許文献3が開示する技術は、接続検知を行い、接続されている機器の種類に応じて、必要な光電変換部への給電を開始または遮断する。この方法をHMDに応用すると、HMDのようなデバイスの接続状態を検知するために、デバイスの通信用ICが非動作状態においても光信号が送信されるため、やはり通信用ICを故障させる懸念は解消されない。

また、特許文献4は、特許文献3と類似する方法を開示し、接続検知を行い、接続されている機器の種類や状態の組み合わせに応じて、必要な光電変換部への給電を開始または遮断する。つまり、省電力と伝送路の劣化防止を主目的として、光出力の制御回路が電源、グラウンド、接続機器の情報（接続検知、接続機器の種別、電源オンオフ状態）を検知して、通信が必要な光電変換部への給電を開始または遮断する。不要な光電変換部への給電を遮断する方法をHMDに応用すると、再び給電を開始する際に、通信用ICなどの初期パラメータなどの設定が必要になり、起動に時間を要する欠点がある。特許文献4が開示する方法は、多種のホスト機器とデバイス機器が様々に組み合わされる場合は有効であるが、接続の組み合わせが限られている装置においては、不要な制御信号によってピン数の多いコネクタを使用せざるを得ない欠点がある。

また、特許文献5は、デバイスの消費電流を検知して、通信可能な状態か否かを判別する。この方法は、デバイスの消費電流から通信可能な状態か否かを判別するために、温度変動による消費電流の変化なども考慮した複雑な検知回路が必要になり、回路が複雑化する。

特開2004-179733号公報 特開2007-306213号公報 国際公開第2012/105440号 特開2011-130297号公報 特開2001-160777号公報

本発明は、制御信号の状態に応じて、伝送制御装置における光信号と電気信号の出力を制御することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる伝送制御装置は、撮像手段と表示手段を有する撮像表示装置の撮像によって取得された映像データを画像処理装置に伝送し、前記画像処理装置によって生成された映像データを前記撮像表示装置に伝送する伝送制御装置であって、前記映像データを表す電気信号から変換した光信号を出力する第一の変換手段、前記光信号を伝送するための光ファイバ、および、前記光ファイバによって伝送される前記光信号を変換した電気信号を出力する第二の変換手段を有する伝送手段と、前記撮像表示装置の通信手段が前記映像データの通信が可能か否かを示す制御信号を伝送するための電線とを有し、前記制御信号に基づき、前記第一および第二の変換手段の動作が制御される。

本発明によれば、制御信号の状態に応じて、伝送制御装置における光信号と電気信号の出力を制御することができる。

ビデオシースルー型ヘッドマウントディスプレイの構成例を説明する図。 HMDを用いる複合現実感提示装置の基本構成例を説明する図。 実施例1の複合現実感提示装置の構成例を説明する図。 光電変換回路の動作を説明するフローチャート。 実施例2の複合現実感提示装置の構成例を説明する図。 実施例2におけるHMD、光電気複合ケーブル、HMDコントローラの構成例を示す図。 複数の制御信号の状態の組み合わせと複数の画像処理装置の動作の関係を説明する図。

以下、本発明にかかる実施例の伝送制御装置およびその制御方法、並びに、当該伝送制御装置を用いる複合現実感提示装置を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。

［HMD］
図1によりビデオシースルー型ヘッドマウントディスプレイ(HMD)の構成例を説明する。図1において、現実世界を撮像する撮像部19は撮像デバイス13および撮像光学系15などを有し、レンズとプリズムによって構成される撮像光学系15によって外部から入射する光の光束が撮像デバイス13に導かれ、光束は撮像デバイス13上に結像する。また、表示部14に表示された画像は、表示光学系（自由曲面プリズム）16によってHMDの装着者の瞳17に導かれる。つまり、装着者の瞳位置からの視線方向と略一致する現実空間の撮像を撮像部19が行い、かつ、表示部14に表示された画像を装着者の瞳17に導いて、装着者に複合現実空間画像（MR画像）を提示する。

MR画像の表示装置として、通常のモニタではなく、装着者の瞳位置からの視線とカメラの撮像方向を略一致させた撮像表示装置であるHMDを用いることで、装着者が向く方向の画像を表示部14に映し出すことができる。さらに、装着者が向いた方向のコンピュータグラフィックス(CG)画像を表示することができるため、装着者における複合現実空間への没入感を高めることが可能になる。

［MR提示装置］
図2によりHMDを用いる複合現実感提示装置（MR提示装置）の基本構成例を説明する。図2において、HMDコントローラ11は、現実画像を撮像し、MR画像を表示するHMD10を制御する。画像処理装置20は、HMD10によって撮像された現実空間画像に仮想空間画像を重畳してMR画像を生成し、MR画像をHMDコントローラ11に供給する。HMDコントローラ11に接続された表示装置30は、装着者以外が複合現実感体験を共有する場合や装着者に提示するMR画像を確認する場合に必要になる。

図2には、HMD10とHMDコントローラ11を別体のハードウェアとした例を示すが、HMDコントローラ11をHMD10に内蔵することで、それらを一体化することができる。あるいは、HMDコントローラ11を画像処理装置20に内蔵することで、HMD10と表示装置30を画像処理装置20に直接接続することも可能である。また、詳細は後述するが、図2において、HMD10とHMDコントローラ11を接続するケーブル18が実施例の伝送制御装置に相当する。

MR提示装置において、HMD10の撮像部19の視点位置が変わってもCG画像と現実空間画像を正しい位置関係で表示するために、HMD10は、視点位置や視線方向を検出するための視線位置姿勢検出部（例えば、位置姿勢センサ）を備える。

画像処理装置20は、三次元モデリングされた仮想物体を、現実空間と同じスケールの仮想空間に配置し、例えば位置姿勢センサによって検出された視点位置や視線方向から観察される仮想物体をレンダリングしてCG画像を生成する。このようにして生成したCG画像と現実空間画像を重畳することで、どのような視点位置や視線方向から観察された場合でも、現実空間の中に正しく仮想物体が配置されたMR画像を提示することができる。その結果、装着者は、HMD10を介して現実空間画像と仮想空間画像（CG画像）が重畳されたMRの世界を体験することができる。

HMDコントローラ11は、装着者が見ている画像と同じ画像（装着者の視点から観た画像）を、外部の表示装置30へ出力が可能な外部出力インタフェイスを有する。HMDコントローラ11は、画像処理装置20から出力される左目用画像または右目用画像の何れか一方を外部出力インタフェイスへ出力する。その結果、装着者が観察している画像を表示装置30を介して装着者以外の観衆に提供することができ、装着者が体験しているMRを観衆に同時に理解および共有させることが可能になる。

また、ビデオシースルー型（以下、VST型）のHMD以外にも、オプティカルシースルー型（以下、OST型）のHMDも使用される。VST型HMDにおいては、カメラで撮影した映像にCG画像を重畳して、装着者の眼前に投影するものであり、装着者は加工されたビデオ画像を観ることになる。これに対して、OST型HMDの装着者は、カメラを介さずに、ハーフミラーなどの光学系を通して現実空間画像を観るため、よりリアルな現実空間画像を観ることが可能になる。しかし、OST型HMDは、ガラス（ハーフミラーなど）を通してCG画像を投影するため、CG画像が透けているように観えることが多く、リアリティに不足を感じる場合がある。

また、VST型HMDは、現実空間画像とCG画像の合成結果にばらつきが少なく、画像処理に向いている利点がある。つまり、CG描画の時間的遅れ（実写タイミングとCG描画タイミングの間のずれ）を回避するため、VST型HMDにおいては、前もって合成した映像を出力することができ、リアリティをより高めることが可能である。

従って、現実世界と仮想世界のシームレスな融合が可能になるため、MR提示システムには、多くの場合、VST型HMDが使われている。MR提示システム以外にも、HMDは、自動車のナビゲーション、設計・製造・生産現場、工事・建設現場、エンターテイメント、医療、教育、各種イベントを始めとして、様々な分野・用途で幅広く使用されている。

［接続ケーブル］
HMD10とHMDコントローラ11（またはHMDコントローラ11と画像処理装置20）の間のデータ通信に、光電変換部をコネクタに内蔵したアクティブ光ケーブル（以下、AOC）を用いる。さらに、HMDへの電源供給や動作状態の監視などのために、AOCに複数の電線を組み合わせた光電気複合ケーブルを使用する。

このような光電気複合ケーブルの利用により、撮像画像と表示画像を光通信によって送受信することができ、高い転送レート（例えば5-10Gbps程度）と長距離伝送（例えば10-30m程度）の両方を実現する。光電変換部を内蔵したAOCの利用により、コネクタの嵌合部はメタルケーブルとほぼ同等の扱いでよく、HMDの使用者によるケーブルの自由な着脱作業が可能になり、例えば、摩耗等によりケーブルの交換が必要になった場合もケーブルの交換は容易である。

さらに、HMDの動作状態を外部に通知するための動作状態監視用の制御線を用いて光電変換部の出力を制御することで、HMDの内部において電源供給が停止されている際に、通信用ICに不定な信号が入力されることを防止することができる。つまり、簡易な制御回路によって不定な信号が通信用ICに入力されることを防ぎ、バッテリレスかつ省配線な構成のHMDを可能にして、光電気複合ケーブルが切断された場合も確実に光出力を停止させることができる。

［MR提示装置の構成］
図3により実施例1のMR提示装置の構成例を説明する。光電気複合ケーブル18を介して、VSD型HMD10とHMDコントローラ11が接続され、MR提示装置が構成される。HMDコントローラ11は、画像処理装置20から分離した状態で存在してもよいし、画像処理装置20に内蔵されていてもよい。なお、以下ではVSD型HMD10を単に「HMD10」と呼ぶ。

光電気複合ケーブル18の端部に相当するコネクタ22には光電変換回路104aが組み込まれ、コネクタ21には光電変換回路104bが組み込まれ、光電気複合ケーブル18はHMD10と外部装置の間のインタフェイスケーブルとして機能する。なお、図3に示すHMD10の構成は、主にHMDコントローラ11とのインタフェイス部のみを抜粋したものである。

HMD10の通信用IC1011は、複数のデータと制御信号を入出力するための複数の入出力(I/O)ポートを有する。I/Oポートには上述した撮像部19と表示部14が接続され、通信用IC1011は、撮像部19の撮像によって取得された映像データを入力し、表示すべき映像データを表示部14に出力する。

また、I/Oポートには送信信号線Tx0とTx1、および、受信信号線Rx0とRx1が接続され、撮像された映像データと制御信号が送信信号線Tx0とTx1を介して光電変換回路104aの変換部1041に送信される。また、受信信号線Rx0とRx1を介して、表示すべき映像データと制御信号を光電変換回路104aの変換部1041から受信する。送信信号線Tx0とTx1、および、受信信号線Rx0とRx1は、パラレル信号線でもシリアル信号線でもよく、シングルエンド方式でも差動方式でもよい。

図3には、光ファイバ105を送信用の伝送系に二本、受信用の伝送系に二本、合計四本使用する例を示すが、光ファイバ105の数は任意である。HMD10の撮像部19に例えば複数の撮像デバイス19a、19bが存在する場合、それら撮像デバイス19a、19bからの映像データを多重化し、一本または複数本の光ファイバを用いてHMDコントローラ11に送信することが可能である。同様に、HMD10の表示部14に例えば複数に表示デバイス14a、14bが存在する場合、それら表示デバイス14a、14bへ供給する映像データを多重化し、一本または複数本の光ファイバを用いてHMDコントローラ11から送信することが可能である。映像データの多重化と同様に、光ファイバを通過する信号には、位置姿勢センサの信号を含む各種制御信号を多重化することができ、信号線の数を減らすことが可能である。

HMD10には、HMD10の各部への電源供給を開始または終了させるための電源スイッチ（図示無し）がある。HMD10が非動作時に電源スイッチが押される（以下、電源オン）と、HMD10の各部への電源供給が開始され、HMD10が起動する。逆に、HMD10が動作時に電源スイッチが押される（以下、電源オフ）と、HMD10の各部への電源供給が停止され、HMD10の動作が終了する。

HMD10には、光電気複合ケーブル18を介して、HMDコントローラ11（または画像処理装置20）から外部電源（例えばDC12V）が供給される。電源オン時、レギュレータ（図示無し）が、外部電源から降圧した内部電源（例えばDC3.3V）をHMD10の各部に供給する。

制御信号CNTの信号線（以下、制御信号線）106は、レジスタ1015（例えば1kΩ）によって内部電源ラインにプルアップされている。なお、制御信号線106は電線であり、外来ノイズを受けても容易に制御信号CNTのレベルが変化しないようにする必要がある。そのため、制御信号線106には、ノイズ対策部品（ツェナダイオードやバリスタ等）を接続したり、制御信号CNTを入力する通信用IC1011の内部でフィルタリング処理などが行われる。

また、制御信号線106は、通信用IC1011のノーマルクローズでグラウンドに接続される出力端子に接続されている。従って、レギュレータによる内部電源の供給が開始された直後、制御信号CNTの状態はローレベル（非アクティブ）に維持される。その後、通信用IC1011によって当該出力端子がオープンにされた時点で、制御信号CNTの状態がハイレベル（アクティブ）になる。例えば、HMD10の内部電源の供給が開始され、通信用IC1011が通信準備段階にある場合、通信用IC1011によって制御信号CNTの状態が非アクティブに維持される。その後、通信可能な状態となると、通信用IC1011は、制御信号CNTの状態をアクティブにする。

通信準備段階とは、例えば、外部ROMから通信用IC1011へプログラムを書込中など、通常の動作を行う前段階のことである。また、撮像部19の初期化時、アイドリング時、エラー発生時など、撮像部19から映像データを通信用IC1011が受信していない状態なども通信が不可能な状態に含まれる。また、表示部14の初期化時、アイドリング時、エラー発生時など、通信用IC1011から映像データを受信した表示部14が表示を行えない状態なども通信が不可能な状態に含まれる。

また、複数の撮像部19の映像データを一本の光ファイバで送信する場合は、少なくとも一つの撮像部19が通常の動作を行える状態にあれば通信を開始してもよい。その場合、通常の動作時よりも信号速度を落としてもよい。同様に、複数の表示部14の映像データを一本の光ファイバで送信する場合は、少なくとも一つの表示部14が通常の動作を行える状態であれば通信を開始してもよい。その場合、通常の動作時よりも信号速度を落としてもよい。

HMD10と光電気複合ケーブル18はコネクタ22によって接続され、光電気複合ケーブル18とHMDコントローラ11はコネクタ21によって接続される。それらコネクタ21、22には、挿抜耐久性が高い機器間接続に適したインタフェイス用コネクタを用いること好ましいが、その他のコネクタを用いてもよい。なお、図3には、コネクタ21、22を介して、Tx0などの送受信信号線および制御信号線106を接続する例を示す。また、図示しないが、電源線およびグラウンド線をコネクタ21、22を介して接続してもよい。勿論、Tx0などの送受信信号線用のコネクタと、制御信号線106、外部電源線およびグラウンド線用のコネクタに分離して、それらコネクタの挿抜が略同時に行われるようにしてもよい。

光電変換回路104a、104bはそれぞれ、光信号→電気信号の変換、および、電気信号→光信号の変換を行う変換部1041、各種設定および制御を行うCPU（図示無し）、変換部1041などに内部電源を供給するレギュレータなどから構成される。

図3に示すHMDコントローラ11の構成は、主にHMD10とのインタフェイス部のみを抜粋したものである。HMDコントローラ11の通信用IC1111は、複数のデータと制御信号を入出力するための複数のI/Oポートを有する。I/Oポートには送信信号線Tx0とTx1、および、受信信号線Rx0とRx1が接続され、表示すべき映像データと制御信号が送信信号線Tx0とTx1を介して光電変換回路104bの変換部1041に送信される。また、受信信号線Rx0とRx1を介して、撮像された映像データと制御信号を光電変換回路104bの変換部1041から受信する。前述したように、送信信号線Tx0とTx1、および、受信信号線Rx0とRx1は、パラレル信号線でもシリアル信号線でもよく、シングルエンド方式でも差動方式でもよい。

また、制御信号線106は、通信用IC1111の入力端子に接続され、光電気複合ケーブル18が未接続時の入力保護としてレジスタ1115によりグラウンド電位にプルダウンされている。なお、レジスタ1115の抵抗値は、制御信号CNTの状態を確実にアクティブにすることができるように、レジスタ1015の抵抗値の十倍以上（例えば10kΩ）にすることが望ましい。

［光電変換回路の動作］
図4のフローチャートにより光電変換回路104a、104bの動作を説明する。図4に示す動作は、HMDコントローラ11の起動により開始される。なお、HMDコントローラ11は画像処理装置20の起動に連動して起動されるものとする。

HMDコントローラ11が起動すると、電源線を介して光電変換回路104a、104b、HMD10に電源が供給され、レギュレータにより外部電源から降圧された内部電源の変換部1041への供給が開始される(S11)。動作を開始した変換部1041は、制御信号CNTの状態を判定する(S12)。この時点ではHMD10が電源オンになっていないため、制御信号CNTの状態は非アクティブであり、変換部1041は、光信号および電気信号の出力を行わない待機状態になり(S13)、動作はステップS12に戻る。つまり、HMD10の電源スイッチが押されるまで、ステップS12とS13の動作が繰り返される。

電源スイッチが押されると、レギュレータにより外部電源から降圧された内部電源のHMD10の各部への供給が開始される（電源オン）。電源オン後、例えば、通信用IC1011が通信可能な状態になると、制御信号CNTの状態がアクティブになり、動作はステップS12からS14に遷移する。制御信号CNTの状態がアクティブになると、変換部1041は、光信号および電気信号の出力を開始して動作状態になり(S14)、HMD10が使用可能になる。

動作状態になった後、変換部1041は、制御信号CNTの状態を判定し(S15)、制御信号CNTの状態がアクティブの場合はステップS15の判定を繰り返す。再び、電源スイッチが押されると、レギュレータにより外部電源から降圧された内部電源のHMD10の各部への供給が停止し（電源オフ）、制御信号CNTの状態が非アクティブになり、動作はステップS15からS16に遷移する。制御信号CNTの状態が非アクティブになると、変換部1041は、光信号および電気信号の出力を停止し(S16)、動作はステップS12に戻る。

なお、HMDコントローラ11が電源オフになるなどにより、内部電源線を介した光電変換回路104a、104b、HMD10への電源の供給が停止され、図4に示す動作は終了する。

HMDコントローラ11が動作中、変換部1041が図4に示す動作を行うことで、HMD10が電源オフの状態において通信用IC1011に不定な信号が入力されることを防ぐことができる。また、光電変換回路104a、104bへの内部電源の供給が遮断されないため、HMD10だけが電源オフから電源オンに遷移される場合の、MR提示装置に復帰時間を軽減することができる。また、光電気複合ケーブル18が切断された場合、HMDコントローラ11からHMD10への外部電源の供給が遮断されるため制御信号CNTの状態が非アクティブになり、光信号および電気信号の出力が停止される。

このように、光電変換回路104a、104bを備える光電気複合ケーブル18は、制御信号CNTの状態に応じて、光信号と電気信号の出力を制御して、光ファイバ105を介した伝送を制御する、ケーブル状の形態を有する伝送制御装置として機能する。

［変形例］
送信用および受信用それぞれに複数の光ファイバを使用すれば、故障に対して、光ファイバの切替制御が可能になる。例えば、各光ファイバによって、所定の周期で、固定パターンのデータを伝送し、固定パターンに一致するデータが受信されたか否かを判定する。ある光ファイバで固定データに一致しないデータの受信が多発した場合、当該光ファイバの系統に故障が発生したと判断して、残りの光ファイバを使用してデータ通信を継続する。その際、必要があれば、正常時よりも低解像度の映像データを転送する。このようにすれば、ケーブルなどの故障により、MR提示装置が急に使用不能になる問題を回避することができる。

また、故障診断を定期的に行わずに、電源オンの直後など不定期に行ってもよい。勿論、故障が発生したと判断するデータ不一致の数（判定基準）や、固定パターンについては任意に設定することができる。

以下、本発明にかかる実施例2の伝送制御装置およびその制御方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。

撮像画像に重畳するCG画像のデータ量が大きいと、画像処理装置20の一台当りの処理能力ではリアルタイム性を損なう場合があり、一台のHMD10に複数の画像処理装置20b、20cから映像データを供給する方法が利用される。例えば、一台目の画像処理装置20bが左目用画像を生成し、二台目の画像処理装置20cが右目用画像を生成することで、リアルタイム性を改善する。実施例2では、一台のHMD10に二台の画像処理装置20b、20cから映像データを供給するMR提示装置を説明する。

図5により実施例2のMR提示装置の構成例を説明する。実施例2のMR提示装置においては、複数の光電気複合ケーブル18a、18b、18cを介して、一台のHMD10と二台のHMDコントローラ11b、11cが接続される。各HMDコントローラ11b、11cは、対応する画像処理装置20b、20cから分離した状態で存在してもよいし、対応する画像処理装置20b、20cに内蔵されていてもよい。

図5に示すように、HMD10に接続された光電気複合ケーブル18aの他端は接続部23に接続される。接続部23は、二本の光電気複合ケーブル18b、18cによって二台のHMDコントローラ11b、11cに接続される。図には示さないが、例えば、HMDコントローラ11bが光電気複合ケーブル18a、18bおよびHMD10に外部電源を供給し、HMDコントローラ11cが光電気複合ケーブル18cに外部電源を供給する。勿論、HMDコントローラ11cが光電気複合ケーブル18aとHMD10にも外部電源を供給してもよい。

図6により実施例2におけるHMD10、光電気複合ケーブル18a、HMDコントローラ11bの構成例を示す。なお、説明を容易にするために、図6においては接続部23、光電気複合ケーブル18b、18c、HMDコントローラ11cの記載を省略するが、コネクタ21の接続対の間に接続部23が入ると理解されたい。また、光電気複合ケーブル18a、18b、18cは同様の構成を有し、HMDコントローラ11b、11cも同様の構成を有する。

図3に示した構成と異なり、二つの制御信号CNTb、CNTcを伝送するために二本の制御信号線106b、106cがある。そして、変換部1041が制御信号の状態を判定するために、二つの制御信号CNTb、CNTcの状態の論理和をとるためのORゲート1044が各光電変換回路104a、104bに追加される。

図6には二つの制御信号CNTbとCNTcの両方がHMDコントローラ11bの通信用IC1111に入力されるように記載するが、接続部23により、一部の制御信号CNTbだけがHMDコントローラ11bの通信用IC1111に入力される。つまり、図5に示すように、接続部23によって、一部の制御信号CNTbがHMDコントローラ11bに分配され、一部の制御信号CNTcがHMDコントローラ11cに分配される。

同様に、図6にはHMDコントローラ11cの送信信号線Tx0とTx1の両方が光電気複合ケーブル18aに接続されるように記載するが、接続部23により、一部の送信信号線Tx0だけが光電気複合ケーブル18aに接続される。つまり、図5に示すように、接続部23によって、HMDコントローラ11bの一部の送信信号線Tx0が光電気複合ケーブル18aに接続され、HMDコントローラ11cの一部の送信信号線Tx1が光電気複合ケーブル18aに接続される。また、HMDコントローラ11bの送信信号線Tx1とHMDコントローラ11cの送信信号線Tx0は、接続部23によって、オープンになる。従って、表示部14に、例えば、HMDコントローラ11bから供給される映像データを左目用画像として表示し、HMDコントローラ11cから供給される映像データを右目用画像として表示することができる。

一方、撮像された映像データは二台の画像処理装置20b、20cに供給する必要があるため、HMDコントローラ11bの受信信号線Rx0とRx1の両方が光電気複合ケーブル18aに接続される。同様に、HMDコントローラ11cの受信信号線Rx0とRx1の両方も光電気複合ケーブル18aに接続される。

HMD10の通信用IC1011は、各制御信号CNTb、CNTcの状態を制御可能である。例えば、左目用画像の表示部14は通常動作状態にあるが、右目用画像の表示部14が初期化時、アイドリング時、エラー発生時などの場合、制御信号CNTbの状態をアクティブ、制御信号CNTcの状態を非アクティブにする。この場合、右目用画像の映像データを伝送する光電気複合ケーブル18cの光電変換回路104a、104bは出力停止状態になる。一方、左目用画像の映像データを伝送する光電気複合ケーブル18bの光電変換回路104a、104bは動作状態を維持する。勿論、光電気複合ケーブル18aの光電変換回路104a、104bも動作状態を維持する。

このように、実施例2においては、接続部23と、接続部23に接続された複数の光電気複合ケーブル18の集合が伝送制御装置を構成する。

［変形例］
図5には、接続部23により、制御信号の一方をHMDコントローラ11に接続する例を示したが、両方の制御信号をHMDコントローラ11に接続することもできる。同様に、接続部23により、送信信号線の一方をHMDコントローラ11に接続する例を示したが、両方の送信信号線をHMDコントローラ11に接続することもできる。その場合、HMD10の通信用IC1011によって制御信号の状態の組み合わせを制御することにより、各画像処理装置20b、20cの動作を制御することが可能である。

図7により複数の制御信号の状態の組み合わせと複数の画像処理装置20b、20cの動作の関係を説明する。なお、‘H’は制御信号の状態がアクティブ（ハイレベル）、‘L’は制御信号の状態が非アクティブ（ローレベル）を示す。

二つの制御信号の状態がともに‘H’の場合は一方の画像処理装置20bが両目用の映像データを生成し、他方の画像処理装置20cにおける映像データの生成は休止する。CNTbの状態が‘H’、CNTcの状態が‘L’の場合は一方の画像処理装置20bが左目用の映像データを生成し、他方の画像処理装置20cが右目用の映像データを生成する。CNTbの状態が‘L’、CNTcの状態が‘H’に反転すると、一方の画像処理装置20bが右目用の映像データを生成し、他方の画像処理装置20cが左目用の映像データを生成する。

勿論、二つの制御信号の状態がともに‘L’の場合は両方の画像処理装置20b、20cにおける映像データの生成が休止する。なお、例えば、両目用または左目用の映像データを生成する画像処理装置20b側から電源を供給するように制御することもできる。

例えば、装着者が操作可能なスイッチをHMD10に配置する。通信用IC1011は、当該スイッチの状態によって制御信号の状態を切り替える。装着者は、一台の画像処理装置20bではリアルタイム性が不足すると感じる場合、当該スイッチを操作して、二台の画像処理装置20cに映像データを生成させることができる。さらに、左右の画像が逆に表示されていると感じた場合、装着者は、当該スイッチを操作して左右の画像を切り替えて左右の画像が正しく供給されているか否かを判断し、正しい表示状態を得ることができる。

10 … 撮像表示装置、18 … 伝送制御装置、20 … 画像処理装置

Claims (18)

1. 撮像手段と表示手段を有する撮像表示装置の撮像によって取得された映像データを画像処理装置に伝送し、前記画像処理装置によって生成された映像データを前記撮像表示装置に伝送する伝送制御装置であって、
   前記映像データを表す電気信号から変換した光信号を出力する第一の変換手段、前記光信号を伝送するための光ファイバ、および、前記光ファイバによって伝送される前記光信号を変換した電気信号を出力する第二の変換手段を有する伝送手段と、
   前記撮像表示装置の通信手段が前記映像データの通信が可能か否かを示す制御信号を伝送するための電線とを有し、
   前記制御信号に基づき、前記第一および第二の変換手段の動作が制御される伝送制御装置。
2. 前記制御信号が前記映像データの通信が可能なことを示す第一の状態にある場合、前記第一の変換手段は前記光信号の出力を行い、前記第二の変換手段は前記電気信号の出力を行う請求項1に記載された伝送制御装置。
3. 前記制御信号が前記映像データの通信が不可能なことを示す第二の状態にある場合、前記第一の変換手段は前記光信号の出力を行わず、前記第二の変換手段は前記電気信号の出力を行わない請求項1または請求項2に記載された伝送制御装置。
4. 前記撮像表示装置と前記伝送制御装置の接続が切れた場合、前記制御信号は前記第二の状態にある請求項3に記載された伝送制御装置。
5. 前記伝送制御装置はケーブル状の形態を有し、前記ケーブル状の前記伝送制御装置が切断された場合、前記制御信号は前記第二の状態にある請求項3に記載された伝送制御装置。
6. 前記伝送手段は、前記撮像された映像データを伝送するための第一の伝送系と、前記生成された映像データを伝送するための第二の伝送系を有する請求項1から請求項5の何れか一項に記載された伝送制御装置。
7. 前記撮像手段は複数の撮像部を有し、
   前記第一の伝送系において、前記複数の撮像部によって撮像された映像データが多重化され、前記撮像部の数よりも少ない数の光ファイバを使用して前記多重化された映像データが伝送される請求項6に記載された伝送制御装置。
8. 前記表示手段は複数の表示部を有し、
   前記第二の伝送系において、前記複数の表示部へ供給される映像データが多重化され、前記表示部の数よりも少ない数の光ファイバを使用して前記多重化された映像データが伝送される請求項6または請求項7に記載された伝送制御装置。
9. 撮像手段と表示手段を有する撮像表示装置の撮像によって取得された映像データを複数の画像処理装置に伝送し、前記複数の画像処理装置の少なくとも一つによって生成された映像データを前記撮像表示装置に伝送する伝送制御装置であって、
   前記映像データを表す電気信号から変換した光信号を出力する第一の変換手段、前記光信号を伝送するための光ファイバ、および、前記光ファイバによって伝送される前記光信号から変換した電気信号を出力する第二の変換手段を有する伝送手段と、
   第一および第二の制御信号を伝送するための複数の電線とを有し、
   前記第一および第二の制御信号の少なくとも一つに基づき、前記第一および第二の変換手段の動作が制御される伝送制御装置。
10. 前記複数の画像処理装置はそれぞれ、前記第一の制御信号の状態と前記第二の制御信号の状態の組み合わせに基づき、前記映像データの生成を行うか休止するかを判断する請求項9に記載された伝送制御装置。
11. 前記複数の画像処理装置はそれぞれ、前記第一の制御信号の状態と前記第二の制御信号の状態の組み合わせに対応する映像データを生成する請求項9または請求項10に記載された伝送制御装置。
12. 前記第一および第二の制御信号は、前記撮像表示装置の通信手段が前記映像データの通信が可能か否かを示す請求項9に記載された伝送制御装置。
13. 前記第二の変換手段が出力する電気信号の一部および前記複数の電線の一つを前記複数の画像処理装置の一方の側に接続し、前記電気信号の一部および前記複数の電線の他の一つを前記複数の画像処理装置の他方の側に接続する接続手段を有する請求項10に記載された伝送制御装置。
14. 前記第一および第二の変換手段はそれぞれ、前記第一および第二の制御信号の論理和を出力するORゲートを有する請求項9から請求項13の何れか一項に記載された伝送制御装置。
15. 前記電線は、前記撮像表示装置においてレジスタを介して内部電源に接続され、前記画像処理装置の側においてレジスタを介してグラウンドに接続される請求項1から請求項14の何れか一項に記載された伝送制御装置。
16. 請求項1から請求項15の何れか一項に記載された撮像表示装置、伝送制御装置および画像処理装置を有する複合現実感提示装置。
17. 撮像手段と表示手段を有する撮像表示装置の撮像によって取得された映像データを画像処理装置に伝送し、前記画像処理装置によって生成された映像データを前記撮像表示装置に伝送する伝送制御装置の制御方法であって、前記伝送制御装置は、
    前記映像データを表す電気信号を変換した光信号を出力する第一の変換手段、前記光信号を伝送するための光ファイバ、および、前記光ファイバによって伝送される前記光信号を変換した電気信号を出力する第二の変換手段を有する伝送手段と、
    前記撮像表示装置の通信手段が前記映像データの通信が可能か否かを示す制御信号を伝送するための電線とを有し、
    前記制御信号に基づき、前記第一および第二の変換手段の動作を制御する制御方法。
18. 撮像手段と表示手段を有する撮像表示装置の撮像によって取得された映像データを複数の画像処理装置に伝送し、前記複数の画像処理装置の少なくとも一つによって生成された映像データを前記撮像表示装置に伝送する伝送制御装置の制御方法であって、前記伝送制御装置は、
    前記映像データを表す電気信号から変換した光信号を出力する第一の変換手段、前記光信号を伝送するための光ファイバ、および、前記光ファイバによって伝送される前記光信号から変換した電気信号を出力する第二の変換手段を有する伝送手段と、
    第一および第二の制御信号を伝送する複数の電線とを有し、
    前記第一および第二の制御信号の少なくとも一つに基づき、前記第一および第二の変換手段の動作を制御する制御方法。

Images