JP2016218366A - 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法 - Google Patents

Abstract

【課題】ＨＭＤへの画像表示を含むコンテンツを多様化させる。【解決手段】情報処理装置１０に、出力制御装置２０ａ、２０ｂを直列に接続し、各出力制御装置２０ａ、２０ｂにＨＭＤ１８ａ、１８ｂ、平板型ディスプレイ１６などの表示装置を接続できるようにする。情報処理装置１０はそれらの接続状態を特定し、ＨＭＤ１８ａ、１８ｂにそれぞれ表示させる画像を縮小して接続した合成画像１２４を出力する。各出力制御装置２０ａ、２０ｂはそれを取得し、自らに接続された表示装置に対応する領域を抽出し最終的な表示画像１２６、１２８、１３０を生成して出力することにより表示させる。【選択図】図１０

Description

本発明は、撮影画像や描画画像の表示に伴う画像データの伝送および処理技術に関する。

ユーザが頭部に装着することで眼前に映像を表示するヘッドマウントディスプレイ（Head Mounted Display、以下、「ＨＭＤ」と呼ぶ）が実用化されている。近年では、ユーザの左右の目に視差画像を表示することで立体映像を提示するＨＭＤや、さらにユーザの頭部の動きを追跡しその結果を映像に反映させることで仮想空間への没入感や臨場感を与えるＨＭＤが提案されている（例えば特許文献１参照）。

特開２０１４−９３７０４号公報

ＨＭＤは平板型のディスプレイと異なり、それを装着したユーザのみが表示される映像などのコンテンツを楽しむことを基本としている。頭部の動きに対応させて視点を変化させた仮想空間を表示する場合などは特に、ユーザの個人的な動きと映像がインタラクションするため、個人的な遊びや映像コンテンツの鑑賞などにＨＭＤの使用形態が限定されがちであった。そのためＨＭＤを装着し没入感を楽しみつつも、他のユーザと体験を共有できるようなコンテンツ提供技術の実現が望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤへの画像表示を含むコンテンツを複数の人数で楽しめるようにする技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、表示装置に表示させる動画像のデータを生成する出力データ生成部と、出力データ生成部が生成した動画像のデータを順次、出力する通信部と、を備え、表示装置が複数接続されているとき、出力データ生成部は、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを通信部に出力させることを特徴とする。

本発明の別の態様は出力制御装置に関する。この出力制御装置は、情報処理装置が出力した表示用動画像のデータを取得する入力部と、表示用動画像のデータに、複数の表示装置に独立に表示させる複数の動画像がフレームごとに合成された合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とする出力データ形成部と、最終的な表示画像のデータを接続された表示装置に出力する出力部と、を備えることを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、動画像のデータを出力する情報処理装置と、当該動画像のデータを取得して表示装置に表示させる出力制御装置と、を備えた情報処理システムであって、情報処理装置は、表示装置に表示させる動画像のデータを生成する出力データ生成部と、出力データ生成部が生成した動画像のデータを順次、出力制御装置に出力する通信部と、を備え、表示装置が複数接続されているとき、出力データ生成部は、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを通信部に送信させ、出力制御装置は、動画像のデータを取得する入力部と、動画像のデータに合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とする出力データ形成部と、最終的な表示画像のデータを接続された表示装置に出力する出力部と、を備えることを特徴とする。

本発明のさらに別の態様は動画データ出力方法に関する。この動画データ出力方法は、表示装置に表示させる動画像のデータを生成するステップと、生成した動画像のデータを順次、出力するステップと、を含み、動画像のデータを生成するステップは、表示装置が複数接続されているとき、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを生成するステップを含むことを特徴とする。

本発明のさらに別の態様も動画データ出力方法に関する。情報処理装置が出力した表示用動画像のデータを取得するステップと、表示用動画像のデータに、複数の表示装置に独立に表示させる複数の動画像がフレームごとに合成された合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とするステップと、最終的な表示画像のデータを接続された表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ＨＭＤへの画像表示を含むコンテンツを多様化させることができる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。 本実施の形態におけるＨＭＤの外観形状の例を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態においてＨＭＤと平板型ディスプレイに表示する画像を説明するための図である。 本実施の形態における情報処理装置と出力制御装置の機能ブロックの構成を示す図である。 本実施の形態において情報処理装置が出力する合成画像のデータを説明するための図である。 本実施の形態の情報処理システムにおける各装置の接続状態とその間を伝送する画像データの構成例を示す図である。 本実施の形態の情報処理システムにおける各装置の接続状態とその間を伝送する画像データの構成例を示す図である。 本実施の形態の情報処理システムにおける各装置の接続状態とその間を伝送する画像データの構成例を示す図である。 本実施の形態の情報処理システムにおける各装置の接続状態とその間を伝送する画像データの構成例を示す図である。 本実施の形態の情報処理システムにおける各装置の接続状態とその間を伝送する画像データの構成例を示す図である。 本実施の形態の情報処理システムにおける各装置の接続状態とその間を伝送する画像データの構成例を示す図である。 本実施の形態において情報処理装置が管理する装置の接続状態と処理に用いるパラメータの対応情報のデータ構造例を示す図である。 本実施の形態における情報処理装置が各表示装置にて表示させる画像のデータを出力する処理手順を示すフローチャートである。 本実施の形態における出力制御装置が各表示装置に画像を表示させる処理手順を示すフローチャートである。 本実施の形態において表示画像を縦方向に接続した合成画像について説明するための図である。 本実施の形態における、複数のＨＭＤに表示する画像データの送信態様の変形例を説明するための図である。 本実施の形態における、複数のＨＭＤに表示する画像データの送信態様の変形例を説明するための図である。 本実施の形態において、情報処理装置が出力する画像内に、画像中の領域とＨＭＤとの対応情報を埋め込む手法を説明するための図である。

図１は本実施の形態を適用できる情報処理システムの構成例を示す。この例で情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６および各ユーザが装着するＨＭＤ１８ａ、１８ｂ、各ユーザが操作する入力装置１４ａ、１４ｂを含む。

情報処理装置１０と、撮像装置１２、入力装置１４ａ、１４ｂ、平板型ディスプレイ１６、ＨＭＤ１８ａ、１８ｂとは、ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、撮像装置１２、平板型ディスプレイ１６、入力装置１４ａ、１４ｂはなくてもよい。またこれらの装置の外観形状は図示するものに限らない。さらに、ＨＭＤ１８ａ等を装着するユーザの数は２人に限定されず、１人でも３人以上でもよい。

撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、図示するように２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。

あるいは、赤外線などの参照光を対象物に照射しその反射光を測定する装置と単眼のカメラとの組み合わせにより撮像装置１２を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、３次元の実空間における被写体の位置を求めることができ、情報処理や表示画像をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法や、反射光の測定によりＴＯＦ（Time of Flight）やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。

情報処理装置１０はＨＭＤ１８ａ、１８ｂや平板型ディスプレイ１６に表示させる画像のデータを出力する。当該画像のデータは、映画や撮影された動画など元から完成形としてデータ保存されたものでもよいし、情報処理装置１０内部でリアルタイムに描画したものでもよい。後者の場合、情報処理装置１０は例えば、撮像装置１２から所定のフレームレートで取得した撮影画像に対し一般的な顔検出や追跡処理を施すことにより、被写体であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。

このとき情報処理装置１０は、ＨＭＤ１８ａ、１８ｂや入力装置１４ａ、１４ｂに設けたマーカーや加速度センサを利用して各ユーザの動きを取得したり、入力装置１４ａ、１４ｂに対するユーザの操作情報を取得したりして、ユーザごとに異なる画像を生成してもよい。例えば撮影画像におけるＨＭＤ１８ａ、１８ｂのマーカーの像を追跡することにより、各ユーザの頭部の位置や動きを特定する。そして、その動きに対応してＨＭＤ１８ａ、１８ｂに表示させる仮想世界に対する視点を変化させることにより、各ユーザは自分の視点で仮想世界を見ることができ、臨場感や没入感を得ることができる。情報処理装置１０はそのような画像データに加え、ＢＧＭなどの音声データも出力してよい。

ＨＭＤ１８ａ、１８ｂは、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。例えば左右の視点から見た視差画像を生成し、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより、画像を立体視させることができる。ただし本実施の形態をこれに限る主旨ではなく、表示画面全体に１つの画像を表示させてもよい。ＨＭＤ１８ａ、１８ｂはさらに、所定の色で発光する素子またはその集合からなる発光マーカー、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホン、装着した使用者の頭部の傾きを検出する加速度センサなどを装備していてもよい。

平板型ディスプレイ１６は、２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、具体的には液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等のいずれでもよい。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４ａ、１４ｂは、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。

入力装置１４ａ、１４ｂは、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４ａ、１４ｂはさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置１４ａ、１４ｂの動き自体をユーザ操作とすることができる。なお入力装置１４ａ、１４ｂを、把持部を有する発光マーカーのみで構成してもよい。

このように本実施の形態では、１つの情報処理装置１０から複数のＨＭＤ１８ａ、１８ｂへ出力データを送信できるようにする。これにより例えば複数のユーザが一つのゲームに参加し、それぞれの視点からゲームの状況を眺めつつ入力装置１４ａ、１４ｂを操作する、といった態様を実現できる。また、ＨＭＤ１８ａ、１８ｂで表示させている画像のいずれか、または双方を平板型ディスプレイ１６に表示させることにより、ギャラリーとしてのユーザがゲームを観戦することもできる。

このとき情報処理装置１０が出力したデータは、矢印に示すように、まずＨＭＤ１８ａに伝送し、次いでＨＭＤ１８ａからＨＭＤ１８ｂへと伝送させる。ユーザの数が増える場合は、ＨＭＤ間で順次伝送させていく。このようにすることで、各装置の通信用端子の数を増やすことなく、ＨＭＤを装着するユーザの数を増やしていくことができる。そしてそのようなＨＭＤの連鎖の一旦として平板型ディスプレイ１６を含めることもできる。なお以後の説明ではＨＭＤ１８ａ、１８ｂをＨＭＤ１８と総称する場合がある。また上述のように情報処理装置１０は各表示装置に音声データを出力可能とするが、以後は画像データに主眼を置き説明する。

図２はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを備えてもよい。ＨＭＤ１８はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。発光マーカーの数や配置は特に限定されないが、図示した例では出力機構部１０２の筐体前面の４隅に設けている。さらに、装着バンド１０６後方の両側面にも設けてもよい。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側にあり、図２の視点からは本来は見えないため、外周を点線で表している。

ＨＭＤ１８は図示するように、情報処理装置１０が出力したデータを中継する出力制御装置２０に接続されることにより表示や音声出力を実現する。出力制御装置２０は基本的に、１つの入力端子５と２つの出力端子７ａ、７ｂを備える。入力端子５は、情報処理装置１０から出力されたデータを直接的、あるいは間接的に取得するインターフェースである。出力端子７ａ、７ｂは、ＨＭＤ１８、平板型ディスプレイ１６、あるいは他の出力制御装置２０にデータを出力するインターフェースである。ただし入力端子と出力端子の数や設置箇所をこれに限定する主旨ではない。

図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、外部装置へデータを出力する出力部３６、外部装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、出力部３６から出力制御装置２０へデータを出力する。

メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。出力制御装置２０も基本的には同様の構成を有していてよい。ただし実行するアプリケーションや装置の設計によっては、情報処理装置１０がほぼ全ての処理を行い、出力制御装置２０は簡易な処理のみで十分な場合がある。この場合、出力制御装置２０は、図示する構成の一部を省略できる。

図４はＨＭＤ１８と平板型ディスプレイ１６に表示する画像を説明するための図である。同図左側の画像（ａ）は、ＨＭＤ１８に表示される画像、右側の画像（ｂ）は平板型ディスプレイ１６に表示される画像である。同図ではわかりやすさのために格子状の図柄を表示対象としているが、実際には仮想世界やゲーム画像など情報処理の内容によって表示される画像も様々となる。ＨＭＤ１８用の画像（ａ）は、画像を立体視させることを想定したものであり、表示パネルに対応する画像平面を２分割してなる左右の領域に、左目用画像と右目用画像からなる一対の視差画像をそれぞれ配置した構成を有する。

この例はＨＭＤ１８において表示パネルの前にレンズを設けユーザの視野を広げることを想定している。この場合、表示パネルに表示された画像には、レンズによって、中心から離れた画素ほど大きい変位で引き延ばされるいわゆる「糸巻き型」の歪みが発生する。変位量は色によっても異なるため色収差も生じる。したがって、当該歪みと色収差を考慮して逆方向に歪めておく歪み補正を行い、画像（ａ）のような「樽型」の画像を表示させる。これにより、レンズを介して見たときに画像（ｂ）のような本来の画像が立体的に見えるようになる。

このような補正処理は情報処理装置１０が行ってもよいし、出力制御装置２０が行ってもよい。前者の場合、画像（ａ）のデータを受信した出力制御装置２０は、ＨＭＤ１８には当該データをそのまま出力し、平板型ディスプレイ１６には、画像（ａ）のうち左目用、右目用のどちらかの画像に、上記歪み補正と逆の補正を施し画像（ｂ）を生成したうえで出力する。

後者の場合は出力制御装置２０が、情報処理装置１０から送信された補正前の視差画像に歪み補正を施して画像（ａ）を生成しＨＭＤ１８に出力する、平板型ディスプレイ１６には補正前の視差画像のいずれか、すなわち画像（ｂ）をそのまま出力する。以後の説明では前者の態様を想定するが、後者の態様でも同様に適用できる。レンズ用の歪み補正やその逆補正については一般的な手法を適用することができる。

図５は情報処理装置１０と、あるＨＭＤ１８ａに画像データを出力する出力制御装置（出力制御装置２０ａとする）の機能ブロックの構成を示している。上述のとおり本実施の形態では、情報処理装置１０に出力制御装置２０を順次接続して出力データを伝送していくとともに、各出力制御装置２０に接続したＨＭＤ１８または平板型ディスプレイ１６へ適切な形式で画像を出力していく。図５はそのうち、情報処理装置１０とそれに直接接続された出力制御装置２０ａの構成を示しているが、その他の出力制御装置２０も同様の構成とする。なお以降の説明では、そのように接続された出力制御装置２０の配列のうち情報処理装置１０に近い側を上位、遠い側を下位と表現する。

図５に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリなどで実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、撮像装置１２および入力装置１４ａ、１４ｂからの入力データを取得する入力データ取得部７２、ゲームなど実行するアプリケーションに応じた情報処理を行う情報処理部７４、ゲーム画像やその音声など情報処理の結果として出力すべきデータを生成する出力データ生成部７８、最上位の出力制御装置２０ａと通信する通信部７６、出力制御装置２０ａを含む各種装置の接続状態を特定する接続状態特定部８０、出力データの生成に必要な基礎データを格納するデータ記憶部８１を含む。

入力データ取得部７２は、撮像装置１２が撮影した画像を所定のフレームレートで順次取得する。また、入力装置１４ａ、１４ｂを介したユーザ操作の内容を示す情報を取得する。ここでユーザ操作とは、実行するアプリケーションの選択、処理の開始／終了、コマンド入力など、一般的な情報処理でなされるものでよい。そして入力データ取得部７２は、取得した情報を情報処理部７４に供給する。

入力データ取得部７２はさらに、各ＨＭＤ１８内部の加速度センサが計測した結果を通信部７６から取得し、情報処理部７４に供給してもよい。入力データ取得部７２はまた、入力装置１４ａ、１４ｂから取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部７４における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。ただし入力データ取得部７２が取得するデータは、情報処理部７４が実行する情報処理の内容によって異なってよい。

情報処理部７４は、ユーザが指定したゲームなどの情報処理を実施する。この情報処理には、撮影画像から対象物の像を検出しそれを追跡する処理などを含んでよい。例えば頭部や手などユーザの体の一部を、輪郭線を利用して追跡したり、特定の模様や形状を有する対象物をパターンマッチングにより追跡したりしてもよい。これらの追跡処理には一般的な画像処理技術を適用できる。さらに各ＨＭＤ１８から送信された加速度センサによる計測値などの情報を統合することにより、ユーザの頭部の位置や姿勢を詳細に特定してもよい。情報処理部７４は、そのようにして得たユーザの動きや位置を入力値としたり、入力装置１４ａ、１４ｂを介したユーザ操作を入力値としたりして、ゲームを進捗させたり対応する処理を実施したりする。ただし情報処理の内容はこれらに限定されない。

出力データ生成部７８は、情報処理部７４からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えば上述のように、ユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を、左右の視差画像として描画したうえ、レンズを考慮した歪み補正を施して左右に配置した画像のデータを生成する。この画像をＨＭＤ１８において所定のフレームレートで左右の目の前に表示させ、仮想世界での音声をさらに出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。

通信部７６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）など所定のプロトコルにより出力制御装置２０ａと通信を確立し、出力データ生成部７８が生成した画像や音声の出力データを送信する。また通信部７６は出力制御装置２０ａを介して、その先に接続されている装置を検出する。接続状態特定部８０は、検出された装置の情報を統合して、その種類、数、接続関係といった接続状態に係る情報を特定し、情報処理部７４へ通知する。

ここで複数のＨＭＤ１８が検出され、かつそれぞれに異なる画像を表示させる場合、情報処理部７４は、各ＨＭＤ１８に対応する表示画像の生成を出力データ生成部７８に要求する。情報処理部７４はさらに、そのようにして生成した複数の表示画像のデータを縮小して接続した合成画像をフレームごとに生成するよう出力データ生成部７８に要求する。通信部７６はこのようにして生成された合成画像のデータも、出力制御装置２０ａへ同様に送信する。なお具体的な合成例については後に詳述する。

出力制御装置２０ａは、情報処理装置１０から送信された出力データを取得する第１通信部８２、取得した出力データを必要に応じて適切な形式に加工する出力データ形成部８４、接続されたＨＭＤ１８ａへデータを出力する第２通信部８６、接続された別の装置へデータを出力する第３通信部８８を含む。第１通信部８２は、上位に接続された装置と所定のプロトコルにより通信を確立し、情報処理装置１０から送信された出力データを直接的、または間接的に取得する。図５に示した出力制御装置２０ａは、直接、情報処理装置１０に接続していることから、出力データも直接取得できる。それより下位の出力制御装置２０は、上位の出力制御装置２０から出力データを順次取得する。

出力データ形成部８４は、第１通信部８２が取得した出力データに必要に応じた加工を施し、ＨＭＤ１８ａへ出力可能な状態として第２通信部８６へ出力する。具体的には、取得した出力データに合成画像のデータが含まれている場合に、ＨＭＤ１８ａに表示すべき画像のみを抽出して元の画像サイズへ拡大することにより、図４の画像（ａ）のような画像を生成する。第１通信部８２が取得した出力データに合成画像が含まれていない場合、すなわち元から図４の画像（ａ）の状態にある場合、出力データ形成部８４は当該データをそのまま第２通信部８６へ出力してよい。後者のケースとして、ＨＭＤ１８ａ以外にＨＭＤ１８が接続されていない場合、もしくは複数のＨＭＤ１８全てに共通の画像を表示させる場合が考えられる。

出力データ形成部８４はさらに、第３通信部８８に接続されている装置に対しても、出力可能な状態のデータを適宜生成して出力する。第３通信部８８に接続される可能性のある装置として、別の出力制御装置２０ｂ、平板型ディスプレイ１６、別のＨＭＤ１８ｂが考えられる。別の出力制御装置２０ｂが接続されている場合、出力データ形成部８４は、第１通信部８２が取得した出力データをそのまま第３通信部８８へ出力してよい。平板型ディスプレイ１６が接続されている場合、出力データ形成部８４は、第１通信部８２が取得した出力データに加工を施し、平板型ディスプレイ用の画像を生成する。具体的には上述のように、ＨＭＤ用の画像の左右どちらかの画像に逆補正をかけることにより、図４の画像（ｂ）のような画像を生成する。

第３通信部８８に別のＨＭＤ１８ｂが接続されている場合は、第２通信部８６に接続されているＨＭＤ１８ａに対し出力するデータを生成したのと同様の処理を行う。すなわち、取得した出力データに合成画像のデータが含まれている場合は、ＨＭＤ１８ｂに表示すべき画像を抽出して元の画像サイズへ拡大し、合成画像が含まれていない場合はそのまま第３通信部８８へ出力する。このように出力データ形成部８４は、第３通信部８８に接続されている装置の種類によって、第３通信部８８へ出力するデータを適宜切り替える。出力データ形成部８４はそのほか、出力データに含まれる音声データの復号などの処理を必要に応じて行う。

第２通信部８６は、接続されたＨＭＤ１８ａと所定のプロトコルにより通信を確立し、出力データ形成部８４が出力可能な状態にした出力データを送信することにより、ＨＭＤ１８ａに動画や音声を出力させる。第３通信部８８は、別の出力制御装置２０ｂ、平板型ディスプレイ１６、または別のＨＭＤ１８ｂが接続された場合に、それと通信を確立し、出力データ形成部８４がそれらの装置に出力可能な状態にした出力データを送信する。

なお情報処理装置１０の通信部７６、出力制御装置２０ａの第１通信部８２、第２通信部８６、第３通信部８８は、通信に用いるプロトコルで規定される信号の送受により、接続先の装置の種類を検知する。この情報をプロトコルに応じた処理手順によって情報処理装置１０側で集約することにより、接続状態特定部８０は、接続されている出力制御装置２０の数やそれぞれに接続されている表示装置の種類を特定することができる。

このような処理には一般的な通信技術を適用できる。例えばＨＤＭＩにより接続した場合、ホットプラグ検出信号により接続装置を検出したり、ＨＤＭＩ−ＣＥＣ（Consumer Electronics Control）の仕組みを利用して装置の種類を認識しアドレッシングにより接続順を特定したりできる。あるいはＵＳＢによる装置検出機能およびアドレッシング機能を利用することもできる。

図６は情報処理装置１０が出力する合成画像のデータを説明するための図である。同図上段の画像２０８ａ、２０８ｂは、それぞれがＨＭＤ１８にそのまま表示することにより適正に見える画像であり、例えば画像２０８ａをＨＭＤ１８ａに、画像２０８ｂをＨＭＤ１８ｂに表示させるとする。このとき出力データ生成部７８はまず、各ＨＭＤ１８ａ、１８ｂに対応させて画像２０８ａ、２０８ｂを生成する。次に生成した画像２０８ａ、２０８ｂをそれぞれ、横方向に１／２倍に縮小したうえ、左右に接続することにより、出力用の合成画像２１０を生成する。

すなわちこの場合の合成画像２１０は、画像領域を横方向に２分割したうちの左の領域２１２ａに第１の画像２０８ａの縮小画像、右の領域２１２ｂに第２の画像２０８ｂの縮小画像を配置した構成を有する。情報処理装置１０は、このような合成画像２１０をフレームごとに生成し、順次出力していく。Ｎ個のＨＭＤ１８全てに異なる画像を表示させる場合は、第１の画像、第２の画像、・・・、第Ｎの画像を、それぞれ横方向に１／Ｎ倍に縮小した画像を横方向に接続していけばよい。このようにすることで、接続されているＨＭＤ１８の数によらず出力されるデータ量は一定となるため、通信用のハードウェアを拡張する必要がなく転送レートも一定となる。

合成画像２１０を生成する場合、出力データ生成部７８は、合成画像２１０中の領域と、それを拡大して表示すべきＨＭＤ１８とを対応づけた情報を付加情報として出力データに含める。この情報は、一連の動画データの出力開始時に送信してもよいし、各フレームに対し付加するなど定期的に送信してもよい。情報処理部７４は、あらかじめ付与しておいたＨＭＤ１８の識別情報に対応づけて各表示画像の生成処理を出力データ生成部７８に要求するとともに、当該識別情報と合成画像におけるデータの配置との対応を決定し出力データ生成部７８に通知することにより合成画像の生成も要求する。

表示画像の生成に必要なモデルデータや、合成画像を生成する場合の配置規則などはデータ記憶部８１に格納しておく。出力制御装置２０の出力データ形成部８４は、例えば図６の合成画像２１０のうち領域２１２ａの部分を抽出し、横方向に２倍に拡大することにより画像２０８ａを復元しＨＭＤ１８に出力する。この際、自らが抽出すべき領域は、情報処理装置１０から送信された出力データの付加情報を参照することにより特定する。なお画像の縮小拡大処理には、最近傍法、バイリニア補間法、バイキュービック補間法、Lanczos法など一般的な手法のいずれを用いてもよい。

図７〜１２は、本実施の形態の情報処理システム８における各装置の接続状態とその間を伝送する画像データの構成例を示している。まず図７は基本的な例として、１つの出力制御装置２０にＨＭＤ１８と平板型ディスプレイ１６が接続された場合を示している。この場合、情報処理装置１０は、ＨＭＤ１８に表示させる画像１２０を生成したら、その画像１２０のまま出力制御装置２０に送信する（Ｓ１０）。出力制御装置２０は当該画像１２０を、接続されたＨＭＤ１８にそのまま出力して表示させるとともに（Ｓ１２）、平板型ディスプレイ用の表示画像１２２を生成して平板型ディスプレイ１６に送信する（Ｓ１４）。

なお同図においてＨＭＤ用の画像１２０は図４の画像（ａ）に対応し、矩形内の「Ｌ」と表記した楕円が左目用画像、「Ｒ」と表記した楕円が右目用画像を示している。また平板型ディスプレイ用の画像１２２は図４の画像（ｂ）に対応し、この場合、画像１２０の左目用画像を逆補正した画像が「Ｌ」と表記した矩形部分に表される。ただし平板型ディスプレイ用の画像として、右目用画像を逆補正したものを用いてもよいし、左目用画像と右目用画像の双方を逆補正し平板型ディスプレイに同時に表示させることにより立体視させてもよい。

図８は、図７で示した接続状態における平板型ディスプレイ１６の代わりに、２つめのＨＭＤ１８ｂを接続したものである。この２つのＨＭＤ１８ａ、１８ｂには同じ画像を表示させるとする。この場合、情報処理装置１０は、ＨＭＤ１８ａ、１８ｂに共通に表示させる画像を生成したら、その画像１２０のまま出力制御装置２０に送信する（Ｓ２０）。出力制御装置２０は当該画像１２０を、接続された２つのＨＭＤ１８ａ、１８ｂにそのまま出力し、それぞれに表示させる（Ｓ２２、Ｓ２４）。これにより、２人のユーザが同じ映像を鑑賞したり仮想世界における体験を共有したりできる。

図９は、図８で示した接続状態と同様、１つの出力制御装置２０に２つのＨＭＤ１８ａ、１８ｂが接続されているが、両者に異なる画像を表示させる場合を示している。このとき情報処理装置１０は、ＨＭＤ１８ａ、１８ｂのそれぞれに表示させる画像を生成したら、それらを横方向に１／２倍に縮小し左右に接続した合成画像１２４を出力制御装置２０に送信する（Ｓ３０）。なお合成画像１２４の矩形において、「Ｌ１」、「Ｒ１」と表記した楕円がＨＭＤ１８ａ用の左右の表示画像、「Ｌ２」、「Ｒ２」と表記した楕円がＨＭＤ１８ｂ用の左右の表示画像を、それぞれ横方向に縮小した画像を示している。

出力制御装置２０は、情報処理装置１０から送信された付加情報に含まれる、合成画像中の領域とＨＭＤ１８の識別情報との対応関係に基づき、ＨＭＤ１８ａ、１８ｂに表示させる画像１２６、１２８をそれぞれ生成し、各ＨＭＤ１８ａ、１８ｂに出力して表示させる（Ｓ３２、Ｓ３４）。図示する例では、ＨＭＤ１８ａ用には、「Ｌ１」、「Ｒ１」と表記された楕円を含む左半分の領域を合成画像１２４から抽出し、それを横方向に２倍に拡大することによりＨＭＤ１８ａ用の表示画像１２６を生成してＨＭＤ１８ａに送信する（Ｓ３２）。

同様に、ＨＭＤ１８ｂ用には、「Ｌ２」、「Ｒ２」と表記された楕円を含む右半分の領域を合成画像１２４から抽出し、それを横方向に２倍に拡大することによりＨＭＤ１８ｂ用の表示画像１２８を生成してＨＭＤ１８ｂに送信する（Ｓ３４）。この態様により、２人のユーザが個別の視点から同じ仮想世界を眺めたり、同じゲームの異なる画面を見たりする態様を実現できる。

図１０は、２つの出力制御装置２０ａ、２０ｂに、２つのＨＭＤ１８ａ、１８ｂをそれぞれ接続し、さらに下位の出力制御装置２０ｂに平板型ディスプレイ１６を接続した場合を示している。この接続状態においてＨＭＤ１８ａ、１８ｂに異なる画像を表示させる場合、まず図９で説明したのと同様、情報処理装置１０はＨＭＤ１８ａ、１８ｂに表示させる画像を横方向に１／２倍に縮小して左右に接続した合成画像１２４を上位の出力制御装置２０ａに送信する（Ｓ４０）。

出力制御装置２０ａは情報処理装置１０から送信された付加情報に含まれる、合成画像中の領域とＨＭＤ１８の識別情報との対応関係に基づき、接続されたＨＭＤ１８ａに対応する領域、同図の例では「Ｌ１」、「Ｒ１」と表記された楕円を含む領域を特定する。そして当該領域を合成画像１２４から抽出し、それを横方向に２倍に拡大することによりＨＭＤ１８ａ用の表示画像１２６を生成してＨＭＤ１８ａに送信する（Ｓ４２）。出力制御装置２０ａはまた、下位に接続されている出力制御装置２０ｂに、情報処理装置１０から送信された合成画像１２４のデータをそのまま送信する（Ｓ４４）。

出力制御装置２０ｂは、情報処理装置１０から送信された付加情報に含まれる、合成画像中の領域とＨＭＤ１８の識別情報との対応関係に基づき、接続されたＨＭＤ１８ｂに対応する領域、同図の例では「Ｌ２」、「Ｒ２」と表記された楕円を含む領域を特定する。そして当該領域を合成画像１２４から抽出し、それを横方向に２倍に拡大することによりＨＭＤ１８ｂ用の表示画像１２８を生成してＨＭＤ１８ｂに送信する（Ｓ４６）。出力制御装置２０ｂはまた、合成画像１２４からＨＭＤ１８ａの左目用画像に対応する領域を抽出し、それを横方向に２倍に拡大したうえ逆補正をかけることにより、平板型ディスプレイ用の表示画像１３０を生成して平板型ディスプレイ１６に送信する（Ｓ４８）。

図１０で示したように、各出力制御装置２０が有する出力端子が２つのみであっても、その一方に別の出力制御装置２０を接続することにより、３つ以上の表示装置での並列表示が可能となる。出力制御装置２０の接続数をさらに増やせば、並列表示させる表示装置の数も増やすことができる。図１１はその一例として、４つのＨＭＤ１８を接続する場合を示している。この例では、情報処理装置１０に４つの出力制御装置２０ａ、２０ｂ、２０ｃ、２０ｄが直列に接続され、各出力制御装置２０ａ、２０ｂ、２０ｃ、２０ｄにＨＭＤ１８ａ、１８ｂ、１８ｃ、１８ｄがそれぞれ接続されている。

４つのＨＭＤ１８ａ、１８ｂ、１８ｃ、１８ｄに個別の画像を表示させる場合、情報処理装置１０は、各ＨＭＤ１８ａ、１８ｂ、１８ｃ、１８ｄに対応する表示画像を、それぞれ横方向に１／４倍に縮小し、横方向に接続した合成画像１３４を生成したうえ、最上位の出力制御装置２０ａに送信する（Ｓ５０）。同図の例では、ＨＭＤ１８ａ、１８ｂ、１８ｃ、１８ｄに対応する表示画像をそれぞれ「Ｌ１／Ｒ１」、「Ｌ２／Ｒ２」、「Ｌ３／Ｒ３」、および「Ｌ４／Ｒ４」と表記している。出力制御装置２０ａは付加情報を参照し、接続されたＨＭＤ１８ａに対応する領域を合成画像１３４から抽出して横方向に４倍に拡大することにより、ＨＭＤ１８ａ用の表示画像１３６を生成しＨＭＤ１８ａに送信する（Ｓ５２）。

出力制御装置２０ａはまた、下位に接続されている出力制御装置２０ｂに、情報処理装置１０から送信された合成画像１３４のデータをそのまま送信する（Ｓ５４）。以後、出力制御装置２０ｃ、２０ｄには、合成画像１３４のデータが順次伝送されるとともに（Ｓ５８、Ｓ６２）、それぞれの出力制御装置２０ｂ、２０ｃ、２０ｄに接続されているＨＭＤ１８ｂ、１８ｃ、１８ｄには、それぞれの表示画像１３８、１４０、１４２が復元されて送信される（Ｓ５６、Ｓ６０、Ｓ６４）。これにより４つのＨＭＤ１８ａ〜１８ｄには個別の画像が表示される。

同様の構成とすることで、必要な転送レートを一定としたまま、任意の数のＨＭＤ１８に異なる画像を表示させることができる。また出力制御装置２０ｄにさらに平板型ディスプレイ１６を接続したり、ＨＭＤ１８ａ〜１８ｄの少なくともいずれかを平板型ディスプレイ１６に置き換えたりすることで、任意の数の平板型ディスプレイ１６や、任意の数のＨＭＤ１８と平板型ディスプレイ１６とを組み合わせた表示システムに、画像を並列表示させることができる。なお同図ではＨＭＤ１８ａ〜１８ｄの接続順と、合成画像１３４における表示画像の配置順が対応しているが、上述のとおり付加情報において両者を対応づけておけば、それらの順序は特に限定されない。

また図１０、１１で示した態様では、情報処理装置１０が出力した合成画像１２４、１３４のデータを、複数の出力制御装置２０間でそのまま伝送させた。一方、これらの例のように複数のＨＭＤ１８が全て異なる画像を表示する場合は、上位の出力制御装置２０は自らが抽出した画像を元の合成画像から除外したうえ、残りの画像データを次に接続されている下位の出力制御装置２０へ送信するようにしてもよい。このようにすると、出力制御装置２０を通過するほど、伝送すべき画像データのサイズを減らすことができる。

図１２は、図１１と同様に接続された４つのＨＭＤ１８ａ、１８ｂ、１８ｃ、１８ｄが複数のグループを形成し、グループごとに個別の画像を表示させる場合を示している。同図の例では、各ＨＭＤ１８ａ〜１８ｄに付記されるように、ＨＭＤ１８ａ、１８ｃ、１８ｄがグループ「ａ」に、ＨＭＤ１８ｂがグループ「ｂ」に属しているとしている。この場合、情報処理装置１０は、各グループに対応する表示画像（「Ｌａ／Ｒａ」および「Ｌｂ／Ｒｂ」と表記）を横方向に１／２倍に縮小し、左右に接続した合成画像１５４を生成したうえ、最上位の出力制御装置２０ａに送信する（Ｓ７０）。

出力制御装置２０ａは付加情報を参照し、接続されたＨＭＤ１８ａが属するグループ「ａ」に対応する領域を合成画像１５４から抽出して横方向に２倍に拡大することにより、グループ「ａ」用の表示画像１５６を生成しＨＭＤ１８ａに送信する（Ｓ７２）。出力制御装置２０ａはまた、下位に接続されている出力制御装置２０ｂに、情報処理装置１０から送信された合成画像１５４のデータをそのまま送信する（Ｓ７４）。出力制御装置２０ｂは、接続されたＨＭＤ１８ｂが属するグループ「ｂ」に対応する領域を合成画像１５４から抽出して横方向に２倍に拡大することにより、グループ「ｂ」用の表示画像１５８を生成しＨＭＤ１８ｂに送信する（Ｓ７６）。

出力制御装置２０ｂはまた、下位に接続されている出力制御装置２０ｃに、情報処理装置１０から送信された合成画像１５４のデータをそのまま送信する（Ｓ７８）。出力制御装置２０ｃは、出力制御装置２０ａと同様、グループ「ａ」用の表示画像１５６を生成し、接続されたＨＭＤ１８ｃに送信するとともに（Ｓ８０）、下位に接続されている出力制御装置２０ｄに、情報処理装置１０から送信された合成画像１５４のデータをそのまま送信する（Ｓ８２）。出力制御装置２０ｄもグループ「ａ」用の表示画像１５６を生成し、接続されたＨＭＤ１８ｄに送信する（Ｓ８４）。

図示する例では、４つのＨＭＤ１８ａ〜１８ｄを、ａとｂの２つのグループに分けたが、ＨＭＤ１８やグループの数は特に限定されない。このような態様は、チーム対抗のゲームにおいてチームごとに個別の視野を表示させる場合や、ゲームの参加者と観戦者など立場によって表示画面を異ならせたりする場合などに適用できる。また上述のように平板型ディスプレイ１６を接続する場合は、当該平板型ディスプレイ１６の画面を複数の領域に分割して各ＨＭＤ１８に表示されている画像の例えば左目用画像を並列表示させてもよい。

このようにすると、例えばレースゲームに参加している各ユーザがＨＭＤ１８で個々に見ている画像を、並べた状態で見せることができ、ゲームに参加していないユーザが観戦を楽しむことができる。また情報処理装置１０が出力する合成画像はＨＭＤ用の画像のみで構成するのに限らず、平板型ディスプレイ１６にそのまま表示できる状態の画像を含めたり、複数の平板型ディスプレイ１６にそれぞれ表示させる複数の画像を含めたりしてもよい。情報処理装置１０はそのような合成画像のデータを、ネットワークを介して別の情報処理装置やサーバに送信し、遠隔地にある表示装置に表示させてもよい。

図１３は情報処理装置１０が管理する装置の接続状態と処理に用いるパラメータの対応情報のデータ構造例を示している。装置管理情報１６０は、表示装置ＩＤ欄１６２、物理ＩＤ欄１６４、出力制御装置ＩＤ欄１６６、表示装置タイプ欄１６８、グループＩＤ欄１７０、画像領域欄１７２を含む。上述のとおり情報処理装置１０に出力制御装置２０、ＨＭＤ１８、平板型ディスプレイ１６が接続されると、接続状態特定部８０は、通信機能を利用して接続されている装置を検出し、各装置の物理アドレスに対し識別情報（論理アドレス）を割り当てる。

図示する装置管理情報１６０において表示装置ＩＤ欄１６２に記載される情報は、検出された装置のうち表示装置、すなわちＨＭＤ１８または平板型ディスプレイ１６に割り当てられた識別番号であり、上位から昇順に番号を割り当てることで接続順に係る情報も表している。物理ＩＤ欄１６４は各表示装置が有する物理アドレスを表す。出力制御装置ＩＤ欄１６６は、各表示装置が接続されている出力制御装置２０の識別情報を表す。表示装置タイプ欄１６８は、各表示装置の種類、すなわちＨＭＤか平板型ディスプレイ（図では「ＴＶ」と表記）かを識別する情報を表す。

図示する例では、識別番号「０１」〜「０４」の表示装置がＨＭＤ、識別番号「０５」の表示装置が「ＴＶ」すなわち平板型ディスプレイである。また識別番号「０１」〜「０４」のＨＭＤが識別情報「Ａ」〜「Ｄ」の出力制御装置２０にそれぞれ接続され、識別情報「Ｄ」の出力制御装置２０にはさらに、識別番号「０５」の平板型ディスプレイが接続されている。接続状態特定部８０は、これらの対応情報を収集し情報処理部７４に通知する。一方、情報処理部７４は、全ての表示装置に共通の画像を表示させるか、全てに別の画像を表示させるか、グループごとに別の画像を表示させるかを、ゲームの内容などに応じて決定しておく。

グループごとに別の画像を表示させる場合は、各表示装置が属するグループを特定する。例えばユーザごとに自分のＨＭＤ１８が決まっている場合、別途、ユーザＩＤとＨＭＤ１８の物理アドレスとを対応づけた情報を保持しておき、ゲームの開始時などにユーザ操作によりユーザＩＤをグループ分けすれば、結果として各表示装置の識別番号とグループとを紐付けることができる。ただしＨＭＤ１８とユーザ、ＨＭＤ１８とグループなどの対応づけには様々な手法が考えられることは当業者には理解されるところである。

図示する装置管理情報１６０において、グループＩＤ欄１７０には、そのようにして各ＨＭＤ１８に対応づけたグループの識別情報が表される。図示する例では、識別番号「０１」、「０３」、「０４」の３つのＨＭＤ１８がグループ「ａ」、識別番号「０２」のＨＭＤがグループ「ｂ」に属しているとしている。この例は図１２で示したグループ分けに対応する。また識別番号「０５」は平板型ディスプレイ１６であるため、この例ではグループ「ａ」、「ｂ」双方に属するようにすることで、分割画面に両方の画像を並列表示する設定としている。ただし上述のようにどちらか一方の画像のみを表示するようにしてもよい。グループ分けの必要がないゲームなどでは当然、グループＩＤ欄１７０は省略できる。

続いて情報処理部７４は、各グループのＨＭＤ１８に表示すべき画像データの合成画像における配置を決定する。図１３の下段にはその配置例を模式的に示している。図１２で説明したのと同様、この例では、合成画像１７４のうち左半分がグループ「ａ」の左右の画像データ、右半分がグループ「ｂ」の左右の画像のデータとしている。このように画像領域を横方向に分割して各表示画像のデータを配置する場合、装置管理情報１６０の画像領域欄１７２には、合成画像の横方向の範囲を設定する。例えば図示するように、合成画像１７４の横方向のサイズをＸ画素とした場合、画像の左端を０、右端をＸとする座標軸における範囲を、（始点座標，終点座標）などの形式で指定する。

図示する例では、グループ「ａ」に属する識別番号「０１」、「０３」、「０４」のＨＭＤ１８に対し、合成画像１７４の左半分を表す（０，Ｘ／２−１）の領域が指定されている。グループ「ｂ」に属する識別番号「０２」のＨＭＤ１８に対しては、合成画像の右半分を表す（Ｘ／２，Ｘ）の領域が指定されている。さらに、両グループの画像を同時に表示する識別番号「０５」の平板型ディスプレイ１６に対しては、各グループの左目用画像に対応する（０，Ｘ／４−１）と（Ｘ／２，３Ｘ／４−１）の領域が指定されている。

このような装置管理情報１６０はデータ記憶部８１に格納しておき、情報処理装置１０内部で情報を共有する。出力データ生成部７８は、情報処理部７４から要求された画像生成処理を、表示装置の識別番号あるいはグループの識別情報に対応づけて実施し表示画像を生成したあと、それらを横方向に縮小し、画像領域欄１７２に指定されているように接続することにより合成画像１７４を生成する。また情報処理装置１０は、装置管理情報１６０が表す対応関係を、付加情報として出力制御装置２０に送信する。

一方、合成画像１７４のデータを受け取った各出力制御装置２０は、付加情報に基づき自らに接続されている表示装置に対応する領域を特定し、合成画像１７４から抽出して最終的な表示画像を形成する。なおここで示した装置管理情報１６０の各欄や表記のフォーマット等はあくまで例示であり、ゲームの内容や通信プロトコルなどによって様々な形態が考えられる。例えばさらにユーザＩＤを対応づけてもよいし、各ユーザが持つ入力装置のＩＤと対応づけてもよい。

次にこれまで述べた構成によって実現される情報処理システム８の動作について説明する。図１４は情報処理装置１０が各表示装置にて表示させる画像のデータを出力する処理手順を示すフローチャートである。まず情報処理装置１０に出力制御装置２０等が接続されることにより情報処理システム８が構築されたら、通信部７６および接続状態特定部８０は、接続された装置を検出して識別番号を付与する（Ｓ１００）。その情報は情報処理部７４および検出された各装置に通知される。

ゲームの内容などに応じてユーザがグループを形成する場合（Ｓ１０２のＹ）、別途設定したグループ分け情報やユーザとＨＭＤとの対応情報などに従い、ＨＭＤ１８をグループに分けるとともにグループの数を変数Ｎに代入する（Ｓ１０４）。一方、グループを形成しない場合は（Ｓ１０２のＮ）、ＨＭＤの数を変数Ｎに代入する（Ｓ１０６）。そして画像領域を横方向にＮ分割した領域と、各ＨＭＤあるいは各グループとを対応づけ（Ｓ１０８）、各出力制御装置２０に当該対応情報を通知する（Ｓ１１０）。なおＨＭＤ１８が１つのみ接続されている場合、Ｎ＝１であるため分割はなされない。

そして情報処理部７４と出力データ生成部７８との協働により表示画像を生成し、それを必要に応じて横方向に１／Ｎ倍に縮小して対応づけた領域に配置することにより出力用の画像を生成し出力する（Ｓ１１２）。出力用の画像とは、Ｎ＝１の場合は１つの表示画像、Ｎ＞１の場合は複数の表示画像からなる合成画像である。処理を終了させる必要がない間は、所定のフレームレートで出力用の画像の生成および出力処理を継続し（Ｓ１１４のＮ、Ｓ１１２）、ユーザが終了要求を入力したりゲームが終了したりして処理を終了させる必要が生じたら全ての処理を終える（Ｓ１１４のＹ）。

図１５は出力制御装置２０が各表示装置に画像を表示させる処理手順を示すフローチャートである。まず出力制御装置２０は、表示装置あるいはグループと、合成画像内の領域との対応を示す情報を取得する（Ｓ１２０）。この情報は、図１４のＳ１１０で情報処理装置１０から通知されるものである。ただし上述のように、この対応情報を通知するタイミングは特に限定されず、毎フレームや所定数のフレームごとなど定期的に出力用画像に付加してもよい。

次いで出力制御装置２０は、情報処理装置１０から送信された画像データを取得する（Ｓ１２２）。取得した画像が合成画像の場合は（Ｓ１２４のＹ）、自らに接続されているＨＭＤ１８またはそれが属するグループに対応する領域を合成画像から抽出し、横方向に拡大することにより最終的な表示画像を生成する（Ｓ１２６）。情報処理装置１０から送信された画像が合成画像か否か、抽出すべき領域、および拡大率は、Ｓ１２０で取得した対応情報から特定できる。

情報処理装置１０から送信された画像が合成画像でない場合は、接続されているＨＭＤ１８が１つのみか、複数のＨＭＤ全てに共通の画像を表示させるか、であるため、当該画像がそのまま表示画像となる（Ｓ１２４のＮ）。次に出力制御装置２０は、自らに平板型ディスプレイ１６が接続されている場合（Ｓ１２８のＹ）、いずれかの左目用の画像のデータを抽出して逆補正をかけるなどして、平板型ディスプレイ用の表示画像を生成する（Ｓ１３０）。平板型ディスプレイ１６が接続されていなければ（Ｓ１２８のＮ）、Ｓ１３０の処理はスキップする。

そして接続されているＨＭＤ１８にＳ１２６で生成した表示画像のデータを、平板型ディスプレイ１６にＳ１３０で生成した表示画像のデータを、それぞれ出力することにより、各表示装置に画像を表示させる（Ｓ１３２）。このとき、下位に別の出力制御装置２０が接続されている場合は、Ｓ１２２で情報処理装置１０から取得した画像のデータを、当該別の出力制御装置２０にそのまま出力する。処理終了の必要がない間は、情報処理装置１０から直接的または間接的に送信される画像データに対し、Ｓ１２４〜Ｓ１３２の処理を繰り返す（Ｓ１３４のＮ、Ｓ１２２）。これにより各ＨＭＤ１８および平板型ディスプレイ１６には、ゲーム画面などの動画像がそれぞれ表示される。情報処理装置１０からの通知などによって処理を終了させる必要が生じたら全ての処理を終える（Ｓ１３４のＹ）。

これまで述べた例では、図６に例示したように、合成画像の画像領域を横方向にＮ分割してなる領域に、各ＨＭＤ１８の表示画像を横方向に１／Ｎ倍に縮小した画像を配置することにより、ＨＭＤ１８の数によらず同じサイズの画像を送信できるようにした。合成画像の構成はこれに限らず、例えば縦方向にＮ分割してなる領域に縮小した表示画像を配置してもよい。図１６は表示画像を縦方向に接続した合成画像について説明するための図である。同図上段はこの場合の合成画像１８０、下段は２つのＨＭＤ１８にそれぞれ表示すべき画像１８２、１８４である。

この例で画像１８２、１８４は元々、画面を横方向に分割してなる領域に左右の視差画像を並べたものであるため、合成画像１８０を図示するような縦方向の配列とするには、１つの表示画像を構成する左右の画像についても並び替えが必要となる。すなわち画像１８２のうち「Ｌ１」と表記された左目用の画像を合成画像１８０の１段目に、「Ｒ１」と表記された右目用の画像を合成画像１８０の２段目に配置する。同様に、画像１８４のうち「Ｌ２」と表記された左目用の画像を合成画像１８０の３段目に、「Ｒ２」と表記された右目用の画像を合成画像１８０の４段目に配置する。ここで「Ｌ１」、「Ｒ１」、「Ｌ２」、「Ｒ２」の画像をそれぞれ、横方向に２倍に拡大し、縦方向に１／４倍に縮小してから縦方向に接続することにより、図示するように元の画像１８２、１８４と同じサイズの合成画像１８０が得られる。

同様に、合成画像にＮ個のＨＭＤ用の画像を含めるときは、各画像の左目用、右目用の画像をそれぞれ横方向に２倍に拡大し、縦方向に１／（２Ｎ）倍に縮小したうえ、左目用画像、右目用画像など所定の順序で接続していく。これにより、画像領域を縦方向にＮ分割してなる各領域に、１つの表示画像に対応する左目用画像、右目用画像が縦に配列した合成画像を生成できる。各出力制御装置２０は、接続されたＨＭＤ１８に対応する領域を抽出し、左目用画像、右目用画像をそれぞれ縦方向に２Ｎ倍に拡大し、横方向に１／２倍に縮小したうえ、左右に並べることにより、画像１８２、１８４を復元する。この場合、装置管理情報１６０の画像領域欄１７２における領域指定が縦方向の座標軸を示す以外、処理手順は図１４、１５で示したのと同様でよい。

図６で示したように複数の表示画像を横方向に接続する場合、情報処理装置１０が合成画像の画素値をラスタ順に出力すると、出力制御装置２０は対応する領域の画素を、出力された順に補間しながらＨＭＤ１８に出力すればよいため、バッファメモリの必要容量が少なくてすむ。図１６に示したように複数の表示画像を縦方向に接続する場合、ラスタ順に「Ｌ１」、「Ｒ１」、「Ｌ２」、「Ｒ２」と出力されるため、出力制御装置２０は例えば、「Ｒ１」の１行目のデータを表示画像として出力するまでに、「Ｌ１」の最終行までのデータを一旦保存しておく必要がある。

つまり縦方向に接続する態様では、少なくとも左目用画像の縮小画像全体を格納する容量のバッファメモリが必要となる。また合成画像に含めるべき画像の数が増えるほど、合成画像の下側に位置するデータの入力が遅くなり、そのデータを用いた画像の表示開始までの時間がフレーム周期以下の微小時間だけ遅延することになる。一方で、縦方向に接続する場合、元の表示画像を横方向に縮小する必要がないため、当該横方向の情報が失われない。ＨＭＤ１８に左右の視差画像を表示し立体視させる態様において、横方向の情報は左右の視差を表しているため立体感に影響を与えやすい。

結果として、縦方向の接続態様の方が立体感を損いにくい。これらのことから、表示画像の接続方向を横方向とするか縦方向とするかは、使用できるメモリ容量や表示内容、立体視させるか否かなどに応じて適宜決定する。なお図１６の例は、左右の視差画像のデータのみで合成画像を構成することを想定していたが、平板型ディスプレイ１６などに表示させる単一の画像を含める場合は、単に縦方向に１／Ｎ倍に縮小すればよい。

これまで述べた態様は、各ＨＭＤ１８に表示させる画像を縮小して合成し、元の画像と同じサイズの合成画像とすることで、単位時間に送信すべきデータ量（伝送帯域）がＨＭＤ１８の数に影響されないようにした。一方、次に述べるような変形例も考えられる。図１７、図１８は、複数のＨＭＤに表示する画像データの送信態様の変形例を説明するための図である。まず図１７は、表示させる複数の画像を、縮小せずに接続して送信する例を表している。同図上段はこの場合の合成画像２２０、下段は４つのＨＭＤ１８にそれぞれ表示すべき画像２２２、２２４、２２６、２２８である。

図示するように合成画像２２０は、４つの表示画像２２２、２２４、２２６、２２８を、横方向に２つ、縦方向に２つ、そのまま接続した画像である。結果として合成画像２２０は、元の画像の４倍のサイズを有する。このようにすると情報処理装置１０および各出力制御装置２０間での伝送帯域は４倍になるが、各ＨＭＤ１８においては合成画像２２０から抽出した表示画像を拡大する必要なく表示できるため、出力制御装置２０の処理の負荷が軽減される。なお合成画像として接続する画像は４つに限らず、接続順も図示するものに限らない。場合によっては１つの表示画像を分割して複数の行または列に接続してもよい。さらに、表示画像を縮小する態様と組み合わせ、合成画像のサイズの拡張を許容しつつ、より多くの表示画像を合成するようにしてもよい。

図１８は、表示させる複数の画像を、縮小せずに高レートで送信する例を表している。同図上段は、通常の１フレーム分の出力周期に出力する画像列２３０、下段は２つのＨＭＤ１８にそれぞれ表示すべき画像２３２、２３４である。すなわちこの例では、各ＨＭＤ１８に表示させる画像２３２、２３４を、画像平面上で接続するのでなく、同図に「ｔ」で示される時間軸方向に並べる。各画像２３２、２３４は動画のフレーム画像であるため、結果として２つの動画のフレーム画像を、２倍のレートで交互に出力することになる。３つ以上の動画を含める場合も、それらのフレーム画像を順繰りに出力する。

この場合、出力制御装置２０は、対応するＨＭＤ１８に表示すべきフレームのデータが到来するタイミングで当該データを抽出する。そのため情報処理装置１０は、ＨＭＤ１８の数に応じて出力順を決定し、その順序と表示すべきＨＭＤ１８とを対応づけた付加情報を送信する。この態様では、表示すべき画像がＮ個のとき出力レートをＮ倍にするため、情報処理装置１０および各出力制御装置２０間での伝送帯域はＮ倍になる。一方、図１７の態様と同様、各ＨＭＤ１８においては取得した画像を拡大する必要なく表示できるため、出力制御装置２０の処理の負荷が軽減される。この場合も、表示画像を縮小する態様と組み合わせ、出力レートの増加を許容しつつ、より多くの表示画像を出力できるようにしてもよい。

次に、情報処理装置１０から送信される画像中の領域とＨＭＤ１８との対応情報を送信する手法を例示する。上述のとおり当該対応情報は、一連の出力データを情報処理装置１０から送信するのに先立ち出力制御装置２０に送信しておいてもよいし、出力データに付加情報として含めてもよい。図１９は後者の一実施形態として、情報処理装置１０が出力する画像内に情報を埋め込む手法を説明するための図である。画像１９０は、情報処理装置１０から出力制御装置２０に送信される画像であり、同図の例では、図１２、１３で例示したように、グループ「ａ」用の表示画像とグループ「ｂ」用の表示画像を接続した合成画像としている。

この例のようにレンズに対応する歪み補正を施した視差画像を表示する場合、表示画像１９０のうちゲーム画面や仮想世界など表示すべき内容が表されるのは、「Ｌａ」、「Ｒａ」、「Ｌｂ」、「Ｒｂ」と表記された部分であり、それ以外の領域は不可視領域となる。そこで当該不可視領域を利用して対応情報を表すようにすることで、データ量を増やすことなく必要な情報が伝送されるようにする。例えば画像１９０のうち、グループ「ａ」の表示画像のデータを含む左半分の不可視領域１９２ａと、グループ「ｂ」の表示画像のデータを含む右半分の不可視領域１９２ｂとを、異なる色で塗りつぶす。

接続されているＨＭＤ１８が属するグループに対応する色の情報を事前に出力制御装置２０に与えておけば、出力制御装置２０は、画像１９０のうちどの領域を抽出すればよいかを、不可視領域の色に基づき特定できる。グループが形成されない態様においては、ＨＭＤ１８と色、あるいは直接、出力制御装置２０と色とを対応づけておいても同様に特定できる。いずれの態様においても、情報処理装置１０と各出力制御装置２０で対応関係を共有しておけばよく、例えばＨＭＤ１８や出力制御装置２０の物理アドレスと色とを両者に事前に設定しておけば、対応関係について情報を送受する必要もなくなる。

または対応関係のパターンをいくつか作成しておき、ゲーム開始時などにその内容や表示装置の接続状態などによって、どのパターンを用いるかを情報処理装置１０が決定し出力制御装置２０に通知するようにしてもよい。３つ以上の表示画像からなる合成画像の場合も、それぞれの不可視領域を異なる色の塗り潰しとすれば運用は同様となる。また合成画像でない場合も、全不可視領域の色が同じであることから合成画像でないこと自体を表すことができる。塗りつぶし色としては、例えば赤、緑、青の３要素を０または最大階調で表した８パターンの色から選択することにより、出力制御装置２０は誤認なく容易に抽出すべき領域を判別できる。

情報処理装置１０は出力する全てのフレーム、または所定間隔のフレームについて、対応情報を不可視領域の色で表した画像１９０のデータを出力する。このようにすることで、出力制御装置２０における領域判別処理を単純化できるとともに、接続されるＨＭＤ１８が途中で増減するなどして抽出すべき領域に変化があっても、同様の処理で遅延なく適切な領域を抽出できる。なお不可視領域を全て塗りつぶさず、一部の所定サイズの領域のみを塗りつぶしてもよい。また一つの表示画像に対応する不可視領域でも、その位置によって異なる色としたり、マークや模様を表示したりして、埋め込む情報量を増やしてもよい。

例えば画像１９０において左半分の不可視領域１９２ａ、右半分の不可視領域１９２ｂは、それぞれ６つの小領域からなる。このうち左上隅の領域は対応するグループ、中央上の領域は抽出した画像の拡大率、といった情報を色で表してもよい。上述した、色と装置の対応関係のパターン自体をいずれかの箇所の色で表してもよい。また不可視領域を縞模様とし、その方向、幅、色の組み合わせなどを変化させることにより情報を表してもよい。

以上述べた本実施の形態によれば、画像データを生成する情報処理装置に出力制御装置を直列に接続し、各出力制御装置にＨＭＤや平板型ディスプレイなどの表示装置を接続する。そしてそれらの接続状態と、各表示装置に表示させたい画像の内容によって、情報処理装置は、１つの表示画像、または、複数の表示画像を縮小して接続した合成画像を生成し出力する。これにより、情報処理装置や出力制御装置それぞれの出力端子の数を増やすことなく、また、伝送するデータのサイズを増やすことなく、接続する表示装置の数やそれらに表示させる画像の数を増やすことができる。

この態様は、ユーザが個別に表示画像を見るようなＨＭＤを用いたコンテンツには特に有効であり、同じゲームや仮想世界を複数のユーザが個別の視点から見るといった独特の態様を容易に実現できる。ＨＭＤと出力制御装置の対をセットで提供するようにすれば、コンテンツや参加人数に合わせてセットを買い足していくことにより、ユーザは最低限のコストで所望のコンテンツを楽しむことができる。

また、ＨＭＤで表示させるためにレンズに対応する歪み補正を施した画像で合成画像を構成する。そしてこれにより生じる不可視領域に、各出力制御装置が合成画像から抽出すべき領域を特定するための情報を色や図形で表す。これにより、当該情報のために別途データを伝送させる必要がなくなりデータ転送や抽出処理を効率化できる。また合成画像の構成が途中で変化しても、出力制御装置は同様の処理で適切な領域を抽出できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １４ａ 入力装置、 １６ 平板型ディスプレイ、 １８ ＨＭＤ、 ２０ 出力制御装置、 ７２ 入力データ取得部、 ７４ 情報処理部、 ７６ 通信部、 ７８ 出力データ生成部、 ８０ 接続状態特定部、 ８１ データ記憶部、 ８２ 第１通信部、 ８４ 出力データ形成部、 ８６ 第２通信部、 ８８ 第３通信部。

Claims (22)

1. 表示装置に表示させる動画像のデータを生成する出力データ生成部と、
   前記出力データ生成部が生成した動画像のデータを順次、出力する通信部と、を備え、
   前記表示装置が複数接続されているとき、前記出力データ生成部は、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを前記通信部に出力させることを特徴とする情報処理装置。
2. 前記出力データ生成部は、前記複数の動画像の各フレーム画像を、当該フレーム画像の数に応じた倍率で縮小して接続することにより、前記合成画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 表示装置の接続状態を特定する接続状態特定部をさらに含み、
   前記出力データ生成部は、前記接続状態に基づき、前記合成画像における合成対象の各フレーム画像の配置とそれを表示させる表示装置とを対応づけた対応情報を生成し、
   前記通信部は、当該対応情報も出力することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記出力データ生成部は、前記表示装置として、表示パネルの前面にレンズを備えたヘッドマウントディスプレイに表示させる動画像のデータを生成したうえ、各フレーム画像のうち、前記レンズを介して見たときに不可視となる領域に前記対応情報に対応する画像を表すことを特徴とする請求項３に記載の情報処理装置。
5. 前記出力データ生成部は、合成対象のフレーム画像の数がＮ（Ｎは２以上の自然数）であるとき、各フレーム画像を、横方向のサイズを１／Ｎ倍にしたうえ横方向に接続することにより、前記合成画像を生成することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記出力データ生成部は、前記表示装置としてヘッドマウントディスプレイに表示し立体視させるための左目用画像および右目用画像の対を左右に並列表示させたフレーム画像からなる動画像のデータを生成し、当該左目用画像および右目用画像をそれぞれ横方向に１／Ｎ倍に縮小して接続することにより、前記合成画像を生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記出力データ生成部は、合成対象のフレーム画像の数がＮ（Ｎは２以上の自然数）であるとき、各フレーム画像を、縦方向のサイズを１／Ｎ倍にしたうえ縦方向に接続することにより、前記合成画像を生成することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
8. 前記出力データ生成部は、前記表示装置としてヘッドマウントディスプレイに表示し立体視させるための左目用画像および右目用画像の対を左右に並列表示させたフレーム画像からなる動画像のデータを生成し、当該左目用画像および右目用画像をそれぞれ横方向に２倍に拡大し、縦方向に１／Ｎ倍に縮小したうえ縦方向に接続することにより、前記合成画像を生成することを特徴とする請求項７に記載の情報処理装置。
9. 前記出力データ生成部は、接続されている複数の表示装置がグループを形成しているとき、当該グループごとに前記動画像のデータを生成して合成することにより前記合成画像を生成することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
10. 情報処理装置が出力した表示用動画像のデータを取得する入力部と、
    前記表示用動画像のデータに、複数の表示装置に独立に表示させる複数の動画像がフレームごとに合成された合成画像のデータが含まれるとき、自らに接続された表示装置に対応する部分領域を当該合成画像のデータから抽出し、最終的な表示画像とする出力データ形成部と、
    前記最終的な表示画像のデータを前記接続された表示装置に出力する出力部と、
    を備えることを特徴とする出力制御装置。
11. 前記入力部は、前記合成画像における合成対象の各フレーム画像の配置とそれを表示させる表示装置とを対応づけた対応情報も取得し、
    前記出力データ形成部は、前記対応情報に基づき、自らに接続された表示装置に対応する部分領域を特定して抽出することを特徴とする請求項１０に記載の出力制御装置。
12. 前記合成画像は、合成対象のフレーム画像を、その数に応じた倍率で縮小した画像を接続してなり、
    前記出力データ形成部は、前記対応情報に基づき特定した、前記合成対象のフレーム画像の数に応じた倍率で、抽出した部分領域を拡大することにより、前記最終的な表示画像を生成することを特徴とする請求項１１に記載の出力制御装置。
13. 前記複数の表示装置は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイを含み、
    前記出力データ形成部は、合成されたフレーム画像のうち、前記レンズを介して見たときに不可視となる領域に表された画像を読み出すことにより、それに対応づけられた前記対応情報を特定することを特徴とする請求項１１または１２に記載の出力制御装置。
14. 前記出力部はさらに、前記情報処理装置が出力した前記表示用動画像のデータを別の出力制御装置に出力することを特徴とする請求項１０から１３のいずれかに記載の出力制御装置。
15. 動画像のデータを出力する情報処理装置と、当該動画像のデータを取得して表示装置に表示させる出力制御装置と、を備えた情報処理システムであって、
    前記情報処理装置は、
    前記表示装置に表示させる動画像のデータを生成する出力データ生成部と、
    前記出力データ生成部が生成した動画像のデータを順次、前記出力制御装置に出力する通信部と、を備え、
    前記表示装置が複数接続されているとき、前記出力データ生成部は、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを前記通信部に送信させ、
    前記出力制御装置は、
    前記動画像のデータを取得する入力部と、
    前記動画像のデータに前記合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とする出力データ形成部と、
    前記最終的な表示画像のデータを前記接続された表示装置に出力する出力部と、
    を備えることを特徴とする情報処理システム。
16. 複数の前記出力制御装置が、前記情報処理装置に直列に接続され、
    各出力制御装置は、自らに接続されたヘッドマウントディスプレイに前記最終的な表示画像のデータを出力するとともに、前記直列の順に、前記情報処理装置が出力した動画像のデータを伝送させることを特徴とする請求項１５に記載の情報処理システム。
17. 表示装置に表示させる動画像のデータを生成するステップと、
    生成した動画像のデータを順次、出力するステップと、を含み、
    前記動画像のデータを生成するステップは、前記表示装置が複数接続されているとき、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを生成するステップを含むことを特徴とする情報処理装置による動画データ出力方法。
18. 情報処理装置が出力した表示用動画像のデータを取得するステップと、
    前記表示用動画像のデータに、複数の表示装置に独立に表示させる複数の動画像がフレームごとに合成された合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とするステップと、
    前記最終的な表示画像のデータを前記接続された表示装置に出力するステップと、
    を含むことを特徴とする出力制御装置による動画データ出力方法。
19. 表示装置に表示させる動画像のデータを生成する機能と、
    生成した動画像のデータを順次、出力する機能と、をコンピュータに実現させるコンピュータプログラムであって、
    前記動画像のデータを生成する機能は、前記表示装置が複数接続されているとき、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを生成することを特徴とするコンピュータプログラム。
20. 情報処理装置が出力した表示用動画像のデータを取得する機能と、
    前記表示用動画像のデータに、複数の表示装置に独立に表示させる複数の動画像がフレームごとに合成された合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とする機能と、
    前記最終的な表示画像のデータを前記接続された表示装置に出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
21. 表示装置に表示させる動画像のデータを生成する機能と、
    生成した動画像のデータを順次、出力する機能と、をコンピュータに実現させるコンピュータプログラムであって、
    前記動画像のデータを生成する機能は、前記表示装置が複数接続されているとき、各表示装置に独立に表示させる複数の動画像をフレームごとに合成してなる合成画像のデータを生成するコンピュータプログラムを記録したことを特徴とする、コンピュータにて読み取り可能な記録媒体。
22. 情報処理装置が出力した表示用動画像のデータを取得する機能と、
    前記表示用動画像のデータに、複数の表示装置に独立に表示させる複数の動画像がフレームごとに合成された合成画像のデータが含まれるとき、自らに接続された表示装置に表示させる部分領域を当該合成画像のデータから抽出し、最終的な表示画像とする機能と、
    前記最終的な表示画像のデータを前記接続された表示装置に出力する機能と、
    をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とする、コンピュータにて読み取り可能な記録媒体。