JP2022008400A - クライアント装置、表示システム、クライアント装置の処理方法およびプログラム - Google Patents

Abstract

【課題】複数のクライアント（視聴者）が互いのＶＲ空間を共有してコミュニケーションをとることを可能とする。
【解決手段】サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを受信し、他のクライアント装置から該他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを受信する。ビデオストリームをデコードして背景画像の画像データを得る。代用画像メタ情報に基づいて代用画像の画像データを生成する。背景画像の画像データに代用画像の画像データを合成し、表示用画像データを得る。
【選択図】図２

Description

本技術は、クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法に関し、詳しくは、サーバからの背景画像に各クライアントのアバター等の代用画像を合成する処理を行うクライアント装置等に関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザ個人に画像を提示することが可能な、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）が知られている（例えば、特許文献１参照）。近年、ＨＭＤによるＶＲ（virtual reality）向けに作成された全天周レベルの画像を個人で楽しむことが始められている。個人の空間で楽しむ視聴者が複数人いて、それらの視聴者が個人のＶＲ空間だけでなく互いのＶＲ空間を共有してコミュニケーションがとれるようになることが期待されている。

特開２０１６－０２５６３３号公報

本技術の目的は、複数のクライアント（視聴者）が互いのＶＲ空間を共有してコミュニケーションをとることを可能とすることにある。

本技術の概念は、
サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを受信し、他のクライアント装置から該他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを受信する受信部と、
上記ビデオストリームをデコードして背景画像の画像データを得るデコード処理と、上記代用画像メタ情報に基づいて代用画像の画像データを生成する代用画像データ生成処理と、上記背景画像の画像データに上記代用画像の画像データを合成する画像データ合成処理を制御する制御部を備える
クライアント装置にある。

本技術において、受信部により、サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームが受信され、また、他のクライアント装置からこの他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームが受信される。代用画像は、例えばアバターあるいはキャラクタを認識し得るシンボルなどである。

制御部により、デコード処理、代用画像データ生成処理および画像データ合成処理が制御される。デコード処理では、ビデオストリームをデコードして背景画像の画像データを得ることが行われる。代用画像データ生成処理では、代用画像メタ情報に基づいて代用画像の画像データを生成することが行われる。画像データ合成処理では、背景画像の画像データに代用画像の画像データを合成することが行われる。

例えば、ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに背景画像における代用画像の許容合成範囲を示す情報が挿入されており、制御部は、許容合成範囲を示す情報に基づき、代用画像が背景画像の許容合成範囲内に配置されるように合成処理を制御する、ようにされてもよい。

この場合、代用画像メタ情報には、代用画像の許容合成範囲内における合成位置を示す合成位置情報が含まれており、制御部は、上記合成位置情報が示す合成位置に上記代用画像が合成されるように上記合成処理を制御する、ようにされてもよい。また、この場合、例えば、代用画像メタ情報には、代用画像のサイズを示すサイズ情報が含まれており、制御部は、サイズ情報が示すサイズで背景画像に代用画像が合成されるように合成処理を制御する、ようにされてもよい。

このように本技術においては、背景画像の画像データに代用画像メタ情報に基づいて代用画像の画像データを生成し、この代用画像の画像データを背景画像の画像データに合成するものである。そのため、クライアントのそれぞれは、共通の背景画像に他のクライアントの代用画像が合成されたものを認識でき、互いのＶＲ空間を共有して良好にコミュニケーションをとることが可能となる。

なお、本技術において、例えば、クライアント送信ストリームには、代用画像メタ情報に対応した音声データがオブジェクトメタデータと共に含まれており、制御部は、音声データにオブジェクトメタデータに応じたレンダリング処理を行って代用画像の合成位置を音像位置とする音声出力データを得る音声出力処理をさらに制御する、ようにされてもよい。これにより、クライアントのそれぞれに、背景画像上の各代用画像の合成位置からその代用画像のクライアントからの音声が出ているように知覚させることが可能となる。

また、本技術において、例えば、クライアント送信ストリームには、代用画像メタ情報に対応した字幕データが表示位置情報と共に含まれており、制御部は、字幕データによる字幕が代用画像の合成位置に対応した位置に表示されるように表示位置情報に基づいて字幕の表示データを背景画像の画像データに合成する字幕合成処理をさらに制御する、ようにされてもよい。これにより、クライアントのそれぞれに、背景画像上の各代用画像の合成位置に対応した位置にその代用画像のクライアントからの字幕を認識させることが可能となる。

また、本技術において、例えば、自身の代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを他のクライアント装置に送信する送信部をさらに備え、代用画像データ生成処理では、この自身の代用画像を表示するための代用画像メタ情報に基づいて自身の代用画像の画像データをさらに生成する、ようにされてもよい。これにより、背景画像に、他のクライアントの代用画像だけでなく、自身の代用画像をも合成することが可能となる。

また、本技術において、例えば、背景画像の画像データは、広視野角画像の画像データであり、制御部は、背景画像の画像データの一部を切り出して表示用画像データを得る画像切出し処理をさらに制御する、ようにされてもよい。例えば、表示用画像データによる画像はＨＭＤで表示され、切出し範囲は、例えば、ＨＭＤ搭載のセンサで検出される頭部姿勢に応じて決定される。

また、本技術の他の概念は、
被写体を撮像して背景画像の画像データを得る撮像部と、
上記背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームをクライアント装置に送信する送信部を備え、
上記ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに上記背景画像における代用画像の許容合成範囲を示す情報が挿入されている
サーバにある。

本技術において、撮像部により、被写体が撮像されて背景画像の画像データが得られる。例えば、この背景画像の画像データは、広視野角画像の画像データである、ようにされてもよい。送信部により、背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームがクライアント装置に送信される。ここで、ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに背景画像における代用画像の許容合成範囲を示す情報が挿入されている。

このように本技術においては、ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに背景画像における代用画像の許容合成範囲を示す情報が挿入されて配信されるものである。そのため、クラインアント装置では、背景画像に各クライアントの代用画像を、この許容合成範囲を示す情報に基づいて、サーバが意図する範囲に配置することが容易に可能となる。

本技術によれば、複数のクライアントが互いのＶＲ空間を共有してコミュニケーションをとることが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての空間共有表示システムの構成例を示すブロック図である。 サーバと複数のクライアント装置の各間におけるストリームの送受信の関係の一例を示す図である。 サーバの構成例を示すブロック図である。 ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージの構造例を示す図である。 ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 カメラの状態情報を説明するための図である。 ビデオ・アトリビュート・インフォメーション・ボックスに格納される情報例を示す図である。 クライアント装置の送信系の構成例を示すブロック図である。 アバターレンダリング制御情報の構造例と、その構造例における主要な情報の内容を示す図である。 アバターデータベース選択情報の構造例と、その構造例における主要な情報の内容を示す図である。 各オブジェクトのオブジェクトメタデータとしての音声オブジェクトレンダリング情報の構造例と、その構造例における主要な情報の内容を示す図である。 「Azimuth」、「Radius」、「Elevation」の値の求め方について説明するための図である。 ＴＴＭＬ構造とメタデータの構造例を説明するための図である。 クライアント装置の受信系の構成例を示すブロック図である。 受信モジュールの構成例を示すブロック図である。 アバターデータベース選択部の構成例を示すブロック図である。 アバターデータベースのリスト例を示す図である。 レンダラにおけるレンダリング処理の概要を示す図である。 レンダラにおけるリマッピングによる音圧制御を概略的に示す図である。 背景画像の一例を示す図である。 背景画像の許容合成範囲(sy_window)内にアバターおよび字幕が合成された状態の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［空間共有表示システム］
図１は、実施の形態としての空間共有表示システム１０の構成例を示している。この空間共有表示システム１０は、サーバ１００と複数のクライアント装置２００が、インターネットなどのネットワーク３００を介して接続された構成となっている。

サーバ１００は、被写体を撮像して得られた背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを、ネットワーク３００を介して各クライアント装置２００に送信する。例えば、背景画像の画像データは広視野角画像の画像データとされる。ビデオストリームのレイヤおよび/またはサーバ配信ストリーム（コンテナ）のレイヤに背景画像における代用画像の許容合成範囲を示す情報が挿入されている。代用画像は、例えばアバターあるいはキャラクタを認識し得るシンボルなどであるが、この実施の形態では代用画像としてアバターを想定している。以下では、代用画像をアバターとして説明する。

クライアント装置２００は、サーバ１００からネットワーク３００を介して送られてくるサーバ配信ストリームを受信し、このサーバ配信ストリームに含まれるビデオストリームをデコードして、背景画像の画像データを得る。また、クライアント装置２００は、他のクライアント装置２００からネットワーク３００を介して送られてくる、他のクライアントのアバターを表示するためのアバターメタ情報を含むクライアント送信フレーム（コンテナ）を受信する。

クライアント装置２００は、アバターメタ情報に基づいてアバターの画像データを生成し、このアバターの画像データを背景画像データの画像データに合成する。この場合、クラインアント装置２００は、ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに挿入されている背景画像におけるアバターの許容合成範囲を示す情報に基づいて、アバターが背景画像の許容合成範囲内に配置されるようにする。

アバターメタ情報には、アバターの許容合成範囲内における合成位置を示す合成位置情報が含まれており、クライアント装置２００は、この合成位置情報が示す合成位置にアバターが合成されるようにする。また、アバターメタ情報には、アバターのサイズを示すサイズ情報が含まれており、クライアント装置２００は、サイズ情報が示すサイズで背景画像にアバターが合成されるようにする。

また、クライアント装置２００は、自身のアバターを表示するためのアバターメタ情報を含むクライアント送信ストリーム（コンテナ）を、ネットワーク３００を介して他のクライアント装置２００に送信する。この場合、クラインアント装置２００は、自身のアバターを表示するためのアバターメタ情報に基づいて自身のアバターの画像データを生成し、このアバターの画像データを背景画像データの画像データに合成する。

なお、クライアント装置２００によっては、自身のアバターを表示するためのアバターメタ情報を含むクライアント送信ストリーム（コンテナ）を他のクライアント装置２００に送信する機能を持たないことも考えられる。

クライアント装置２００は、背景画像の画像データが通常の視野角画像の画像データである場合には、アバターの画像データが合成された背景画像の画像データをそのまま表示用画像データとして表示装置としてのＨＭＤ４００Ａに送る。一方、クライアント装置２００は、背景画像の画像データが広視野角画像の画像データである場合には、アバターの画像データが合成される背景画像の画像データの一部を切出して表示用画像データを得、この表示用画像データを表示装置としてのＨＭＤ４００Ａに送る。この場合の切出し範囲は、例えば、ＨＭＤ搭載のセンサで検出される頭部姿勢に応じて決定される。

また、他のクライアント装置２００から送られてくるクライアント送信ストリームには、アバターメタ情報に対応した音声データがオブジェクトメタデータと共に含まれている。また、自身のアバターを表示するためのアバターメタ情報に関しても、それに対応した音声データがオブジェクトメタデータと共に存在する。クライアント装置２００は、音声データにオブジェクトメタデータに応じたレンダリング処理を行ってアバターの合成位置を音像位置とする音声出力データを得、音声出力装置としてのヘッドフォン（ＨＰ）４００Ｂに送る。

また、他のクライアント装置２００から送られてくるクライアント送信ストリームには、アバターメタ情報に対応した字幕データが表示位置情報と共に含まれている。また、自身のアバターを表示するためのアバターメタ情報に関しても、それに対応した字幕データが表示位置情報と共に存在する。クライアント装置２００は、字幕データによる字幕がアバターの合成位置に対応した位置に表示されるように表示位置情報に基づいて字幕の表示データを背景画像の画像データに合成する。

図２は、サーバ１００と複数のクライアント装置２００の各間におけるストリームの送受信の関係の一例を示している。なお、図示の例では、３つのクライアント装置２００が存在し、全てのクライアント装置２００からクライアント送信フレームが他のクライアント装置２００に送られている。クライアント送信フレームには、アバターメタ情報、音声データおよびテキストデータ（字幕データ）が含まれている。

［サーバの構成］
図３は、サーバ１００の構成例を示している。このサーバ１００は、制御部１０１と、ロケータ１０２と、ビデオキャプチャ１０３と、フォーマット変換処理部１０４と、ビデオエンコーダ１０５と、音声キャプチャ１０６と、オーディオエンコーダ１０８と、コンテナエンコーダ１０９と、ネットワークインタフェース１１０を有している。各部は、バス１１１で接続されている。

制御部１０１は、サーバ１００の各部の動作を制御する。この制御部１０１には、ユーザ操作部１０１ａが接続されている。ロケータ１０１は、ＧＰＳ衛星からの電波を受信して位置（経度・緯度・高度）の情報を得る。ビデオキャプチャ１０３は、被写体を撮像して背景画像の画像データを得るカメラ（撮像部）である。ビデオキャプチャ１０３では広視野角画像データや、広視野角画像データを得るための複数枚の画像データを得る。フォーマット変換処理部１０４は、ビデオキャプチャ１０３で得られた画像データに対してマッピング処理（広視野角画像の変形、複数画像の合成など）を施してエンコーダ入力の画像フォーマットの画像データを得る。

ビデオエンコーダ１０５は、フォーマット変換処理部１０４で得られた画像データに対してＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。この場合、ビデオエンコーダ１０５は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”のＳＥＩメッセージ群に、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージ（Video_attribute_information SEI message）を配置する。

このＳＥＩメッセージには、カメラ（撮像部）の撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報が挿入されている。

図４は、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージの構造例(Syntax)を示し、図５はその構造例における主要な情報の内容（Semantics）を示している。「message_id」の８ビットフィールドは、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージであることを識別する識別情報を示す。「byte_length」の８ビットフィールドは、このビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージのサイズとして、以降のバイト数を示す。

「target_content_id」の８ビットフィールドは、ビデオコンテンツの識別情報を示す。「capture_position()」のフィールドは、撮像位置を示す。「position_latitude」の１６ビットフィールドは、撮像位置（緯度）を示す。「position_longitude」の１６ビットフィールドは、撮像位置（経度）を示す。「position_elevation」の１６ビットフィールドは、撮像位置（標高）を示す。

「camera_direction」の１６ビットフィールドは、撮像時のカメラの向く方向を示す。例えば、図６（ａ）に示すように、カメラの向く方向として東西南北などの方角を示す。「camera_V_angle」の１６ビットフィールドは、図６（ｂ）に示すように、撮像時のカメラの水平からのアングルを示す。

「sy_window()」のフィールドは、背景画像におけるアバターの許容合成範囲を示す。「sy_window_x_start」の１６ビットフィールドは、許容合成範囲の開始位置（水平位置）を示す。「sy_window_y_start」の１６ビットフィールドは、許容合成範囲の開始位置（垂直位置）を示す。「sy_window_x_end」の１６ビットフィールドは、許容合成範囲の終了位置（水平位置）を示す。「sy_window_y_end」の１６ビットフィールドは、許容合成範囲の終了位置（垂直位置）を示す。

図３に戻って、音声キャプチャ１０６は、ビデオキャプチャ１０３で撮像される被写体に対応した音声（音）を集音して、２チャネルあるいはそれ以上の多チャネル、例えば５．１チャネルなどの音声データを得るマイクロホンである。オーディオエンコーダ１０８は、音声キャプチャ１０６で得られた音声データに対して、ＭＰＥＧ-Ｈ Ａｕｄｉｏ，ＡＣ４等の符号化を施し、オーディオデータストリームを生成する。

コンテナエンコーダ１０９は、ビデオエンコーダ１０５で得られたビデオストリームおよびオーディオエンコーダ１０８で得られたオーディオストリームを含むコンテナ、ここではＭＰ４ストリームを、サーバ配信ストリームとして生成する。

この場合、コンテナエンコーダ１０９は、イニシャライゼーション・セグメント（ＩＳ）や“ｍｏｏｆ”のボックスに定義される“ｕｄｔａ”のボックスに、ビデオ・アトリビュート・インフォメーション・ボックス「“ｖａｉｂ”ボックス」を定義する。

このビデオ・アトリビュート・インフォメーション・ボックスには、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージと同様に、カメラ（撮像部）の撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報が挿入されている。なお、ビデオ・アトリビュート・インフォメーション・ボックスとビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージの双方を挿入することは必ずしも必要ではなく、いずれか一方だけが挿入されてもよい。

図７は、“ｖａｉｂ”ボックスに格納される情報例を示している。「position_latitude」は撮像位置（緯度）、「position_longitude」は撮像位置（経度）、「position_elevation」は撮像位置（標高）である。また、「camera_direction」は撮像時のカメラの向く方向を示すもので、北の方向からの方角を示す。また、「camera_V_angle」は撮像時のカメラの水平方向からのアングルを示す。また、「sy_window_x_start」は許容合成範囲の開始位置（水平位置）、「sy_window_y_start」は許容合成範囲の開始位置（垂直位置）、「sy_window_x_end」は許容合成範囲の終了位置（水平位置）、「sy_window_y_end」は許容合成範囲の終了位置（垂直位置）である。

図３に戻って、ネットワークインタフェース１１０は、ネットワーク３００を介して、クライアント装置２００と通信をする。ネットワークインタフェース１１０は、コンテナエンコーダ１０９で得られたサーバ配信ストリームを、ネットワーク３００を介して、クラインアント装置２００に送信する。

図３に示すサーバ１００の動作を簡単に説明する。ビデオキャプチャ１０３では、被写体が撮像され、広視野角画像データや、広視野角画像データを得るための複数枚の画像データが得られる。ビデオキャプチャ１０３で得られた画像データは、フォーマット変換処理部１０４に供給される。フォーマット変換処理部１０４では、ビデオキャプチャ１０３から供給される画像データに対してマッピング処理（広視野角画像の変形、複数画像の合成など）が施され、エンコーダ入力の画像フォーマットの画像データが得られる。

フォーマット変換処理部１０４で得られた画像データは、ビデオエンコーダ１０５に供給される。ビデオエンコーダ１０５では、フォーマット変換処理部１０４からの画像データに対してＨＥＶＣなどの符号化が施されて符号化画像データが得られ、この符号化画像データを含むビデオストリームが生成される。

また、ビデオエンコーダ１０５では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”のＳＥＩメッセージ群に、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージ（図４参照）が配置される。このＳＥＩメッセージには、カメラ（撮像部）の撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報が挿入されている。

音声キャプチャ１０６では、ビデオキャプチャ１０３で撮像される被写体に対応した音声（音）が集音されて、２チャネルあるいはそれ以上の多チャネルの音声データが得られる。各チャネルの音声データは、オーディオエンコーダ１０８に供給される。音声エンコーダ１０８では、音声キャプチャ１０６で得られた音声データに対して、ＭＰＥＧ-Ｈ Ａｕｄｉｏ，ＡＣ４等の符号化が施され、オーディオデータストリームが生成される。

ビデオエンコーダ１０５で得られたビデオストリームとオーディオエンコーダ１０８で得られたオーディオストリームは、コンテナデコーダ１０９に供給される。コンテナエンコーダ１０９は、ビデオストリームおよびオーディオストリームを含むコンテナ、ここではＭＰ４ストリームが、サーバ配信ストリームとして生成される。

また、コンテナエンコーダ１０９では、イニシャライゼーション・セグメント（ＩＳ）や“ｍｏｏｆ”のボックスに定義される“ｕｄｔａ”のボックスに、ビデオ・アトリビュート・インフォメーション・ボックス（図７参照）が新規定義される。このボックスには、カメラ（撮像部）の撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報が挿入されている。

コンテナエンコーダ１０９で得られたサーバ配信ストリームはネットワークインタフェース１１０に供給される。ネットワークインタフェース１１０では、サーバ配信ストリームを、ネットワーク３００を介して、クラインアント装置２００に送信することが行われる。

［クライアント装置の構成］
クライアント装置２００の構成例を説明する。図８は、クライアント装置２００の送信系２００Ｔの構成例を示している。この送信系２００Ｔは、制御部２０１と、メタデータジェネレータ２０２と、音声キャプチャ２０３と、オブジェクト情報生成部２０４と、オーディオエンコーダ２０５と、文字発生部２０６と、字幕エンコーダ２０７と、コンテナエンコーダ２０８と、ネットワークインタフェース２０９を有している。各部は、バス２１０で接続されている。

制御部２０１は、クライアント装置２００、従って送信系２００Ｔの各部の動作を制御する。この制御部２０１には、ユーザ操作部２０１ａが接続されている。メタデータジェネレータ２０２は、ユーザ操作部２０１ａからのユーザ操作に応じて、アバターメタ情報を発生する。アバターメタ情報は、アバターレンダリング制御情報（avator_rendering_control_information）とアバターデータベース選択情報（avator_database_selection）からなっている。

アバターレンダリング制御情報には、背景画像の許容合成範囲内におけるアバターの合成位置を示す情報と、そのアバターのサイズを示す情報が含まれている。図９（ａ）はアバターレンダリング制御情報の構造例(Syntax)を示し、図９（ｂ）はその構造例における主要な情報の内容（Semantics）を示している。

「message_id」の８ビットフィールドは、アバターレンダリング制御情報であることを識別する識別情報を示す。「byte_length」の８ビットフィールドは、このアバターレンダリング制御情報のサイズとして、以降のバイト数を示す。

「client_id」の８ビットフィールドは、このアバターメタ情報を送信するクライアント（クライアント装置２００）の識別情報を示す。「target_content_id」の８ビットフィールドは、合成対象のビデオコンテンツ（背景画像）の識別情報を示す。「number_of_client_objects」の８ビットフィールドは、クライアントから送信されるオブジェクト、つまりアバターの数を示す。

オブジェクトの数だけ、「client_object_id」、「avator_center_position_x」、「avator_center_position_y」、「avator_rendering_size」の各フィールドが繰り返し存在する。「client_object_id」の８ビットフィールドは、クライアントから送信されるオブジェクト（アバター）の識別情報を示す。

「avator_center_position_x」の１６ビットフィールドは、許容合成範囲（sy_window）の中でアバター合成位置の中心座標のｘ座標（水平ポジション）を示す。「avator_center_position_y」の１６ビットフィールドは、許容合成範囲の中でアバター合成位置の中心座標のｙ座標（垂直ポジション）を示す。「avator_rendering_size」の１６ビットフィールドは、合成させるアバターの大きさ（サイズ）を示す。なお、サイズはアバター合成位置の中心座標からの長方形の対角線で求められる。データベースのアバター画像の元のアスペクト比を維持したまま、合成させるアバターのサイズとの比率に応じたサイズ変換を行う。

アバターデータベース選択情報には、アバターの画像データをアバターデータベースから得るための選択情報が含まれている。図１０（ａ）はアバターデータベース選択情報の構造例(Syntax)を示し、図１０（ｂ）はその構造例における主要な情報の内容（Semantics）を示している。

「message_id」の８ビットフィールドは、アバターデータベース選択情報であることを識別する識別情報を示す。「byte_length」の８ビットフィールドは、このアバターデータベース選択情報のサイズとして、以降のバイト数を示す。「client_id」の８ビットフィールドは、このアバターデータベース選択情報を送信するクライアント（クライアント装置２００）の識別情報を示す。「target_content_id」の８ビットフィールドは、合成対象のビデオコンテンツ（背景画像）の識別情報を示す。

「number_of_client_objects」の８ビットフィールドは、クライアントから送信されるオブジェクト、つまりアバターの数を示す。オブジェクトの数だけ、「client_object_id」、「body_type」、「body_angle」、「emotional_type」、「face_angle」の各フィールドが繰り返し存在する。「client_object_id」の８ビットフィールドは、クライアントから送信されるオブジェクト（アバター）の識別情報を示す。

「body_type」の１６ビットフィールドは、アバターの全身体系の種類を示す。「body_angle」の１６ビットフィールドは、アバター画像の正面からの向きの属性を示す。「emotional_type」の１６ビットフィールドは、アバターの表情・感情の種類を示す。「face_angle」の１６ビットフィールドは、アバターの顔の向きを示す。

図８に戻って、音声キャプチャ２０３は、各オブジェクト、つまり各アバターの音声（音）を集音して音声データを得るマイクロホンである。オブジェクト情報生成部２０４は、オブジェクト毎にアバター合成位置情報に基づいてオブジェクトメタデータを生成し、各オブジェクトのオブジェクト符号化データ（符号化サンプルデータ、オブジェクトメタデータ）を出力する。

図１１（ａ）は各オブジェクト（アバター）のオブジェクトメタデータとしての音声オブジェクトレンダリング情報（Voice_object_rendering_information）の構造例を示し、図１１（ｂ）はその構造例における主要な情報の内容（Semantics）を示している。「message_id」の８ビットフィールドは、音声オブジェクトレンダリング情報であることを識別する識別情報を示す。「byte_length」の８ビットフィールドは、このアバターデータベース選択情報のサイズとして、以降のバイト数を示す。「client_id」の８ビットフィールドは、この音声データを送信するクライアント（クライアント装置２００）の識別情報を示す。「target_content_id」の８ビットフィールドは、合成対象のビデオコンテンツ（背景画像）の識別情報を示す。

「number_of_client_objects」の８ビットフィールドは、クライアントから送信されるオブジェクト、つまりアバターの数を示す。オブジェクトの数だけ、「client_object_id」、「Azimuth」、「Radius」、「Elevation」の各フィールドが繰り返し存在する。「client_object_id」の８ビットフィールドは、クライアントから送信されるオブジェクト（アバター）の識別情報を示す。

「Azimuth」の１６ビットフィールドは、オブジェクトとしてのアバターの位置情報としてのアジマス（Azimuth）を示す。「Radius」の１６ビットフィールドは、オブジェクトとしてのアバターの位置情報としてのラジアス（Radius ）を示す。「Elevation」の１６ビットフィールドは、オブジェクトとしてのアバターの位置情報としてのエレベーション（Elevation）を示す。

ここで、図１２を参照して、「Azimuth」、「Radius」、「Elevation」の値の求め方について説明する。ＨＭＤ４００Ａで展開される画像上におけるアバターの合成位置の中心座標を点Ｐで表している。上述したようにアバターの合成位置は、背景画像におけるアバターの許容合成範囲内にあり、アバターの合成位置情報（「avator_center_position_x」、「avator_center_position_y」）で特定される。

この実施の形態において、背景画像におけるアバターの許容合成範囲は、ＨＭＤ４００Ａで展開される画像範囲が対応するように設定される。これにより、アバターの合成位置情報によりＨＭＤ４００Ａで展開される画像上における点Ｐの座標が特定される。また、この実施の形態において、ＨＭＤ４００Ａで展開される画像範囲は、デフォルトの表示状態では、背景画像におけるアバターの許容合成範囲に対応したものとされる。

ＬＴ，ＬＢ，ＲＴ，ＲＢは想定する表示モニタにおける仮想スピーカを示している。また、想定する鑑賞位置の中心を点Ｑで示している。点Ｑから点Ｐまでの距離をｒとし、ＱＡとＱＢのなす角をθ、ＱＢとＱＰのなす角をφとして、「Azimuth」、「Radius」、「Elevation」の値（アバター位置情報）が以下のように求められる。
Azimuth＝θ
Elevation＝φ
Radius＝ｒ

上述したように音声オブジェクトレンダリング情報（図１１参照）にオブジェクト（アバター）の合成位置情報である「Azimuth」、「Radius」、「Elevation」の値を含めて送信することで、受信側では、これらの値をそのままレンダラにオブジェクトメタデータとして入力して用いることが可能となる。

なお、受信側では、アバターレンダリング制御情報（図９参照）に含まれるアバターの合成位置情報（「avator_center_position_x」、「avator_center_position_y」）により点Ｐの座標を特定でき、この点Ｐと想定する鑑賞位置の中心を点Ｑから「Azimuth」、「Radius」、「Elevation」の値を求めて（図１２参照）、それをレンダラにオブジェクトメタデータとして入力して用いることも可能である。

その場合には、音声オブジェクトレンダリング情報（図１１参照）により各オブジェクト（アバター）の合成位置情報である「Azimuth」、「Radius」、「Elevation」の値を送信しなくてもよく、例えば、「number_of_client_objects」＝０とされる。

また、その場合であっても、「Radius」の値を送ることで、各オブジェクト（アバター）の合成位置としての適切な奥行位置をサーバ１００からクライアント装置２００に伝えることが可能となる。この場合、音声オブジェクトレンダリング情報（図１１参照）に各オブジェクト（アバター）の合成位置情報である「Azimuth」、「Radius」、「Elevation」の値を挿入する際に、「Azimuth」、「Elevation」の値に関しては例えば無効な値に設定される。

また、「Radius」の値も送らない場合であっても、クライアント装置２００側で、アバターレンダリング制御情報（図９参照）に含まれる「avator_rendering_size」の情報に基づいて、オブジェクト（アバター）のサイズに応じて、求められた「Radius」の値を調整することにより、各オブジェクト（アバター）の合成位置の奥行位置を適切な位置に設定することが可能となる。

図８に戻って、オーディオエンコーダ２０５は、オブジェクト情報生成部１０７で得られた各オブジェクトのオブジェクト符号化データ（符号化サンプルデータ、オブジェクトメタデータ）に対して符号化を施してＭＰＥＧ－Ｈ ３Ｄ Ａｕｄｉｏの符号化音声データを得る。この符号化音声データは、アバターメタ情報に対応した音声データを構成する。

文字入力部２０６は、ユーザ操作部２０１ａからのユーザ操作に基づいて、各オブジェクト、つまり各アバターに対応した字幕のテキストデータ（文字コード）ＤＴを、適宜、発生する。字幕エンコーダ２０７は、テキストデータＤＴを入力し、所定フォーマットの字幕（サブタイトル）のテキスト情報、この実施の形態においてはＴＴＭＬ（Timed Text Markup Language）を得る。このＴＴＭＬは、アバターメタ情報に対応した字幕データを構成する。

図１３（ａ）は、ＴＴＭＬ構造を示している。ＴＴＭＬは、ＸＭＬベースで記載される。ＴＴＭＬは、ヘッダ（head）とボディ（body）からなる。ヘッダには、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）などの各要素が存在する。メタデータには、メタデータのタイトルの情報と、コピーライトの情報などが含まれている。スタイリングには、識別子（id）の他に、カラー（color）、フォント（fontFamily）、サイズ（fontSize）、アラインメント（textAlign）などの情報が含まれている。レイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、範囲（extent）、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。ボディには、字幕のテキスト情報等が含まれている

この実施の形態において、ＴＴＭＬには、字幕オブジェクトレンダリング情報が挿入される。図１３（ｂ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示し、「target_content_id」、「client_id」、「client_object_id」の各情報が存在する。「target_content_id」は、合成対象のビデオコンテンツ（背景画像）の識別情報を示す。「client_id」は、この字幕データを送信するクライアント（クライアント装置２００）の識別情報を示す。「client_object_id」は、クライアントから送信されるオブジェクト（アバター）の識別情報を示す。なお、字幕の表示位置の情報は、ボディに含まれている。

図８に戻って、コンテナエンコーダ２０８は、メタデータジェネレータ２０２で発生されたアバターメタ情報、オーディオエンコーダ２０５で得られた３Ｄオーディオの符号化音声データおよび字幕エンコーダ２０７で得られた字幕のテキスト情報であるＴＴＭＬを含むコンテナ、ここではＭＰ４ストリームを、クライアント送信ストリームとして生成する。

ネットワークインタフェース２０９は、ネットワーク３００を介して、他のクライアント装置２００と通信をする。ネットワークインタフェース２０９は、コンテナエンコーダ２０８で得られたクライアント送信ストリームを、ネットワーク３００を介して、他のクラインアント装置２００に送信する。

図８に示す送信系２００Ｔの動作を簡単に説明する。メタデータジェネレータ２０２では、ユーザ操作部２０１ａからのユーザ操作に応じて、アバターメタ情報が発生される。このアバターメタ情報は、アバターレンダリング制御情報（図９参照）と、アバターデータベース選択情報（図１０参照）からなっている。アバターレンダリング制御情報には、背景画像の許容合成範囲内におけるアバターの合成位置を示す情報と、そのアバターのサイズを示す情報が含まれている。また、アバターデータベース選択情報には、アバターの画像データをアバターデータベースから得るための選択情報が含まれている。

音声キャプチャ２０３では、各オブジェクト、つまり各アバターの音声（音）が集音されて音声データが得られる。この各オブジェクト（アバター）の音声データは、オブジェクト情報生成部２０４に供給される。また、このオブジェクト情報生成部２０４には、背景画像における各オブジェクト（アバター）の合成位置情報が供給される。

オブジェクト情報生成部２０４では、オブジェクト毎にオブジェクト合成位置情報に基づいてオブジェクトメタデータが生成され、各オブジェクトのオブジェクト符号化データ（符号化サンプルデータ、オブジェクトメタデータ）が得られる。ここで、各オブジェクト（アバター）のオブジェクトメタデータとして音声オブジェクトレンダリング情報（図１１参照）が含まれる。この音声オブジェクトレンダリング情報には、各オブジェクト（アバター）の位置情報（θ，φ，ｒ）が含まれている。

オブジェクト情報生成部２０４で得られた各オブジェクトのオブジェクト符号化データ（符号化サンプルデータ、オブジェクトメタデータ）は、オーディオエンコーダ２０５に供給される。オーディオエンコーダ２０５では、各オブジェクトのオブジェクト符号化データに対して符号化が施されて、ＭＰＥＧ－Ｈ ３Ｄ Ａｕｄｉｏの符号化音声データが得られる。

文字入力部２０６では、ユーザ操作部２０１ａからのユーザ操作に基づいて、各オブジェクト、つまり各アバターに対応した字幕のテキストデータ（文字コード）ＤＴが、適宜、発生される。このテキストデータＤＴは、字幕エンコーダ２０７に供給される。この字幕エンコーダ２０７には、各オブジェクト（アバター）に対応した字幕の表示位置情報が供給される。

字幕エンコーダ２０７では、テキストデータＤＴに基づいて字幕（サブタイトル）のテキスト情報としてのＴＴＭＬが得られる。このＴＴＭＬの例えばメタデータにレンダリング情報が挿入される（図１３参照）。なお、字幕の表示位置の情報は、ヘッドに含まれる。アバターレンダリング情報はメタデータ以外の部分、例えば「origin」や「extent」と共に、ヘッド配下のレイアウトに含まれるようにしてもよい。

メタデータジェネレータ２０２で発生されたアバターメタ情報、オーディオエンコーダ２０５で得られた３Ｄオーディオの符号化音声データおよび字幕エンコーダ２０７で得られた字幕のテキスト情報であるＴＴＭＬは、コンテナエンコーダ２０８に供給される。コンテナエンコーダ２０８では、アバターメタ情報、符号化音声データおよびＴＴＭＬを含むＭＰ４ストリームがクライアント送信ストリームとして生成される。

コンテナエンコーダ２０８で得られたクライアント送信ストリームはネットワークインタフェース２０９に供給される。ネットワークインタフェース２０９では、クライアント配信ストリームを、ネットワーク３００を介して、他のクラインアント装置２００に送信することが行われる。

図１４は、クライアント装置２００の受信系２００Ｒの構成例を示している。この受信系２００Ｒは、制御部２０１と、ネットワークインタフェース２１１と、コンテナデコーダ２１２と、ビデオデコーダ２１３と、プレーンコンバータ２１４と、受信モジュール２１５，２１５Ａと、オーディオデコーダ２１６と、ミクサ２１８と、合成部２１９を有している。各部は、バス２１０で接続されている。

制御部２０１は、クライアント装置２００、従って受信系２００Ｒの各部の動作を制御する。この制御部２０１には、ユーザ操作部２０１ａが接続されている。ネットワークインタフェース２１１は、ネットワーク３００を介して、サーバ１００および他のクライアント装置２００と通信をする。ネットワークインタフェース２１１は、サーバ１００から、上述したサーバ配信ストリームを受信する。また、ネットワークインタフェース２１１は、他のクライアント装置２００から、上述したクライアント送信ストリームを受信する。

コンテナデコーダ２１２は、ネットワークインタフェース２１１で受信されたサーバ配信ストリーム（ＭＰ４ストリーム）からビデオストリームおよびオーディオストリームを取り出す。この場合、コンテナデコーダ２１２は、イニシャライゼーション・セグメント（ＩＳ）や“ｍｏｏｆ”のボックスに定義される“ｕｄｔａ”のボックスに存在するビデオ・アトリビュート・インフォメーション・ボックス「“ｖａｉｂ”ボックス」を取り出し、制御部２０１に送る。これにより、制御部２０１は、カメラの撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報を認識する。

ビデオデコーダ２１３は、コンテナデコーダ２１２で取り出されたビデオストリームにデコード処理を施して、背景画像の画像データを得る。また、ビデオデコーダ２１３は、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。

この抽出情報には、上述したビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージ（図４参照）も含まれる。これにより、制御部２０１は、カメラの撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報を認識する。

プレーンコンバータ２１４は、ビデオデコーダ２１３で得られた背景画像の画像データが非線形な画像データである場合には線形な画像データに変換する。また、プレーンコンバータ２１４は、背景画像の画像データが広視野角画像の画像データである場合、その画像データから、ＨＭＤ４００Ａの表示視野角に対応した部分だけを切り出し、表示用画像データを得る。

例えば、背景画像におけるアバターの許容合成範囲の大きさはＨＭＤ４００Ａの表示視野角に対応して設定されており、プレーンコンバータ２１４は、デフォルトの状態では、この許容合成範囲に対応した画像データを切り出して表示用画像データとする。その後、プレーンコンバータ２１４は、切出し範囲を、例えばＨＭＤ搭載のセンサで検出される頭部姿勢に応じて変更していく。

オーディオデコーダ２１６は、コンテナデコーダ２１２で取り出されたオーディオストリームにデコード処理を施して、ヘッドフォン（ＨＰ）４００Ｂでの音声再生のための２チャネルの音声データを得る。なお、デコード処理で５．１チャネル等の多チャネルの音声データが得られる場合、オーディオデコーダ２１６は、さらに、２チャネルにダウンミックスして２チャネルの音声データとする。

受信モジュール２１５は、ネットワークインタフェース２１４で受信されたクライアント送信ストリームを処理し、アバターの画像データとそのアバターの合成位置情報、アバターに対応した字幕の表示データとその字幕の表示位置情報、さらにアバターに対応した２チャネルの音声データを得る。

また、受信モジュール２１５Ａは、自身のクライアント装置２００の送信系２００Ｔ（図８参照）で生成されたクライアント送信ストリームを処理し、アバターの画像データとそのアバターの合成位置情報、アバターに対応した字幕の表示データとその字幕の表示位置情報、さらにアバターに対応した２チャネルの音声データを得る。受信モジュール２１５Ａは、背景画像に自身のアバターを合成するために設けられている。なお、自身のクライアント装置２００が送信系２００Ｔ（図８参照）を持たない場合には、受信系２００Ｒ（図１４参照）における受信モジュール２１５Ａは不要となる。

図１５は、受信モジュール２１５（２１５Ａ）の構成例を示している。この受信モジュール２１５（２１５Ａ）は、コンテナデコーダ２２１と、メタ情報解析部２２２と、アバターデータベース選択部２２３と、アバターデータベース２２４と、サイズ変換部２２５と、オーディオデコーダ２２６と、レンダラ２２７と、字幕デコーダ２２８と、フォント展開部２２９を有している。

コンテナデコーダ２２１は、クライアント送信ストリームからアバターメタ情報、３Ｄオーディオの符号化音声データおよび字幕のテキスト情報であるＴＴＭＬを取り出す。メタ情報解析部２２２は、コンテナデコーダ２２１で得られたアバターメタ情報を解析する。

メタ情報解析部２２２は、アバターデータベース選択情報（図１０参照）に基づいて、アバターの画像データをアバターデータベース２２４から得るための選択情報を取得する。この選択情報は、アバターの全身体系の種類「body_type」、正面からの向き「body_angle」、表情・感情の種類「emotional_type」、顔の向き「face_angle」の各情報からなっている。

また、メタ情報解析部２２２は、アバターレンダリング制御情報（図９参照）に基づいて、背景画像の許容合成範囲内におけるアバターの合成位置情報「avator_center_position_x」、「avator_center_position_y」と、そのアバターのサイズ情報「avator_rendering_size」を取得する。

アバターデータベース選択部２２３は、メタ情報解析部２２２で取得された選択情報を参照してアバターデータベース２２４から取得されるアバターの構成データに基づいて、アバターの画像データを得る。

図１６は、アバターデータベース選択部２２３の構成例を示している。アバターデータベース選択部２２３は、データベースマッピング部２２３ａを備えている。アバターの全身体系の種類「body_type」、正面からの向き「body_angle」、表情・感情の種類「emotional_type」、顔の向き「face_angle」の各情報がデータベースマッピング部２２３ａに入力され、これらの情報に基づいてアバターデータベース２２４からアバターの構成データが取得されてマッピングされ、アバターの画像データが得られる。

図１７は、アバターデータベース２２４のリスト例を示している。例えば、アバターの全身体系の種類「body_type」の構成データとしては、“直立している”、“腰かけている”、“寝そべっている”の３状態が保持されている。また、例えば、正面からの向き「body_angle」の構成データとしては、“前向き”、“後ろ向き”、“右向き”、“左向き”、“上向き”、“下向き”の６状態が保持されている。また、例えば、表情・感情の種類「emotional_type」構成データとしては、“無表情”、“笑っている”、“泣いている”、“怒っている”の４状態が保持されている。また、顔の向き「face_angle」の構成データとしては、“正面直視”、“伏し目”の２状態が保持されている。

図１５に戻って、サイズ変換部２２５は、アバターデータベース選択部２２３で得られたアバターの画像データに対して、メタ情報解析部２２２で取得されたサイズ情報に基づいて、サイズ変換処理を施し、サイズ変換されたアバターの画像データを得る。

オーディオデコーダ２２６は、コンテナデコーダ２２１で得られた音声符号化データにデコード処理を施し、オブジェクト符号化データとしての符号化サンプルデータおよびオブジェクトメタデータ（音声オブジェクトレンダリング情報）を得る。レンダラ２２７は、オーディオデコーダ２２６で得られた符号化サンプルデータおよびオブジェクトメタデータに対してレンダリング処理を施し、背景画像におけるアバターの合成位置が音像位置となるように、各スピーカのチャネルデータを得る。

図１８は、レンダラ２２７におけるレンダリング処理の概要を示している。この図１８において、図１２と対応する部分には同一符号を付して示している。オブジェクトメタデータに含まれるアバター位置情報（θ，φ，ｒ）は、ＨＭＤ４００Ａで展開される画像上におけるアバターの合成位置の中心座標である点Ｐに対応する。

なお、クライアント装置２００では、上述したように、アバターレンダリング制御情報（図９参照）に含まれるアバターの合成位置情報（「avator_center_position_x」、「avator_center_position_y」）により点Ｐの座標を特定でき、この点Ｐと想定する鑑賞位置の中心を点Ｑから「Azimuth」、「Radius」、「Elevation」の値を求めて、レンダラ２２７で用いることも可能である（図１２参照）。

その場合、「Radius」の値に関しては、サーバ１００から音声オブジェクトレンダリング情報（図１１参照）に挿入されて送られてくる「Radius」の値を使用するか、あるいはアバターレンダリング制御情報（図９参照）に含まれる「avator_rendering_size」の情報に基づいて、オブジェクト（アバター）のサイズに応じて、求められた「Radius」の値を調整して使用することで、アバターの合成位置の奥行位置を適切な位置に設定することが可能となる。

そして、この点Ｐが、中心鑑賞位置である点Ｑから各スピーカ位置へ伸ばした軸Ｑ－ＬＴ，Ｑ－ＬＢ，Ｑ－ＲＴ，Ｑ－ＲＢ上のベクトルｒ＿ＬＴ，ｒ＿ＬＢ，ｒ＿ＲＴ，ｒ－ＲＢに射影される。そして、各スピーカのチャンネルデータの音圧レベルはそれぞれこの４つのベクトルのベクトル量に相当するものとされる。

なお、図１８の例は、ＨＭＤ４００Ａに展開される画像がデフォルトの状態、すなわちＨＭＤ４００Ａに展開される画像が背景画像にけるアバターの許容合成範囲に対応している場合を示している。上述したようにプレーンコンバータ２１４における切出し範囲はＨＭＤ搭載のセンサで検出される頭部姿勢に応じて変更されていく。

この場合、ＨＭＤ４００Ａに展開される画像上の点Ｐの位置も変化し、変化量によってはＨＭＤ４００Ａに展開される画像上から点Ｐの位置が外れることも想定される。この場合、レンダラ２２７では、アバター位置情報（θ，φ，ｒ）で求められた点Ｐの位置ではなく、変化後の点Ｐの位置に基づいて各スピーカのチャンネルデータの音圧レベルが設定される。

また、レンダラ２２７は、上述したように各スピーカのチャンネルデータに、リマッピング（Remapping）による音圧制御を施し、ヘッドフォン４００Ｂで再生するための２チャネルの音声データに変換して出力する。なお、クライアント側における音声出力が、ヘッドフォン４００Ｂではなく、スピーカＬＴ，ＬＢ，ＲＴ，ＲＢで行われる場合には、このリマッピングによる音圧制御は省略される。

図１９は、レンダラ２２７におけるリマッピングによる音圧制御を概略的に示している。Ｄ＿ＬＴ，Ｄ＿ＬＢ，Ｄ＿ＲＴ，Ｄ＿ＲＢはそれぞれスピーカＬＴ，ＬＢ，ＲＴ，ＲＢに出力するチャネルデータを示し、“Left ear”，“Right ear”はヘッドフォン４００Ｂで再生するための２チャネルの音声データを示している。ここで、リマッピングによる音圧制御では、各スピーカから左右の耳までの伝達特性、いわゆる頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）を各チャネルデータに畳み込んでから合算して２チャネルにダウンミックスすることが行われる。

図１５に戻って、字幕デコーダ２２８は、コンテナデコーダ２２１で得られたＴＴＭＬから字幕のテキストデータや制御コードを得る。制御コードの１つとして、表示位置情報も得られる。フォント展開部２２９は、字幕デコーダ２２８で得られた字幕のテキストデータや制御コードに基づいてフォント展開して、字幕表示データ（ビットマップデータ）を得る。

図１５に示す受信モジュール２１５（２１５Ａ）の動作を簡単に説明する。クライアント送信ストリームは、コンテナデコーダ２２１に供給される。コンテナデコーダ２２１では、クライアント送信ストリームからアバターメタ情報、３Ｄオーディオの符号化音声データおよび字幕のテキスト情報であるＴＴＭＬが取り出される。

コンテナデコーダ２２１で取り出されたアバターメタ情報は、メタ情報解析部２２２に供給される。メタ情報解析部２２２では、アバターデータベース選択情報（図１０参照）に基づいて、アバターの画像データをアバターデータベース２２４から得るための選択情報が取得される。この選択情報は、アバターの全身体系の種類「body_type」、正面からの向き「body_angle」、表情・感情の種類「emotional_type」、顔の向き「face_angle」の各情報からなっている。

また、メタ情報解析部２２２では、アバターレンダリング制御情報（図９参照）に基づいて、背景画像の許容合成範囲内におけるアバターの合成位置情報「avator_center_position_x」、「avator_center_position_y」と、そのアバターのサイズ情報「avator_rendering_size」が取得される。

メタ情報解析部２２２で取得された選択情報は、アバターデータベース選択部２２３に供給される。アバターデータベース選択部２２３では、選択情報に基づいてアバターデータベース２２４から取得されるアバターの構成データに基づいてアバターの構成データが取得されてマッピングされ、アバターの画像データが得られる。

アバターデータベース選択部２２３で得られたアバターの画像データは、サイズ変換部２２５に供給される。また、このサイズ変換部２２５には、メタ情報解析部２２２で取得されたアバターのサイズ情報が供給される。サイズ変換部２２５では、アバターデータベース選択部２２３から供給されるアバターの画像データに対して、サイズ情報に基づいて、サイズ変換処理が施され、サイズ変換されたアバターの画像データが得られる。このようにサイズ変換部２２５で得られたアバターの画像データは、メタ情報解析部２２２で取得されたアバターの合成位置情報と共に、受信モジュール２１５（２１５Ａ）の出力とされる。

また、コンテナデコーダ２２１で取り出された符号化音声データは、オーディオデコーダ２２６に供給される。オーディオデコーダ２２６では、符号化音声データにデコード処理が施され、オブジェクト符号化データとしての符号化サンプルデータおよびオブジェクトメタデータ（音声オブジェクトレンダリング情報）が得られる。このオブジェクト符号化データは、レンダラ２２７に供給される。

レンダラ２２７では、オーディオデコーダ２２６で得られたオブジェクト符号化データ（符号化サンプルデータおよびオブジェクトメタデータ）に対してレンダリング処理が施され、背景画像におけるアバターの合成位置が音像位置となるように、例えばＨＭＤ４００Ａで展開される画像の左右上下に配置された仮想スピーカのチャネルデータが生成される（図１８参照）。

さらに、レンダラ２２７では、４つのチャネデータに頭部伝達関数（ＨＲＴＦ）を用いたリマッピングによる音圧制御が行われて、ヘッドフォン４００Ｂで再生するための２チャネルの音声データが生成される（図１９参照）。このようにレンダラ２２７で得られた２チャネルの音声データは、受信モジュール２１５（２１５Ａ）の出力とされる。

また、コンテナデコーダ２２１で取り出されたＴＴＭＬは、字幕デコーダ２２８に供給される。字幕デコーダ２２８では、ＴＴＭＬから字幕のテキストデータや制御コードが得られる。制御コードの１つとして、表示位置情報も得られる。

字幕デコーダ２２８で得られた字幕のテキストデータや制御コードは、フォント展開部２２９に供給される。フォント展開部２２９では、字幕のテキストデータや制御コードに基づいてフォント展開がされて、字幕表示データ（ビットマップデータ）が得られる。このようにフォント展開部２２９で得られた字幕表示データは、字幕デコーダ２２８で取得された字幕の表示位置情報と共に、受信モジュール２１５（２１５Ａ）の出力とされる。

図１４に戻って、ミクサ２１８は、オーディオデコーダ２１６で得られた２チャネルの音声データと、受信モジュール２１５，２１５Ａ（図１５参照）で得られた２チャネルの音声データを合成して、ヘッドフォン（ＨＰ）４００Ｂに送る２チャネルの音声データを得る。

合成部２１９は、制御部２０１の制御のもと、プレーンコンバータ２１４で得られた表示用画像データに、受信モジュール２１５，２１５Ａで得られたアバターの画像データを、合成位置情報に基づいて、背景画像のアバター許容合成範囲内の特定位置にアバターが配置されるように合成し、さらに、受信モジュール２１５，２１５Ａで得られた字幕表示データを表示位置情報に基づいて合成し、ＨＭＤ４００Ａに送る表示画像データを得る。

なお、図１４に示す受信系２００Ｒの構成例では、自身のクライアント装置２００の送信系２００Ｔ（図８参照）で生成されたクライアント送信ストリームを処理する受信モジュール２１５Ａを備える例を示した。しかし、この受信モジュール２１５Ａの代わりに、自身のクライアント装置２００の送信系２００Ｔ（図８参照）で生成されたアバターメタ情報、符号化音声データ、ＴＴＭＬを処理するモジュール（図１５に示す受信モジュール２１５Ａのコンテナデコーダ２２１を除いた構成）、あるいはアバターメタ情報、符号化音声データ、ＴＴＭＬに対応した他のデータ、情報を入力して同様の出力を得るモジュールであってもよい。

図１４に示す受信系２００Ｒの動作を簡単に説明する。ネットワークインタフェース２１１では、サーバ１００から、ネットワーク３００を介して、サーバ配信ストリームが受信される。また、ネットワークインタフェース２１１では、他のクライアント装置２００から、ネットワーク３００を介して、クライアント送信ストリームが受信される。

ネットワークインタフェース２１１で受信されたサーバ配信ストリームは、コンテナデコーダ２１２に供給される。コンテナデコーダ２１２では、サーバ配信ストリーム（ＭＰ４ストリーム）からビデオストリームおよびオーディオストリームが取り出される。

また、コンテナデコーダ２１２では、イニシャライゼーション・セグメント（ＩＳ）や“ｍｏｏｆ”のボックスに定義される“ｕｄｔａ”のボックスに存在するビデオ・アトリビュート・インフォメーション・ボックスが取り出され、制御部２０１に送られる。これにより、制御部２０１では、カメラの撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報が認識される。

また、コンテナデコーダ２１２で取り出されたビデオストリームは、ビデオデコーダ２１３に供給される。ビデオデコーダ２１３では、ビデオストリームにデコード処理が施されて、背景画像の画像データが得られる。

また、ビデオデコーダ２１３では、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。この抽出情報には、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージ（図４参照）も含まれる。これにより、制御部２０１では、カメラの撮像状態を示すキャプチャ情報と、カメラの位置（撮像位置）を示す位置情報（ＧＰＳデータ）と、背景画像におけるアバターの許容合成範囲を示す情報が認識される。

ビデオデコーダ２１３で得られた背景画像の画像データは、プレーンコンバータ２１４に供給される。プレーンコンバータ２１４では、背景画像の画像データが非線形な画像データである場合には線形な画像データに変換される。また、プレーンコンバータ２１４では、背景画像の画像データから、ＨＭＤ４００Ａの表示視野角に対応した部分だけが切り出され、表示用画像データが得られる。

例えば、背景画像におけるアバターの許容合成範囲の大きさはＨＭＤ４００Ａの表示視野角に対応して設定されており、デフォルトの状態では、この許容合成範囲に対応した画像データが切り出されて表示用画像データとされる。その後、切出し範囲は、例えばＨＭＤ搭載のセンサで検出される頭部姿勢に応じて変更されていく。

また、コンテナデコーダ２１２で取り出されたオーディオストリームは、オーディオデコーダ２１６に供給される。オーディオデコーダ２１６では、オーディオストリームにデコード処理が施されて、ヘッドフォン（ＨＰ）４００Ｂでの音声再生のための２チャネルの音声データが得られる。なお、デコード処理で５．１チャネル等の多チャネルの音声データが得られる場合、オーディオデコーダ２１６では、さらに、２チャネルにダウンミックスされて２チャネルの音声データとされる。

また、ネットワークインタフェース２１１で受信された他のクライアント装置２００からのクライアント送信ストリームは、受信モジュール２１５に供給される。この受信モジュール２１５では、クライアント送信ストリームが処理され、アバターの画像データとそのアバターの合成位置情報、アバターに対応した字幕の表示データとその字幕の表示位置情報、さらにアバターに対応した２チャネルの音声データが得られる（図１５参照）。

また、自身のクライアント装置２００の送信系２００Ｔ（図８参照）で生成されたクライアント送信ストリームは、受信モジュール２１５Ａに供給される。この受信モジュール２１５Ａでは、受信モジュール２１５と同様に、クライアント送信ストリームが処理され、アバターの画像データとそのアバターの合成位置情報、アバターに対応した字幕の表示データとその字幕の表示位置情報、さらにアバターに対応した２チャネルの音声データが得られる（図１５参照）。

オーディオデコーダ２１６で得られた２チャネルの音声データは、ミクサ２１８に供給される。また、このミクサ２１８には、受信モジュール２１５，２１５Ａで得られた２チャネルの音声データが供給される。ミクサ２１８では、オーディオデコーダ２１６で得られた２チャネルの音声データと、受信モジュール２１５，２１５Ａで得られた２チャネルの音声データが合成されて、ヘッドフォン（ＨＰ）４００Ｂに送る２チャネルの音声データが得られる。

また、プレーンコンバータ２１４で得られた表示用画像データは合成部２１９に供給される。また、この合成部２１９には、受信モジュール２１５，２１５Ａで得られたアバターの画像データおよびアバター合成位置情報や、字幕表示データおよび表示位置情報が供給される。合成部２１９では、プレーンコンバータ２１４で得られた表示用画像データに、受信モジュール２１５，２１５Ａで得られたアバターの画像データが、合成位置情報に基づいて、背景画像のアバター許容合成範囲内の特定位置にアバターが配置されるように合成され、さらに、受信モジュール２１５，２１５Ａで得られた字幕表示データが表示位置情報に基づいて合成され、ＨＭＤ４００Ａに送る表示画像データが得られる。

図２０は、背景画像の一例を示し、矩形破線枠はアバターの許容合成範囲(sy_window)を示している。この背景画像の中心（「＋」の文字で示している）は、ビデオ・アトリビュート・インフォメーション・ＳＥＩメッセージ（図４参照）やビデオ・アトリビュート・インフォメーション・ボックス（図７参照）における「camera_direction」、「camera_V_angle」の情報に対応した位置となる。

図２１は、背景画像の許容合成範囲(sy_window)内にアバターおよび字幕が合成された状態の一例を示している。図示の例では、Ａ１，Ａ２，Ａ３の３つのアバターが合成され、さらに２つの字幕が合成されている。ここで、Ａ１のアバターと、それに関連づけられた字幕は、「clinent_id」が“０ｘＡ１”であるクライアント（クライアント装置２００）によるものである。また、Ａ２のアバターは、「clinent_id」が“０ｘＡ２”であるクライアントによるものである。また、Ａ３のアバターと、それに関連づけられた字幕は、「clinent_id」が“０ｘＡ３”であるクライアント（クライアント装置２００）によるものである。

以上説明したように、図１に示す空間共有表示システム１０において、クラインアント装置２００では、背景画像の画像データにアバターメタ情報に基づいてアバターの画像データを生成し、このアバターの画像データを背景画像の画像データに合成するものである。そのため、クライアントのそれぞれは、共通の背景画像に他のクライアントのアバターが合成されたものを認識でき、互いのＶＲ空間を共有して良好にコミュニケーションをとることが可能となる。

また、図１に示す空間共有表示システム１０において、クライアント送信ストリームには、アバターメタ情報に対応した音声データがオブジェクトメタデータと共に含まれており、クライアント装置２００では、音声データにオブジェクトメタデータに応じたレンダリング処理を行ってアバターの合成位置を音像位置とする音声出力データを得ることができる。そのため、クライアントのそれぞれに、背景画像上の各アバターの合成位置からそのアバターのクライアントからの音声が出ているように知覚させることが可能となる。

また、図１に示す空間共有表示システム１０において、クライアント送信ストリームには、アバターメタ情報に対応した字幕データが表示位置情報と共に含まれており、クライアント装置２００では、字幕データによる字幕がアバターの合成位置に対応した位置に表示されるように表示位置情報に基づいて字幕の表示データを背景画像の画像データに合成することができる。そのため、クライアントのそれぞれに、背景画像上の各アバターの合成位置に対応した位置にそのアバターのクライアントからの字幕を認識させることが可能となる。

また、図１に示す空間共有表示システム１０において、背景画像の画像データをエンコードして得られたビデオストリームのレイヤおよび/またはそのビデオストリームを含むサーバ配信ストリームのレイヤに背景画像におけるアバターの許容合成範囲を示す情報が挿入されて配信される。そのため、クラインアント装置２００では、背景画像に各クライアントのアバターを、この許容合成範囲を示す情報に基づいて、サーバ１００が意図する範囲に配置することが容易に可能となる。

＜２．変形例＞
なお、上述実施の形態においては、クライアント装置２００がＨＭＤ４００Ａとは別個に存在する例を示したが、ＨＭＤ４００Ａとクライアント装置２００が一体的に構成される例も考えられる。また、上述していないが、実写画像をアバターとして利用することも可能である。

また、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ－２ ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。

また、本技術は、以下のような構成を取ることもできる。
（１）サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを受信し、他のクライアント装置から該他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを受信する受信部と、
上記ビデオストリームをデコードして背景画像の画像データを得るデコード処理と、上記代用画像メタ情報に基づいて代用画像の画像データを生成する代用画像データ生成処理と、上記背景画像の画像データに上記代用画像の画像データを合成する画像データ合成処理を制御する制御部を備える
クライアント装置。
（２）上記ビデオストリームのレイヤおよび/または上記サーバ配信ストリームのレイヤに上記背景画像における上記代用画像の許容合成範囲を示す情報が挿入されており、
上記制御部は、上記許容合成範囲を示す情報に基づき、上記代用画像が上記背景画像の上記許容合成範囲内に配置されるように上記合成処理を制御する
前記（１）に記載のクライアント装置。
（３）上記代用画像メタ情報には、上記代用画像の上記許容合成範囲内における合成位置を示す合成位置情報が含まれており、
上記制御部は、上記合成位置情報が示す合成位置に上記代用画像が合成されるように上記合成処理を制御する
前記（２）に記載のクライアント装置。
（４）上記代用画像メタ情報には、上記代用画像のサイズを示すサイズ情報が含まれており、
上記制御部は、上記サイズ情報が示すサイズで上記背景画像に上記代用画像が合成されるように上記合成処理を制御する
前記（２）または（３）に記載のクライアント装置。
（５）上記クライアント送信ストリームには、上記代用画像メタ情報に対応した音声データがオブジェクトメタデータと共に含まれており、
上記制御部は、上記音声データに上記オブジェクトメタデータに応じたレンダリング処理を行って上記代用画像の合成位置を音像位置とする音声出力データを得る音声出力処理をさらに制御する
前記（３）に記載のクライアント装置。
（６）上記クライアント送信ストリームには、上記代用画像メタ情報に対応した字幕データが表示位置情報と共に含まれており、
上記制御部は、上記字幕データによる字幕が上記代用画像の合成位置に対応した位置に表示されるように上記表示位置情報に基づいて字幕の表示データを上記背景画像の画像データに合成する字幕合成処理をさらに制御する
前記（３）または（５）に記載のクライアント装置。
（７）自身の代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを他のクライアント装置に送信する送信部をさらに備え、
上記代用画像データ生成処理では、上記自身の代用画像を表示するための代用画像メタ情報に基づいて自身の代用画像の画像データをさらに生成する
前記（１）から（６）のいずれかに記載のクライアント装置。
（８）上記背景画像の画像データは、広視野角画像の画像データであり、
上記制御部は、上記背景画像の画像データの一部を切り出して表示用画像データを得る画像切出し処理をさらに制御する
前記（１）から（７）のいずれかに記載のクライアント装置。
（９）受信部が、サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを受信し、他のクライアント装置から該他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを受信する受信ステップと、
制御部が、上記ビデオストリームをデコードして背景画像の画像データを得るデコード処理と、上記代用画像メタ情報に基づいて代用画像の画像データを生成する代用画像データ生成処理と、上記背景画像の画像データに上記代用画像の画像データを合成する画像データ合成処理を制御する制御ステップを有する
クライアント装置の処理方法。
（１０）被写体を撮像して背景画像の画像データを得る撮像部と、
上記背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームをクライアント装置に送信する送信部を備え、
上記ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに上記背景画像における代用画像の許容合成範囲を示す情報が挿入されている
サーバ。
（１１）上記背景画像の画像データは、広視野角画像の画像データである
前記（１０）に記載のサーバ。
（１２）撮像部が、被写体を撮像して背景画像の画像データを得る撮像ステップと、
送信部が、上記背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームをクライアント装置に送信する送信ステップを有し、
上記ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに上記背景画像における代用画像の許容合成範囲を示す情報が挿入されている
サーバの処理方法。

本技術の主な特徴は、他のクラインアント装置からのクライアント送信ストリームにアバターメタ情報が含まれており、背景画像の画像データにこのアバターメタ情報に基づいて生成されたアバターの画像データを合成することで、クライアントのそれぞれが、共通の背景画像に他のクライアントのアバターが合成されたものを認識でき、互いのＶＲ空間を共有して良好にコミュニケーションをとることを可能としたことである（図２、図２１参照）。

１０・・・空間共有表示システム
１００・・・サーバ
１０１・・・制御部
１０１ａ・・・ユーザ操作部
１０２・・・ロケータ
１０３・・・ビデオキャプチャ
１０４・・・フォーマット変換部
１０５・・・ビデオエンコーダ
１０６・・・音声キャプチャ
１０８・・・オーディオエンコーダ
１０９・・・コンテナエンコーダ
１１０・・・ネットワークインタフェース
１１１・・・バス
２００・・・クライアント装置
２００Ｔ・・・送信系
２００Ｒ・・・受信系
２０１・・・制御部
２０１ａ・・・ユーザ操作部
２０２・・・メタデータジェネレータ
２０３・・・音声キャプチャ
２０４・・・オブジェクト情報生成部
２０５・・・オーディオエンコーダ
２０６・・・文字発生部
２０７・・・字幕エンコーダ
２０８・・・コンテナエンコーダ
２０９・・・ネットワークインタフェース
２１０・・・バス
２１１・・・ネットワークインタフェース
２１２・・・コンテナデコーダ
２１３・・・ビデオデコーダ
２１４・・・プレーンコンバータ
２１５，２１５Ａ・・・受信モジュール
２１６・・・オーディオデコーダ
２１８・・・ミクサ
２１９・・・合成部
２２１・・・コンテナエンコーダ
２２２・・・メタ情報解析部
２２３・・・アバターデータベース選択部
２２３ａ・・・データベースマッピング部
２２４・・・アバターデータベース
２２５・・・サイズ変換部
２２６・・・オーディオデコーダ
２２７・・・レンダラ
２２８・・・字幕デコーダ
２２９・・・フォント展開部
３００・・・ネットワーク
４００Ａ・・・ヘッドマウントディスプレイ（ＨＭＤ）
４００Ｂ・・・ヘッドフォン（ＨＰ）

本技術は、クライアント装置、表示システム、クライアント装置の処理方法およびプログラムに関する。

Claims (12)

1. サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを受信し、他のクライアント装置から他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを受信する受信部と、
   上記ビデオストリームをデコードして背景画像の画像データを得るデコード処理と、上記代用画像メタ情報に基づいて代用画像の画像データを生成する代用画像データ生成処理と、上記背景画像の画像データに上記代用画像の画像データを合成する画像データ合成処理を制御する制御部を備える
   クライアント装置。
2. 上記ビデオストリームのレイヤおよび/または上記サーバ配信ストリームのレイヤに上記背景画像における上記代用画像の許容合成範囲を示す情報が挿入されており、
   上記制御部は、上記許容合成範囲を示す情報に基づき、上記代用画像が上記背景画像の上記許容合成範囲内に配置されるように上記画像データ合成処理を制御する
   請求項１に記載のクライアント装置。
3. 上記代用画像メタ情報には、上記代用画像の上記許容合成範囲内における合成位置を示す合成位置情報が含まれており、
   上記制御部は、上記合成位置情報が示す合成位置に上記代用画像が合成されるように上記画像データ合成処理を制御する
   請求項２に記載のクライアント装置。
4. 上記代用画像メタ情報には、上記代用画像のサイズを示すサイズ情報が含まれており、
   上記制御部は、上記サイズ情報が示すサイズで上記背景画像に上記代用画像が合成されるように上記画像データ合成処理を制御する
   請求項２または３に記載のクライアント装置。
5. 上記クライアント送信ストリームには、上記代用画像メタ情報に対応した音声データがオブジェクトメタデータと共に含まれており、
   上記制御部は、上記音声データに上記オブジェクトメタデータに応じたレンダリング処理を行って上記代用画像の合成位置を音像位置とする音声出力データを得る音声出力処理をさらに制御する
   請求項３に記載のクライアント装置。
6. 上記クライアント送信ストリームには、上記代用画像メタ情報に対応した字幕データが表示位置情報と共に含まれており、
   上記制御部は、上記字幕データによる字幕が上記代用画像の合成位置に対応した位置に表示されるように上記表示位置情報に基づいて字幕の表示データを上記背景画像の画像データに合成する字幕合成処理をさらに制御する
   請求項３または５に記載のクライアント装置。
7. 自身の代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを他のクライアント装置に送信する送信部をさらに備え、
   上記代用画像データ生成処理では、上記自身の代用画像を表示するための代用画像メタ情報に基づいて自身の代用画像の画像データをさらに生成する
   請求項１から６のいずれかに記載のクライアント装置。
8. 上記背景画像の画像データは、広視野角画像の画像データであり、
   上記制御部は、上記背景画像の画像データの一部を切り出して表示用画像データを得る画像切出し処理をさらに制御する
   請求項１から７のいずれかに記載のクライアント装置。
9. 受信部が、サーバから背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームを受信し、他のクライアント装置から他のクライアントの代用画像を表示するための代用画像メタ情報を含むクライアント送信ストリームを受信する受信ステップと、
   制御部が、上記ビデオストリームをデコードして背景画像の画像データを得るデコード処理と、上記代用画像メタ情報に基づいて代用画像の画像データを生成する代用画像データ生成処理と、上記背景画像の画像データに上記代用画像の画像データを合成する画像データ合成処理を制御する制御ステップを有する
   クライアント装置の処理方法。
10. 被写体を撮像して背景画像の画像データを得る撮像部と、
    上記背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームをクライアント装置に送信する送信部を備え、
    上記ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに上記背景画像における代用画像の許容合成範囲を示す情報が挿入されている
    サーバ。
11. 上記背景画像の画像データは、広視野角画像の画像データである
    請求項１０に記載のサーバ。
12. 撮像部が、被写体を撮像して背景画像の画像データを得る撮像ステップと、
    送信部が、上記背景画像の画像データをエンコードして得られたビデオストリームを含むサーバ配信ストリームをクライアント装置に送信する送信ステップを有し、
    上記ビデオストリームのレイヤおよび/またはサーバ配信ストリームのレイヤに上記背景画像における代用画像の許容合成範囲を示す情報が挿入されている
    サーバの処理方法。

Images