JP2020115299A - 仮想空間情報処理装置、方法、プログラム - Google Patents

Abstract

【課題】手軽にバーチャルリモート会議を行えるようにする。【解決手段】仮想空間情報処理装置は、撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成する距離情報変換部と、距離情報変換画像データと、３次元距離画像データの色情報による色情報画像データを符号化する符号化部と、符号化した距離情報変換画像データと色情報画像データとを送信し、また、距離情報変換画像データと色情報画像データを受信する通信部と、受信した一又は二以上の距離情報変換画像データを復号化する復号化部と、復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するアバター生成部と、生成したアバターを仮想三次元空間に配置する仮想空間制御部と、を有する。【選択図】図２

Description

本発明は、ユーザがパーソナルコンピュータやスマートフォンなどの情報処理装置を用いて、仮想的な３次元空間に配置された各ユーザのアバター画像の動画を生成し、送受信する仮想空間情報処理装置、方法及びプログラムに関する。

遠隔にいるユーザ同士が会議を行うためのシステムとして多地点をネットワークで結び、各地点のユーザの映像を送受信することで会議を行うテレビ会議システムがある。しかし、テレビ会議システムを使って互いにディスプレイ上で顔を合わせて会議した場合であっても、実際に会って会議をする場合と同様のコミュニケーションが難しいという問題があった。

こうしたコミュニケーション上の課題を解決するため、会議室を仮想三次元空間において描画し、その仮想三次元空間内にユーザを配置することで、あたかも会議参加者が実際に集まって会議しているかのような空間を作ることが提案されている（特許文献１）。

特開２０００−２４４８８６号公報

しかし、仮想三次元空間に会議参加者である複数のユーザをアバターとして配置する場合、リアルタイムでの三次元形状データの送受信が必要となるため、膨大なデータ量を確実に送受信するために三次元形状データに対応する特別な機器を準備しなければならず、ユーザが所有しているスマートフォンを始めとする携帯端末やパーソナルコンピュータといった情報処理装置では、手軽に仮想三次元空間にアバターを配置したバーチャルリモート会議を行うことができないという問題があった。

本発明は、このような状況を鑑みてなされたものであり、本発明の仮想空間情報処理装置にあっては、三次元形状であるユーザのアバター生成に必要な距離情報を色情報に変換することで、一般に普及しているH264やHEVCといった動画圧縮規格のもとで送受信を行い、仮想三次元空間を利用した会議を可能とする仮想空間情報処理装置を提供することを目的とする。

本発明にあっては、撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成する距離情報変換部と、距離情報変換画像データと、３次元距離画像データの色情報による色情報画像データを符号化する符号化部と、符号化した前記距離情報変換画像データと前記色情報画像データとを送信し、また、距離情報変換画像データと色情報画像データを受信する通信部と、受信した一又は二以上の距離情報変換画像データを復号化する復号化部と、復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するアバター生成部と、生成したアバターを仮想三次元空間に配置する仮想空間制御部と、を有する仮想空間情報処理装置を提供することができる。

さらに、色情報画像データと距離変換画像データとを結合して結合画像データを生成する画像結合部を有し、符号化部は、結合画像データを符号化し、通信部は、結合画像データを送信し、また、結合画像データを受信し、復号化部は、結合画像データを復号化し、アバター生成部は、復号化された結合画像データに基づいてアバターを生成する。

また、距離情報変換部は、前記距離情報を赤、青、緑のうちの一つの色情報へと変換する。

また、距離情報変換部は、抽出した距離情報にしきい値を設け、所定範囲の値をもつ距離情報とし、当該距離情報を色情報へと変換してもよい。

本発明に係る仮想空間情報処理プログラムは、撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成するステップと、距離情報変換画像データと、３次元距離画像データの色情報による色情報画像データを符号化するステップと、符号化した距離情報変換画像データと色情報画像データとを送信するステップと、距離情報変換画像データと色情報画像データを受信するステップと、受信した一又は二以上の距離情報変換画像データを復号化するステップと、復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するステップと、生成したアバターを仮想三次元空間に配置するステップと、を行うようコンピュータを機能させる仮想空間情報処理プログラムを提供する。

また、撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成するステップと、３次元距離画像データの色情報による色情報画像データと距離変換画像データとを結合して結合画像データを生成するステップと、結合画像データを符号化するステップと、符号化した前記結合画像データを送信するステップと、結合画像データを受信するステップと、受信した一又は二以上の結合画像データを復号化するステップと、復号化した結合画像データに基づいてアバターを生成するステップと、生成したアバターを仮想三次元空間に配置するステップと、を有する仮想空間情報処理プログラムを提供する。

また、本発明の仮想空間情報処理方法は、撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成するステップと、距離情報変換画像データと、３次元距離画像データの色情報による色情報画像データを符号化するステップと、符号化した前記距離情報変換画像データと前記色情報画像データとを送信するステップと、距離情報変換画像データと色情報画像データを受信するステップと、受信した一又は二以上の距離情報変換画像データを復号化するステップと、復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するステップと、生成したアバターを仮想三次元空間に配置するステップと、をコンピュータが実行する仮想空間情報処理方法を提供する。

本発明によれば、特別な機器を使わなくても三次元形状の生成に必要なデータを、ネットワークを介して送受信することができるため、誰でもどこでも容易にバーチャルリモート会議を行うことができる。

また、色情報の画像データと距離情報を変換した画像データとを送信する構成とすることで、従来のMPEG４などの動画圧縮技術を用いることができ、データの送受信を安定して確実に行うことができるようになるという効果がある。

図１は、本発明におけるバーチャルリモート会議を実施するためにネットワークで接続された複数の仮想空間情報処理装置の一例を示す図である。 図２は、本発明にかかる仮想空間情報処理装置１００の機能ブロック図である。 図３は、本発明にかかる距離情報変換画像データの生成処理を説明するフローチャートの一例を示す図である。 図４は、色情報画像データと距離変換画像データとを結合した結合画像データの一例を示す図である 図５は、仮想空間情報処理装置１００のハードウェア構成の一例を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能及び構成を有する構成要素については同一の符号を付し、重複説明を省略する。

図１は、本発明におけるバーチャルリモート会議を実施するためにネットワークで接続された複数の仮想空間情報処理装置の一例を示す図である。バーチャルリモート会議システム１は、会議参加者の仮想空間情報処理装置１００（１００ａ〜ｃ）がインターネット２００を介して接続されることで構成される。

仮想空間情報処理装置１００は、例えば、パーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末等の動画像データを視聴可能な装置である。

仮想空間情報処理装置１００は、カメラやマイクから入力されたユーザの動画像や音声を他のバーチャルリモート会議参加者の仮想空間情報処理装置１００に送信する装置である。このときカメラは、たとえば２つのカメラを有するステレオカメラ、または三次元距離画像を取得できるカメラであり、仮想空間情報処理装置１００は、カメラから取得した距離情報を色情報へと変換して距離情報変換画像データを生成し、カメラから取得した色情報の画像データや音声データを符号化し、符号化した動画ストリームを生成して、他の会議参加者の仮想空間情報処理装置へ、送信する。例えば、ＭＰＥＧ４やＨ．２６４／ＡＶＣなどの動画像符号化技術を用いて動画ストリームを生成する。

また、仮想空間情報処理装置１００は、ユーザの動画像や音声を他のバーチャルリモート会議参加者の仮想空間情報処理装置１００に送信することと並行して、他の会議参加者の仮想空間情報処理装置１００から、他のユーザの画像及び音声データを含む動画ストリームを受信し、動画ストリームに含まれる画像及び音声データに基づいて、各参加者のアバターを生成し、仮想空間内の会議室に他の会議参加者を配置して、その画像及び音声をユーザに提供する。受信した画像データには色情報を含む画像データと距離情報変換画像データが含まれている。色情報及び距離情報に基づいてユーザのアバターを生成し、仮想三次元空間内の会議室に、会議参加者のユーザのアバターを配置する。

さらに、仮想空間情報処理装置１００は、各参加者のアバターを表示させるときに表示部として通常のディスプレイだけでなく、より臨場感ある体験とするためにヘッドマウントディスプレイなどのMR（Mixed Reality）デバイスを用いて表示してもよい。

ネットワーク２００は、複数の仮想空間情報処理装置１００を接続する回線網であり、例えば、インターネットである。

図２は、本発明にかかる仮想空間情報処理装置１００の機能ブロック図である。図２に示すように、仮想空間情報処理装置１００は、撮像部１１０、画像結合部１２０、動画符号化部１３０、音声入力部１４０、音声符号化部１５０、表示部１６０、仮想空間制御部１７０、動画復号化部１８０、音声出力部１９０、音声合成部２００、仮想空間情報記憶部２１０、音声復号化部２２０、通信部２３０を有する。

撮像部１１０は、バーチャルリモート会議に参加するユーザを撮像するビデオカメラである。例えば、カメラを２つ有するステレオカメラで構成されるが、これに限らず、３次元距離画像データを撮像できるビデオカメラであればよく、距離センサを有するビデオカメラであってもよい。撮像部１１０は、時系列画像である動画データを生成する。動画データは、一フレーム画像である３次元距離画像データから構成されており、３次元距離画像データは、各画素における視差又は距離情報と、色情報とを有している。

画像結合部１２０は、距離情報変換部１２２を有する。画像結合部１２０は、撮像部１１０から入力された３次元距離画像データから距離情報を色情報へと変換し、距離変換画像データを生成する。３次元距離画像データから距離情報を抽出すると色情報による色情報画像データとなる。画像結合部１２０は、色情報画像データと距離変換画像データとを結合して結合画像データを生成する。画像結合部１２０は、撮像部から入力された３次元画像データから色情報画像データと距離変換画像データとを生成するが、同一の３次元画像データから生成された色情報画像データと距離変換画像データとが対応付けられるよう、結合する。結合方法は、色情報画像データと距離変換画像データとを縦に結合して一つの画像データとする。なお、これに限らず、横に結合して一つの画像データとしてもよい。また、色情報画像データと距離変換画像データとを２つの画像データとし、同じフレーム画像であることを示す情報を付加するように構成してもよい。

距離情報変換部１２２は、画像結合部１２０内において、３次元画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成する。なお、具体的には、距離情報を赤、緑、青（RGB）のうちの一つの色情報へと変換する。なお、緑の色情報へと変換してもよい。緑は最も明るさに関係する色であるため、動画像の圧縮が行われても欠損しにくいためである。なお、ここでは、RGBから構成される色情報としているが、これに限らず、YUVによる色情報、例えばYCbCr、NV１２による色情報の一つに変換してもよい。この場合、輝度情報へと変換することが望ましい。

距離情報変換部１２２は、３次元距離画像データから抽出した距離情報を色情報へと変換する。なお、距離情報のうち、所定範囲の値をもつ距離情報を色情報へと変換してもよい。例えば、抽出した距離情報のうち、所定のしきい値を設け、しきい値を外れた距離情報は、すべてしきい値の値として色情報へと変換してもよい。３次元距離画像データは、その画像の一画素（ピクセル）ごとに距離情報を有している。例えば、ユーザが手にカメラが付属された端末をもって自身を撮像する場合、一般的な人間の腕の長さから顔が必ず含まれる距離範囲が決まるため、顔が存在しうる距離範囲をしきい値として設定してもよい。例えば、20センチから80センチの間の距離情報を使うこととし、20センチよりも小さい距離情報は、20センチ、80センチよりも大きい距離情報は80センチとして、色情報に変換するよう構成してもよい。

また、距離情報変換部１２２は、所定の値を距離情報のしきい値とし、当該所定値を色情報へと変換して、マスク画像データを生成してもよい。マスク画像データは、距離情報変換画像データとは異なる色情報へと変換される。例えば、距離情報変換画像データが、RGBによる色情報のうち、緑の色情報へと変換される場合、マスク画像データは、赤又は青の色情報へと変換される。マスク画像データへ変換したしきい値は、しきい値以上の距離を有するピクセルの色情報を破棄し、背景を除去するために用いられる。この場合、距離情報変換画像データとマスク画像データが合成することにより生成される画像データが色情報画像データと結合する。

動画符号化部１３０は、いわゆるビデオエンコーダであり、画像結合部１２０で生成された画像データをフレーム間符号化し、符号化した動画ストリームを生成する。例えば、ＭＰＥＧ４やＨ．２６４／ＡＶＣなどの規格による動画像符号化を行う。

音声入力部１４０は、たとえば、マイクであり、会議参加者であるユーザの声を受け付ける。音声符号化部１５０は、音声入力部１４０から入力された音声を符号化する。なお、ここでは、動画符号化部１３０と音声符号化部１５０とを別々の機能として図示しているが、一つの符号化部として構成してもよいことは当然である。

表示部１６０は、受信した動画ストリームから生成された他の会議参加者のアバターが仮想三次元空間内の会議室に配置された画像を表示するもので、例えば液晶ディスプレイや携帯電話・スマートフォン・PCのディスプレイ、ヘッドマウントディスプレイなどで構成される。

仮想空間制御部１７０は、バーチャルリモート会議の画像を生成する制御部であり、アバター生成部１７２を有する。仮想空間制御部１７０は、仮想空間情報記憶部２１０からユーザによって選択された会議室の画像、仮想空間内の三次元座標、各座席の位置情報などを読み出し、アバター生成部１７２で生成された他の会議参加者のアバターを３次元空間に配置し、仮想空間情報処理装置１００を使用しているユーザの仮想空間内の会議室での位置からユーザの視線の方向で見える仮想空間内の２次元画像を生成する。

アバター生成部１７２は、会議に参加している他のユーザの仮想空間情報処理装置１００から受信、復号された動画ストリームから、各ユーザのアバターを生成する。具体的には、復号された動画ストリームには、他の会議参加者であるユーザの色情報画像データと距離情報変換画像データとが含まれている。このため、距離情報変換画像データから、色情報に変換されている距離情報を算出する。そして、算出された距離情報と色情報とから、ユーザが存在しうる画像上の座標範囲を特定し、その座標範囲における距離情報と画面座標（画像データにおけるｘ、ｙ座標）とを読み出してカメラ座標（３次元座標、ｘ、ｙ、ｚ座標）へと変換し、色情報画像データの色情報に基づき、３つ以上の頂点で生成されるポリゴンデータやテクスチャの指定を行って、各ユーザのアバターを生成する。

アバター生成部１７２は、復号された動画ストリームに含まれる画像データが、色情報画像データと距離変換画像データとが結合した結合画像データである場合、画像上の位置によって色情報画像か距離変換画像かが決まるため、各画像データが存在する座標位置から各画像データを読み出すことで、色情報と距離情報とを取得する。

また、アバター生成部１７２は、復号された動画ストリームに含まれる結合画像データに、距離変換画像データとマスク画像データとが合成した画像データが含まれる場合、緑の色情報から距離情報、赤又は青の色情報から距離情報のしきい値を読み出し、しきい値以上の距離情報を有する画素の色情報は破棄し、透明色となるよう処理を行う。

動画復号化部１８０は、通信部２３０が他の仮想空間情報処理装置から受信した動画ストリームを復号して動画を再生する。

音声出力部１９０は、音声合成部２００が合成処理した音声を出力するスピーカーである。

音声合成部２００は、仮想空間制御部１７０が生成した仮想空間におけるユーザアバターの配置に基づいて、受信し、復号した複数のユーザ音声を合成する。より具体的には、仮想空間における仮想空間情報処理装置１００のユーザのアバターの位置と、他のユーザのアバターの位置に基づき、ユーザのアバターの位置で聞こえる方向、大きさとなるよう他のユーザの音声を調整して音声合成を行う。

仮想空間情報記憶部２１０は、仮想空間におけるバーチャル会議を実現するための情報を記憶する。例えば、会議室の画像データや会議室の仮想空間における三次元座標データ、会議参加者の席次、各参加者の仮想空間における標準的なモデルの三次元座標データ、他の参加者との距離や向きなどの情報を記憶している。

音声復号化部２２０は、通信部２３０が他の仮想空間情報処理装置から受信した動画ストリームの音声を復号する。ここでは、音声復号化部２２０と動画復号化部１８０が別々の構成としているが、一つの復号化部として実現してもよい。

通信部２３０は、動画符号化部１３０、音声符号化部１５０で符号化された動画ストリームをパケット化し、インターネットを介して会議に参加している他のユーザの仮想空間情報処理装置へ送信する。また、会議に参加している他の一又は二以上のユーザから、符号化された動画ストリームを受信する。

図３は、本発明にかかる距離情報変換画像データの生成処理を説明するフローチャートの一例を示す図である。

はじめに、画像結合部１２０は、撮像部１１０から色画像情報と距離画像情報とを有する３次元距離画像データを受け取る（ステップS301）。３次元距離画像データは、各画素における距離情報と色情報とを有している。

距離情報変換部１２２は、受信した３次元距離画像データから距離情報を抽出し、色情報へと変換する（ステップS302）。３次元距離画像データの各画素は距離情報を有しており、この距離情報を色情報へと変換する。具体的には、距離情報をＲＧＢ（赤、緑、青）のうちの一つの色のデータとして変換する。ここでは、例えば緑の情報へと変換する。つまり、０〜２５５の値で表す緑の色情報として変換する。

ここで、例えば、距離情報変換部１２２は、距離情報にしきい値を設け、所定範囲の値をもつ距離情報を色情報へと変換し、所定範囲外の距離情報については、しきい値の値を有する距離情報として色情報へ変換してもよい。つまり、ユーザの顔が存在しうる範囲の最小値と最大値をしきい値として設定する。色情報へは、下記の式により変換を行う。
距離情報＝ｄ とし、顔が存在しうる範囲の最小値をｄmin、最大値をｄmaxの場合、変換後の色情報ｃは、
ｄ≦ｄminのとき、ｃ＝０、
dmin≦ｄ≦ｄmaxのとき、c=（ｄ−dmin）/（ｄmax−dmin）×２５６
dmax≦ｄのとき、ｃ＝２５５
として、距離情報変換部１２２は、色情報への変換を行う。

距離情報変換部１２２は、距離情報を一つの色の情報へと変換処理を行ったあと、距離変換画像データを生成する（ステップS303）。３次元距離画像データは、各画素に距離情報を有しているため、距離情報変換部１２２は、３次元距離画像データに含まれるすべての距離情報を色情報へと変換する。変換後の色情報の値に基づいて、画像データを生成する。例えば、緑の情報へと変換した場合、距離変換画像データはカメラからの距離に応じて緑の色が変化する画像となる。

画像結合部１２０は、生成された距離変換画像データと色画像データとを結合する（ステップS304）。画像結合部１２０は、距離情報を抽出した３次元距離画像データの色情報画像データと、当該距離情報から生成された距離変換画像データとを結合して結合画像データを生成する。同じフレームの色情報と距離情報とを結合して一つの画像データとして送るため、読み出す際にも高速で処理することができる。結合は、例えば、色情報画像データと距離変換画像データとを縦に結合して一つの画像データとする。横に結合してもよい。しかし、GPUなどで構成されるアバター生成部１７２が結合画像データを読み出すとき、各画素を一列ずつ読み出すため、横に結合した場合、読み出した列に色情報と距離情報が含まれてしまう一方、縦に結合しておけば、読み出す列によって色情報なのか距離情報なのかを記憶しておけばすむため、複雑な処理を行う必要がないという効果がある。結合画像データは、動画符号化部１３０でフレーム間符号化し、他の仮想空間情報処理装置１００へ送信される。

図４は、色情報画像データと距離変換画像データとを結合した結合画像データの一例を示す図である。図４では、色情報画像データと距離変換画像データとが縦に結合されて一つの画像データとなっている。

図４においては、上が色情報画像データ、下が距離変換画像データで結合されているが、これに限らず、上下が逆でもよい。また、前述したとおり、横に結合してもよい。ここでは、縦に結合しているため、結合画像データを受信すると、アバター生成部１７２は、ｙ座標値で、上半分から色情報、下半分から距離情報を読み出す。下半分の画像データは距離情報が、例えば、緑の色情報として各画素に記憶されているため、アバター生成部１７２が、下記の計算を行って距離情報を取得する。
色情報の値ｃ、距離情報ｄ、距離情報の最小値dmin、距離情報の最大値dmaxとすると、
d = dmin + c * (dmax-dmin)
このようにして取得した各画素の距離情報と色情報とに基づいてユーザの顔画像の情報を取得し、画面座標と距離情報を３次元座標へ変換してアバターを生成する。

図５は、仮想空間情報処理装置１００のハードウェア構成の一例を示す図である。図５に示されるコンピュータ装置である仮想空間情報処理装置１００のハードウェア構成は、主にコンピュータ装置、携帯電話、スマートフォンまたはタブレット端末で実現できる。仮想空間情報処理装置１００は、バーチャルリモート会議を行うための仮想空間情報処理プログラムを実行することで、バーチャルリモート会議を行う。

仮想空間情報処理装置１００を形成するコンピュータは、図５に示したようにＣＰＵ５０１、ＲAＭ５０２、ＲOＭ５０３、外部インターフェース５０４、記憶装置５０５、通信インターフェース５０６、入出力インターフェース５０７と接続されたスピーカー５０８、カメラ５０９、マイク５１０及びディスプレイ５１１を、バスに接続して構成される。また、外部インターフェース５０４には、ＵＳＢメモリなどの外部記憶装置が接続可能である。

ＣＰＵ５０１は、アプリケーション５２０、オペレーティングシステム（ＯＳ）５２１、仮想空間情報処理プログラム５２２を記憶装置５０５から読み出し、実行してバーチャルリモート会議を実行する。なお、CPUは単一のプロセッサに限らず複数のプロセッサにより構成されていてもよい。CPU５０１の仮想空間情報処理プログラム５２２の実行により、画像結合処理、画像・音声符号化、画像・音声復号化、仮想空間制御処理、アバター生成処理などが行われる。但し、これらの処理の一部がGPU（Graphics Processing Unit）等により提供されてもよい。

ＲＡＭ５０２は、作業メモリとして必要なデータを一時保管するメモリとして、ＣＰＵが各処理を実行する場合に動作し、ＲＯＭ５０３は、例えばＢＩＯＳやスタートプログラムが記憶されている。

外部インターフェース５０４は、ＵＳＢケーブルや記憶媒体を装着するためのインターフェースである。記憶媒体は、例えば、ＵＳＢメモリや光ディスクなどの記録媒体である。

記憶装置５０５は、ハードディスクやフラッシュメモリであり、アプリケーション５２０、オペレーティングシステム５２１、仮想空間情報処理プログラム５２２を記憶している。

通信インターフェース５０６は、ＬＡＮカードやインターネットケーブルやWifiやWANを接続するためのインターフェースであり、ネットワーク２００を介して他の仮想空間情報処理装置１００と接続されている。ＣＰＵ２１１からの指示により、結合画像データを他の仮想空間情報処理装置１００へ送信したり、他の仮想空間情報処理装置１００から結合画像データを受信したりする。

入出力インターフェース５０７は、スピーカー５０８、カメラ５０９、マイク５１０、ディスプレイ５１１などを接続している。

ディスプレイ５１１は、たとえば、液晶ディスプレイなどの表示装置であり、タッチ入力パネルが配置されており、画面上の圧力の変化又は静電容量の変化等によって入力制御を行う。なお、ディスプレイ５１１をタッチ入力パネルで構成しない場合、入出力インターフェース５０７には、キーボードやマウスなどが接続される。

一連の処理をプログラムにより実行させる場合には、例えば、画像結合部、動画符号化部、仮想空間制御部、動画復号化部、音声符号化部、音声復号化部は、記憶装置５０５に仮想空間情報処理プログラムとして記憶され、ＣＰＵ５０１で実行させることで、各種の機能を実行させる。なお、仮想空間情報処理プログラムが記憶されたＵＳＢメモリなどの外部記憶装置を外部インターフェース５０４に接続することでのインストールや、ネットワークから仮想空間情報処理装置へ仮想空間情報処理プログラムをインストール、また、装置本体に予め組み込まれた状態、例えば、仮想空間情報処理プログラムが記録されているＲＯＭ５０３などで構成してもよい。

１００ 仮想空間情報処理装置
１１０ 撮像部
１２０ 画像結合部
１２２ 距離情報変換部
１３０ 動画符号化部
１４０ 音声入力部
１５０ 音声符号化部
１６０ 表示部
１７０ 仮想空間制御部
１７２ アバター生成部
１８０ 動画復号化部
１９０ 音声出力部
２００ 音声合成部
２１０ 仮想空間情報記憶部
２２０ 音声復号化部
２３０ 通信部

Claims (7)

1. 撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成する距離情報変換部と、
   前記距離情報変換画像データと、前記３次元距離画像データの色情報による色情報画像データを符号化する符号化部と、
   符号化した前記距離情報変換画像データと前記色情報画像データとを送信し、また、距離情報変換画像データと色情報画像データを受信する通信部と、
   受信した一又は二以上の距離情報変換画像データを復号化する復号化部と、
   復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するアバター生成部と、
   生成したアバターを仮想三次元空間に配置する仮想空間制御部と、
   を有する仮想空間情報処理装置。
   
2. さらに、前記色情報画像データと前記距離変換画像データとを結合して結合画像データを生成する画像結合部を有し、
   前記符号化部は、前記結合画像データを符号化し、前記通信部は、前記結合画像データを送信し、また、前記結合画像データを受信し、前記復号化部は、結合画像データを復号化し、前記アバター生成部は、復号化された前記結合画像データに基づいてアバターを生成する、請求項１記載の仮想空間情報処理装置。
   
3. 前記距離情報変換部は、前記距離情報を赤、青、緑のうちの一つの色情報へと変換することを特徴とする請求項１又は２記載の仮想空間情報処理装置。
   
4. 前記距離情報変換部は、抽出した距離情報にしきい値を設け、所定範囲の値をもつ距離情報とし、当該距離情報を色情報へと変換する請求項１〜３記載の仮想空間情報処理装置。
   
5. 撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成するステップと、
   前記距離情報変換画像データと、前記３次元距離画像データの色情報による色情報画像データを符号化するステップと、
   符号化した前記距離情報変換画像データと前記色情報画像データとを送信するステップと、
   距離情報変換画像データと色情報画像データを受信するステップと、
   受信した一又は二以上の距離情報変換画像データを復号化するステップと、
   復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するステップと、
   生成したアバターを仮想三次元空間に配置するステップと、
   を行うようコンピュータを機能させる仮想空間情報処理プログラム。
   
6. 撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成するステップと、
   前記３次元距離画像データの色情報による色情報画像データと前記距離変換画像データとを結合して結合画像データを生成するステップと、
   前記結合画像データを符号化するステップと、
   符号化した前記結合画像データを送信するステップと、
   結合画像データを受信するステップと、
   受信した一又は二以上の結合画像データを復号化するステップと、
   復号化した結合画像データに基づいてアバターを生成するステップと、
   生成したアバターを仮想三次元空間に配置するステップと、
   を有する仮想空間情報処理プログラム。
   
7. 撮像部が撮影した色情報及び距離情報を有する３次元距離画像データから距離情報を抽出し、距離情報を色情報へと変換して、距離情報による距離情報変換画像データを生成するステップと、
   前記距離情報変換画像データと、前記３次元距離画像データの色情報による色情報画像データを符号化するステップと、
   符号化した前記距離情報変換画像データと前記色情報画像データとを送信するステップと、
   距離情報変換画像データと色情報画像データを受信するステップと、
   受信した一又は二以上の距離情報変換画像データを復号化するステップと、
   復号化された距離情報変換画像データ及び色情報画像データに基づいてアバターを生成するステップと、
   生成したアバターを仮想三次元空間に配置するステップと、
   をコンピュータが実行する仮想空間情報処理方法。
   
   
   

Images