JP2015154430A - 空間合成システム - Google Patents

Abstract

【課題】異なる空間にいる対話相手の存在感を同一空間内に再現する。【解決手段】映像取得部１０は、人物と共有オブジェクトとが含まれる映像を取得する。動作情報取得部１２は、人物の動作を追跡した動作情報を取得する。映像再生部１４は、他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から対話相手の映像を抽出し、対話相手の映像を映像取得部１０が取得した映像に合成して再生する。動作再現部は１６、対話相手の動作情報に基づいて共有オブジェクトを動作させて対話相手の動作を再現する。【選択図】図３

Description

この発明は、異なる空間にいる対話相手の存在感を同一空間内に再現する空間合成技術に関する。

遠隔地にいる対話者間で相互に映像を提示するビデオチャットでは、音声のみで会話する場合（例えば、電話やボイスチャット）よりも対話相手の存在を身近に感じることができる。ビデオチャットにおいて、対話相手の存在感をより強化する方法が多く研究されている。例えば、対話相手が目の前にいるかのように映像を提示する方法が挙げられる。具体的には、大型のディスプレイで相手の姿を等身大で提示する方法、アイコンタクトが成立するようにカメラとディスプレイの位置関係を決定する方法、などである。

これに対して、対話相手の身体のみをクロマキー合成で切り抜き、ユーザの映像の隣に合成して提示する方法も提案されている（非特許文献１参照）。非特許文献１に記載の方法は、ユーザの目の前のディスプレイを鏡に見立て、あたかもユーザの隣に対話相手がいるかのように見せるものである。以下、非特許文献１に記載の方法を実装したシステムを、ミラーシステムと呼ぶ。

Osamu Morikawa, Takanori Maesako, "HyperMirror: Toward Pleasant-to-use Video Mediated Communication System", CSCW '98, 149-158, 1998.

従来の方法は、視覚的に対話相手の存在を感じさせる方法であるため、ユーザはその他の感覚で相手の存在を感じることはできない。

この発明の目的は、ビデオチャットによるコミュニケーションにおいて、異なる空間にいる対話相手の存在感を同一空間内に再現することができる空間合成技術を提供することである。

上記の課題を解決するために、この発明の空間合成システムは、複数の空間それぞれに少なくとも一人の人物と共有オブジェクトとが存在し、複数の空間それぞれに設置された空間合成装置を含む。空間合成装置は、人物と共有オブジェクトとが含まれる映像を取得する映像取得部と、人物の動作を追跡した動作情報を取得する動作情報取得部と、他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から対話相手の映像を抽出し、対話相手の映像を映像取得部が取得した映像に合成して再生する映像再生部と、対話相手の動作情報に基づいて共有オブジェクトを動作させて対話相手の動作を再現する動作再現部と、を含む。

この発明によれば、異なる空間にいる対話相手の存在感を同一空間内に再現することができるため、対話相手の動作を把握することが容易になる。したがって、コミュニケーションを円滑にすることができる。

図１は、空間合成システムの使用方法の例を説明するための図である。 図２は、空間合成システムの機能構成を例示する図である。 図３は、空間合成装置の機能構成を例示する図である。 図４は、共有オブジェクトの機能構成を例示する図である。 図５は、共有オブジェクトを長椅子とした例を説明するための図である。 図６は、空間合成システムの処理フローを例示する図である。

この発明の空間合成技術では、ユーザの映像の隣に対話相手の身体を合成し、鏡のように映像を提示する非特許文献１に記載のミラーシステムにおいて、触覚や視覚、聴覚などの他の感覚を通じて対話相手の存在感を提示するシステムを追加する。対話相手の存在感を提示する機能を備えた物体（以下、共有オブジェクトと呼ぶ）は、ユーザと対話相手の合成映像の間に設置されており、対話相手の合成映像の動きに合わせて動作する。つまり、ユーザはこの共有オブジェクトの動作を通して対話相手の身体動作を感じることができる。従来のミラーシステムと比較し、対話相手の映像だけでなくその他の感覚を通じて対話相手が隣にいる感覚を再現できることが、この発明の革新的な点である。

図１を参照して、この発明の空間合成システムの使用方法の例を説明する。ユーザ６₁の正面に大型のディスプレイ５とカメラ３を設置し、ディスプレイ５にカメラ３で撮影した映像を表示する。映像の位置と大きさは、ディスプレイ５の場所に設置した鏡に映る像と同じになるように調整されている。映像内のユーザ６’₁の隣には、遠隔地の対話相手６₂の身体のみの映像６’₂をクロマキー合成等の映像合成技術を用いて重ね合わせる。対話相手６₂の合成映像に対応する位置とユーザ６₁の位置との間には遮蔽部７を設置する。遮蔽部７で隔てられた二つの空間は、それぞれユーザ６₁側の空間８₁、対話相手６₂側の空間８₂を示している。空間８₁にいるユーザ６₁は遮蔽部７によって対話相手側の空間８₂を直接見ることはできない。

二つの空間８₁、８₂を繋ぐように共有オブジェクト２を設置する。共有オブジェクト２はアクチュエータ等の駆動機構によって対話相手６₂の身体動作に合わせて動作するものである。ユーザ６₁は共有オブジェクト２を通して対話相手６₂の身体動作を触覚的に感じることができる。対話相手６₂の身体動作は、遠隔地に設置された対話相手６₂側の空間合成装置（図示せず）がモーショントラッキング技術やセンサ技術によって取得し、一般的な通信技術によって、対話相手６₂の映像６’₂と共にユーザ６₁側の空間合成装置（図示せず）に伝達する。ユーザ６₁側の空間合成装置では、映像の合成と共有オブジェクト２の制御を行う。

図１の例では、共有オブジェクト２は二人掛けの長椅子であり、長椅子の中央に遮蔽部７を設置することで、一方の端に座るユーザ６₁から他方の端を見ることができないようにしている。共有オブジェクト２の他の例は、一本の手すりである。手すりの中央に遮蔽部７を設置し、一方の端によりかかるユーザ６₁から他方の端が見えないようにしておき、対話相手６₂の身体動作に合わせて手すりに振動を与えるようにすることもできる。

共有オブジェクト２は触覚のみならず、視覚や聴覚を通じて対話相手の存在感を提示するように構成することができる。例えば、共有オブジェクト２が長椅子であるとして、ユーザが長椅子の脇に立っている場合、もしくは、共有オブジェクト２が手すりであるとして、ユーザが手すりの前に立っている場合、長椅子の座面もしくは手すりを振動させることで、ユーザが共有オブジェクトに触れていなくとも、視覚もしくは聴覚を通じて対話相手の身体動作を感じることができる。

図１の例では、遮蔽部７は不透明な素材で作成された衝立である。衝立は、対話相手側の空間８₂にある共有オブジェクト２の動作がユーザ６₁から見えなくするための一例である。遮蔽部７はユーザ側の空間８₁から対話相手側の空間８₂が完全に見えなくなっていなくともよく、例えば、すりガラス等の半透明の素材で衝立を作成し、対話相手側の空間８₂の詳細な状態がわからないようになっていればよい。このとき、対話相手６₂の代わりにマネキン人形などを置いておき、すりガラス越しに人影が見えるようにすることで、ユーザの錯覚を助長することができる。また、マネキン人形の代わりに対話相手の身体動作に同期して動くアンドロイドなどを置くことで、さらに効果的にユーザの錯覚を助長することができる。

図１の例では、ユーザ６₁と対話相手６₂は一人ずつであり、共有オブジェクト２は二人掛けの長椅子であったが、ユーザ６₁と対話相手６₂はそれぞれ一人でなくともよい。例えば、ユーザ６₁が二人おり共有オブジェクト２を三人掛けの長椅子として、両端にユーザ６₁が座り、長椅子の中央に振動を与えることでユーザ６₁の間に座る対話相手６₂の動作を再現してもよい。

［実施形態］
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

図２を参照して、実施形態に係る空間合成システムの構成例を説明する。空間合成システムは、n（≧2）個の空間にそれぞれ設置されたn台の空間合成装置１₁,…,１_nを含む。i（i=1,…,n）番目の空間８_iには、少なくとも一人の人物６_iと共有オブジェクト２_iが存在する。以降の説明では、i番目の空間８_iに存在する人物６_iをユーザと呼び、j（j=1,…,n、i≠j）番目の空間８_jに存在する人物６_jを対話相手と呼ぶ。対話相手とは特定の一人ではなく、その他の空間にいるn-1人の人物それぞれを指しているものとする。人物６_iは共有オブジェクト２_iと少なくとも一点で接触している。

空間合成装置１₁,…,１_nはそれぞれ通信網９に接続される。通信網９は、各空間合成装置１₁,…,１_nが相互に通信可能なように構成されていればよく、例えば、アナログもしくはデジタルの公衆電話網もしくは構内電話網などの回線交換方式の通信網、又はインターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのパケット交換方式の通信網で構成することができる。

図３を参照して、空間合成装置１の構成例を説明する。空間合成装置１は、映像取得部１０、動作情報取得部１２、映像再生部１４、動作再現部１６、共有オブジェクト２、カメラ３、センサ４及びディスプレイ５を含む。空間合成装置１は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）、主記憶装置（Random Access Memory、ＲＡＭ）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。空間合成装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。空間合成装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。

カメラ３は、例えば、被写体とする人間や物体の映像を撮影するビデオカメラである。例えば、撮影可能な解像度や映像の記録媒体、マイクロフォンの有無、デジタルアナログの別など、カメラ３の備えるべき機能には制限はなく、一般的に動画が撮影可能なビデオカメラであれば任意のものを利用することができる。

センサ４は、例えば、対象物の三次元座標を逐次的に収集するモーションキャプチャセンサである。センサ４により映像の被写体の三次元座標を収集することで、被写体の位置とその位置の変化を取得することができる。センサ４として利用できるモーションキャプチャセンサは、例えば、「日本マイクロソフト株式会社、“Xbox 360 - Kinect”、[online]、[平成26年1月27日検索]、インターネット<URL：http://www.xbox.com/ja-JP/kinect>（参考文献１）」に記載されている。

カメラ３及びセンサ４は、図３に示すように、空間合成装置１に接続される外部の周辺機器であってもよいし、空間合成装置１の筺体内に内蔵されていてもよい。また、カメラ３とセンサ４は、図３に示すように、別個の機器として構成してもよいし、カメラ３とセンサ４を一つの筺体内に組み込んだ一つの機器として構成してもよい。

ディスプレイ５は、例えば、空間合成装置１のカメラ３で撮影した映像を再生する画面を有する大型液晶ディスプレイである。ディスプレイ５は、図３に示すように、空間合成装置１に接続される外部の周辺機器であってもよいし、空間合成装置１の一平面に組み込まれていてもよい。例えば、表示可能な解像度やスピーカーの有無、デジタルアナログの別など、ディスプレイ５の備えるべき機能には制限はなく、カメラ３で撮影された映像が再生可能なディスプレイであれば任意のものを利用することができる。

図４を参照して、共有オブジェクト２の構成例を説明する。共有オブジェクト２は、例えば、アクチュエータ２０、モータドライバ２２、IOボード２４、電源２６を含む。アクチュエータ２０はモータドライバ２２を介してIOボード２４へ接続される。IOボード２４は空間合成装置１の動作再現部１６へ接続される。電源２６は、モータドライバ２２へ接続され、電力を供給する。IOボード２４は、シリアル通信により動作再現部１６から入力される制御信号に基づいて、モータドライバ２２を操作する。モータドライバ２２は、IOボード２４からの制御信号に基づいて、アクチュエータ２０へ入力する電圧や電流を制御する。アクチュエータ２０は、モータドライバ２２の制御の下で、共有オブジェクト２の動作を制御する。

図５を参照して、共有オブジェクト２を長椅子として実装した場合を例として、具体的な構成例を説明する。長椅子では、隣に人が座ったときや隣の人が足を組み替えたとき、貧乏揺すりをしたときなどに、長椅子が振動することで隣の人の身体動作を感じることができる。この長椅子の振動を共有オブジェクトで再現する。

長椅子として実装された共有オブジェクト２は、座面２１及び四本以上の脚２３を含み、少なくとも一本の脚２３には磁性体２５、弾性体２７及び電磁石２９が組み込まれている。電磁石２９に電流を流すと磁力が発生し、磁性体２５が電磁石２９の方向へ引っ張られる結果、長椅子の座面２１が脚２３の方へ傾斜する。例えば、合成映像中の対話相手６_jが座る動作をしたとき、電磁石２９への電源をONにすることで、ユーザ６_iはあたかも隣に対話相手６_jが座ったかのように感じられる。また、対話相手６_jが貧乏ゆすりをした際には、電磁石２９への電源をONとOFFを周期的に繰り返すことで座面２１が小刻みに振動することになる結果、ユーザ６_iはあたかも隣に座っている人が貧乏ゆすりをしているように感じられる。

図６を参照しながら、実施形態に係る空間合成システムが実行する空間合成方法の処理フローの一例を、手続きの順に従って説明する。

以下の説明では、i番目の空間８_iに存在する人物６_iをユーザとし、j番目の空間８_jに存在する人物６_jを対話相手とし、空間８_iに設置された空間合成装置１_iの動作を中心として説明する。対話相手の存在する空間８_jは一つの空間とは限らず、複数の空間であってもよい。複数の空間に対話相手がいる場合であっても、他の空間８_jに設置された空間合成装置８_jの動作はいずれも同様である。

ステップＳ１０_iにおいて、空間合成装置１_iの映像取得部１０_iは、空間合成装置１_iのカメラ３_iを用いて、空間８_iに存在するユーザ６_iと共有オブジェクト２_iとが含まれる映像を取得する。取得した映像は、映像再生部１４へ入力される。

ステップＳ１０_jにおいて、空間合成装置１_jの映像取得部１０_jは、空間合成装置１_jのカメラ３_jを用いて、空間８_jに存在する対話相手６_jと共有オブジェクト２_jとが含まれる映像を取得する。取得した映像は、空間合成装置１_iへ、通信網９を介して送信される。

ステップＳ１２_jにおいて、空間合成装置１_jの動作情報取得部１２_jは、空間合成装置１_jのセンサ４_jを用いて、対話相手６_jの動作を追跡した動作情報を取得する。取得した動作情報は、空間合成装置１_iへ、通信網９を介して送信される。撮影した映像は送信に際して、転送効率を高めるために適切なデータフォーマットで符号化し圧縮しても構わない。

ステップＳ１４_iにおいて、空間合成装置１_iの映像再生部１４_iは、空間合成装置１_jが取得した映像から対話相手６_jの映像を抽出する。続いて、対話相手６_jの映像を映像取得部１０_iが取得した映像中に合成して、合成された映像をディスプレイ５_iへ再生する。

ステップＳ１６_iにおいて、空間合成装置１_iの動作再現部１６は、対話相手６_jの動作情報に基づいて共有オブジェクト２_iを動作させて対話相手６_jの動作を再現する。

従来のミラーシステムは、対話相手が隣にいる感覚を視覚的に再現するものであった。しかし、隣を見てしまうと対話相手がそこに存在しないことは明確であり、物理的に相手の存在を感じることはできなかった。これに対し、この発明の空間合成システムは、衝立によって遮られた隣の空間に対話相手がいる感覚を再現するものであり、二つの空間を繋ぐ共有オブジェクトによって、視覚だけでなく触覚でも対話相手の存在を感じることができる。

この発明の空間合成技術は、遠隔地の対話相手の存在をユーザ側の空間に合成し、相手の存在をより身近に感じさせるものである。この発明を用いた遠隔コミュニケーションにより対面環境でのコミュニケーションを代替することによって、移動にかかるコストやエネルギーを削減することができる。

この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 空間合成装置
２ 共有オブジェクト（長椅子）
３ カメラ
４ センサ
５ ディスプレイ
６ 人物
７ 遮蔽部（衝立）
８ 空間
９ 通信網
１０ 映像取得部
１２ 動作情報取得部
１４ 映像再生部
１６ 動作再現部

Claims (3)

1. 複数の空間それぞれに少なくとも一人の人物と少なくとも一つの共有オブジェクトとが存在し、上記複数の空間それぞれに設置された空間合成装置を含む空間合成システムであって、
   上記空間合成装置は、
   上記人物と上記共有オブジェクトとが含まれる映像を取得する映像取得部と、
   上記人物の動作を追跡した動作情報を取得する動作情報取得部と、
   他の空間にいる人物を対話相手として、他の空間の空間合成装置が取得した映像から上記対話相手の映像を抽出し、上記対話相手の映像を上記映像取得部が取得した映像に合成して再生する映像再生部と、
   上記対話相手の動作情報に基づいて上記共有オブジェクトを動作させて上記対話相手の動作を再現する動作再現部と、
   を含む空間合成システム。
2. 請求項１に記載の空間合成システムであって、
   上記空間合成装置は、
   上記共有オブジェクトを複数の部分に分割し、上記人物が存在する部分から他の部分が視覚的に認識できないようにする遮蔽部をさらに含む
   空間合成システム。
3. 請求項２に記載の空間合成システムであって、
   上記共有オブジェクトは二人が着席可能な長椅子であり、上記長椅子の中央に設置された衝立により空間が視覚的に分断されており、上記人物は上記衝立により分割された二つの空間のうち一方の空間において上記長椅子に着席しており、
   上記映像再生部は、上記対話相手が上記長椅子の他方の空間に着席しているように上記映像を合成するものであり、
   上記動作再現部は、上記長椅子の少なくとも一つの脚を、上記対話相手の動作情報に基づいて振動させるものである
   空間合成システム。

Images