JP2004297766A - 共存在空間コミュニケーションシステム - Google Patents
共存在空間コミュニケーションシステム Download PDFInfo
- Publication number
- JP2004297766A JP2004297766A JP2003423644A JP2003423644A JP2004297766A JP 2004297766 A JP2004297766 A JP 2004297766A JP 2003423644 A JP2003423644 A JP 2003423644A JP 2003423644 A JP2003423644 A JP 2003423644A JP 2004297766 A JP2004297766 A JP 2004297766A
- Authority
- JP
- Japan
- Prior art keywords
- predetermined space
- party
- agent
- communicator
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】 音声や体の動きなどの明示的情報だけでなく、「場」によって得ることのできる相手方との「間」（暗示的情報）をも伝達できる技術を提供する。
【手段】 通信者の双方に同質な所定空間２を設ける。この所定空間２に互いに相手方のエージェントを生成する。通信者４は、所定空間２において、相手方のエージェント２０４ＳＳとインタラクトすることができる。相手方のエージェント２０４Ｓｓとともに「場」である共存在空間（所定空間２）を形成することによって、音声や体の動きなどの明示的情報だけでなく、「場」によって得ることのできる相手方との「間」（暗示的情報）をも伝達できる。すなわち、明暗情報の二領域的コミュニケーションシステムが達成される。
【選択図】 図４
【手段】 通信者の双方に同質な所定空間２を設ける。この所定空間２に互いに相手方のエージェントを生成する。通信者４は、所定空間２において、相手方のエージェント２０４ＳＳとインタラクトすることができる。相手方のエージェント２０４Ｓｓとともに「場」である共存在空間（所定空間２）を形成することによって、音声や体の動きなどの明示的情報だけでなく、「場」によって得ることのできる相手方との「間」（暗示的情報）をも伝達できる。すなわち、明暗情報の二領域的コミュニケーションシステムが達成される。
【選択図】 図４
Description
この発明は、主客非分離型を実現するコミュニケーションシステムに関するものである。
シャノンらによる通信理論は、送り手の側にある送信機と、受け手の側の受信機の間に伝わる信号をやりとりするための理論である。すなわち、情報の送り手と受け手という人間をコミュニケーションから切り離しており、情報の意味までを含めた通信理論になっていない（図１参照）。この点は、シャノンらも認めるところである。明在的な情報のみを伝えるという意味で、一領域的な通信であると言えよう。
人間を含めたコミュニケーションを実現するための試みとして、ＣＡＶＥ、ハイパーミラー、ＴＷＩＳＴＥＲなどが開発されてきた。非特許文献１に示されるＴＷＩＳＴＥＲでは、バーチャルな３次元空間を構成し、相手方と視線の一致したコミュニケーションをすることができる。また、非特許文献２に示されるハイパーミラーでは、自分の姿を含めた対話者全員が一緒にいるような合成映像を使って対話を行うことができる。
Yutaka Kunita, Naoko Ogawa et. al. (2001),"Immersive Autostereoscopic Display for Matual Telexistence: TWISTER I", Proc. IEEE VR 2001,pp31-36
O, Morikawa and T, Maesako, (1998), HyperMirror Toward Pleasant-to-use Video Mediated Communication System, CSCW98 pp. 149-158
しかしながら、これらは、いずれも自他分離的に仮想共有空間が設計されている主客分離型のものである。つまり、自己の存在する空間と相手方の空間とが整合性よく接続されておらず、相手方と同じ空間を共有しているという感覚を持つことができない。つまり、共通の「場」が形成されておらず、「場」における相手方との「間」を感じ取ることがができないためである。
このように、上記の従来技術はいずれも相手方と空間を共有するものでなく、自身が存在する実在空間と仮想共有空間との整合的な接続を図ることに成功しているとは言い難い。このため、音声や体の動きなどの明在的情報を伝えることができるが、通信を行う両者が空間を共有することによって伝えられるような暗在的情報（「間」と呼ぶようなもの）を通信することは困難であった。
この発明は、上記に鑑みて、自身と相手方とがともに存在することの可能な共存在空間を形成して、主客非分離型のコミュニケーション技術を提供することを目的とする。また、明在的情報だけでなく暗在的情報も伝えることのできる二領域コミュニケーションを実現することを目的とする。
この発明は、一人の場と一人の場とをつなぐコミュニケーションだけでなく、複数人による場と複数人による場とをつなぐコミュニケーションを実現し、場の形成を支援する技術を実現することを目的とする。この技術により、具体的装置として、一人対一人のコミュニケーションと場作りを行う装置、一人対複数人のコミュニケーションと場作りを行う装置、複数人対複数人のコミュニケーションと場作りを行う装置、これらの何れについても行うことのできる装置などを実現することができる。
(1)この発明に係るコミュニケーション装置は、
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報を生成する自己エージェント情報生成手段と、
自己エージェント情報を送信する送信手段と、
所定空間に対応する相手方所定空間における相手方通信者の相手方エージェント情報を受信する受信手段と、
相手方エージェント情報に基づいて、所定空間内に、相手方通信者の存在を示すエージェントを実現する相手方エージェント実現手段と
を備えている。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報を生成する自己エージェント情報生成手段と、
自己エージェント情報を送信する送信手段と、
所定空間に対応する相手方所定空間における相手方通信者の相手方エージェント情報を受信する受信手段と、
相手方エージェント情報に基づいて、所定空間内に、相手方通信者の存在を示すエージェントを実現する相手方エージェント実現手段と
を備えている。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(2)この発明に係るコミュニケーション装置は、
自己エージェント情報生成手段は、前記所定空間内における通信者の位置データを含むエージェント情報を生成し、
受信手段によって受信される相手方エージェント情報には、相手方所定空間内における相手方通信者の位置データが含まれており、
相手方エージェント実現手段は、相手方エージェント情報に含まれる相手方通信者の位置データに基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現することを特徴としている。
したがって、相手方空間における相手方通信者の位置に対応する所定空間の位置に、相手方通信者の存在を示すエージェントを正確に実現することができる。
自己エージェント情報生成手段は、前記所定空間内における通信者の位置データを含むエージェント情報を生成し、
受信手段によって受信される相手方エージェント情報には、相手方所定空間内における相手方通信者の位置データが含まれており、
相手方エージェント実現手段は、相手方エージェント情報に含まれる相手方通信者の位置データに基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現することを特徴としている。
したがって、相手方空間における相手方通信者の位置に対応する所定空間の位置に、相手方通信者の存在を示すエージェントを正確に実現することができる。
(3)この発明に係るコミュニケーション装置は、
前記所定空間と相手方所定空間は、空間内の各点が互いに所定の幾何学的関係を持って一対一に対応付けられるように形成され、
自己エージェント情報生成手段は、通信者を含めた前記所定空間の画像をエージェント情報として生成し、
受信手段によって受信される 相手方エージェント情報は、相手方通信者を含めた相手方所定空間の画像であり、
相手方エージェント実現手段は、相手方エージェント情報である画像を、前記所定空間に表示することにより、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現することを特徴としている。
前記所定空間と相手方所定空間は、空間内の各点が互いに所定の幾何学的関係を持って一対一に対応付けられるように形成され、
自己エージェント情報生成手段は、通信者を含めた前記所定空間の画像をエージェント情報として生成し、
受信手段によって受信される 相手方エージェント情報は、相手方通信者を含めた相手方所定空間の画像であり、
相手方エージェント実現手段は、相手方エージェント情報である画像を、前記所定空間に表示することにより、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現することを特徴としている。
したがって、通信者の位置デーを別途取得しなくとも、相手方空間における相手方通信者の位置に対応する所定空間の位置に、相手方通信者の存在を示すエージェントを正確に実現することができる。
(4)この発明に係るコミュニケーション装置は、通信者の存在を示すエージェントを、通信者の位置に対応する所定空間内の位置に実現する自己エージェント実現手段を備えている。
したがって、所定空間における相手方通信者とのインタラクションを、さらに容易にすることができる。
(5)この発明に係るコミュニケーション装置は、エージェントが影であり、エージェント情報は影に関する影情報であり、所定空間は、少なくともその空間を定義する一面に前記影を投影するための表示面を有していることを特徴としている。
影をエージェントとして用いているので、通信者は、相手方通信者の存在する空間的状況と、自己の存在する空間的状況を、自他非分離的に統合的に認識容易である。また、影を用いているため、相手方の所定空間において物理的な制約少なく再現でき、リアリティも高い。また、少ないデータ容量にて、エージェント情報を送信できる。
(6)この発明に係るコミュニケーション装置は、所定空間の底面には、通信者を支えるための床が設けられており、表示面は、前記床に垂直な壁面を含むことを特徴としている。
したがって、壁面に現れる影を介して、通信者間が共在する空間を形成できる。
(7)この発明に係るコミュニケーション装置は、自己エージェント情報生成手段が、通信者を撮像するための撮像装置を備えており、通信者の影情報が、撮像装置によって撮像した通信者の撮像データに基づいて生成した、通信者の形状を表す形状データを含むことを特徴としている。
したがって、影を自己エージェントとして、相手方通信者に提示することができる。
(8)この発明に係るコミュニケーション装置は、撮像装置が、ビデオカメラであることを特徴としている。
したがって、容易に通信者の形状データを得ることができる。
(9)この発明に係るコミュニケーション装置は、撮像装置が、赤外線熱画像装置であることを特徴としている。
したがって、所定空間に形成される相手方の影画像と容易に分離可能に、通信者の形状データを得ることができる。
(10)この発明に係るコミュニケーション装置は、自己エージェント情報生成手段が、通信者の影を前記床または壁またはその双方に生成するための光源と、前記床または壁またはその双方に設けた光センサとを備えており、通信者の影情報は、前記床または壁またはその双方に投影された通信者の影を前記光センサによって検出したデータに基づいて生成した、通信者の形状を表す形状データを含むことを特徴としている。
したがって、形状データをほぼそのまま影データとして用いることができる。
(11)この発明に係るコミュニケーション装置は、影情報が、所定空間全体に関するデータを含んでおり、前記形状データが、所定空間のどの位置に配置されているかによって、通信者の位置データを表すことを特徴としている。
したがって、相手側において、通信者の影を所定の位置に表示することが容易である。
(12)この発明に係るコミュニケーション装置は、影情報が、前記形状データに加えて、通信者の所定空間における位置を示す位置データを有していることを特徴としている。
したがって、送信するデータ容量を少なくしつつ、相手側において、通信者の影を所定の位置に表示することが可能である。
(13)この発明に係るコミュニケーション装置は、自己エージェント情報生成手段が、床面に通信者の位置を検出する位置センサを備えており、位置データが、当該位置センサの検出データに基づいて生成されることを特徴としている。
したがって、通信者の影を、所定空間に対応する相手方所定空間の位置に形成することができる。
(14)この発明に係るコミュニケーション装置は、前記自己エージェント情報生成手段は、通信者の体に装着された熱源を撮像した画像に基づいて通信者の位置を検出する位置検出手段を備えており、前記位置データは、当該位置検出手段の出力に基づいて生成されることを特徴としている。
したがって、通信者の影を、所定空間に対応する相手方所定空間の位置に形成することができる。
(15)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、光学投影器を備えており、相手方影情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、画像としての影を投影することを特徴としている。
したがって、相手方影情報に基づいて、相手方エージェントを所定空間内に形成することができる。
(16)この発明に係るコミュニケーション装置は、光学投影器が、前記自己エージェント情報生成手段の光源として共用されることを特徴としている。
したがって、構成を簡易にしつつ、精度よく自己の影の投影および相手方の影を表示することができる。
(17)この発明に係るコミュニケーション装置は、所定空間の底面には、通信者を支えるための床が設けられており、前記床に対する壁面を表示面として、相手方通信者の影を投影することを特徴としている。
したがって、壁面に現れる影を介して、通信者間が共在する空間を形成できる。
(18)この発明に係るコミュニケーション装置は、床面も、相手方通信者の影を投影するための表示面として用いることを特徴としている。
したがって、通信者間のインタラクトをより効果的にする装置を提供することができる。
(19)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、前記所定空間に設けた表示画面装置を備えており、相手方影情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、画像としての影を表示することを特徴としている。
したがって、相手方影情報に基づいて、相手方エージェントを所定空間内に形成することができる。
(20)この発明に係るコミュニケーション装置は、所定空間の底面には、通信者を支えるための床が設けられており、前記床に対する壁面に前記表示装置を設け、相手方通信者の影を表示することを特徴としている。
したがって、壁面に現れる影を介して、通信者間が共在する空間を形成できる。
(21)この発明に係るコミュニケーション装置は、床面にも、相手方通信者の影を表示するための表示装置を設けることを特徴としている。
したがって、通信者間のインタラクトをより効果的にする装置を提供することができる。
(22)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、所定空間と相手方所定空間とを同一空間とみなした場合の、通信者と相手方通信者との相対距離に応じて、相手方通信者の影の濃度を変化させることを特徴としている。
したがって、相手方通信者とのインタラクト性を高めることができる。
(23)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、所定空間と相手方所定空間とを同一空間とみなした場合の、通信者と相手方通信者との相対距離に応じて、相手方通信者の影の大きさを変化させることを特徴としている。
したがって、相手方通信者とのインタラクト性を高めることができる。
(24)この発明に係るコミュニケーション装置は、エージェントが影であって、エージェント情報が影に関する影情報であり、所定空間の底面には、通信者を支えるための床が設けられており、床面および壁面を、通信者の影および相手方通信者の影を投影もしくは表示するための表示面とし、
前記床面を、仮想境界線によって、壁面に近い第一の領域と、壁面から遠い第二の領域に分け、
前記相手方エージェント実現手段は、相手方通信者が通信者と同一の領域にいる場合には、相手方通信者の影を、床面および壁面の双方に投影または表示し、相手方通信者が通信者と異なる領域にいる場合には、相手方通信者の影を、壁面のみに投影または表示することを特徴としている。
前記床面を、仮想境界線によって、壁面に近い第一の領域と、壁面から遠い第二の領域に分け、
前記相手方エージェント実現手段は、相手方通信者が通信者と同一の領域にいる場合には、相手方通信者の影を、床面および壁面の双方に投影または表示し、相手方通信者が通信者と異なる領域にいる場合には、相手方通信者の影を、壁面のみに投影または表示することを特徴としている。
したがって、相手方が異なる領域から同じ領域に移動した場合に、壁面をまたいでこちら側に移動してくるような印象を与える影を形成できる。
(25)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、相手方通信者が通信者と異なる領域にいる場合には、相手方通信者の影を、床面に表示せずに壁面に表示し、相手方通信者の仮想境界線からの距離が大きくなるほど、相手方通信者の影を小さく表示または投影するようにしたことを特徴としている。
したがって、相手方通信者との距離感を把握することができる。
(26)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、相手方通信者の仮想境界線からの距離が大きくなるほど、相手方通信者の影の足位置を、壁面の上方に動かして表示または投影するようにしたことを特徴としている。
したがって、さらに、相手方通信者との距離感を明瞭に把握することができる。
(27)この発明に係るコミュニケーション装置は、相手方通信者が通信者と同じく第一の領域にいる状態から、相手方通信者のみが第二の領域に移動した場合、前記相手方エージェント実現手段は、相手方通信者が前記仮想境界線をまたいだ際に、相手方通信者の影を一時的に表示しないことを特徴としている。
一時的に表示しないことによって、移動方向の非連続性を表現することができる。
(28)この発明に係るコミュニケーション装置は、相手方エージェント実現手段および自己エージェント実現手段が、相手方通信者が通信者と同じく第一の領域にいる状態から、相手方通信者のみが第二の領域に移動した場合、相手方通信者が前記仮想境界線をまたいだ際に、暗転状態を形成することを特徴としている。
したがって、より明瞭に移動方向の非連続性を表現することができる。
(29)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、相手方通信者の影の背景も表示することを特徴としている。
使用状況に適した背景を用いることにより、通信者の意図をより明確に伝えることができる。
(30)この発明に係るコミュニケーション装置は、自己エージェント情報生成手段が、影情報に加えて、通信者のホログラム情報を生成し、当該ホログラム情報は、送信手段によって送信され、受信手段は、相手方通信者のホログラム情報を受信し、相手方通信者の位置に対応する所定空間の位置に、ホログラム情報に基づいて相手方通信者のホログラム像を形成することを特徴としている。
したがって、よりインタラクティブ性の高い共存空間を構築することができる。
(31)この発明に係るコミュニケーション装置は、通信者が所定空間の端部に移動した場合には、通信者が所定空間の中央部に位置することとなるように、処理対象とする所定空間を変更する手段を備えていることを特徴としている。
したがって、通信者が所定空間の外へ出てしまうことを防止することができる。
(32)この発明に係るコミュニケーション装置は、熱源ペンと、赤外線熱画像装置によって取得した熱源ペンの軌跡に基づいて線画を生成し光学投影機に与えるとともに相手方コミュニケーション装置に送信する描画手段とをさらに備えることを特徴としている。
したがって、所定空間において、描画を行うことができる。また、通信者と相手方通信者とが共同して描画を行うことができる。
(33)この発明に係るコミュニケーション装置は、
通信を行う際に通信者が入る所定空間を定義する床面および壁面と、
床面に設けられ、通信者の位置を検出するための位置検出センサと、
所定空間における通信者の温度分布画像を生成する赤外線熱画像装置と、
取得した温度分布画像に基づいて二値化形状データを生成する形状データ生成手段と、
位置検出センサの出力に基づいて、通信者の位置データを生成する位置データ生成手段と、
前記二値化形状データおよび位置データを送信する送信手段と、
前記所定空間に対応する相手方空間における相手方通信者の形状を示す二値化形状データと位置を示す位置データとを受信する受信手段と、
受信した相手方通信者の二値化形状データと位置データに基づいて、相手方通信者の影画像を生成する影画像生成手段と、
相手方通信者の影画像を含む光を、前記床面および壁面に向けて照射し、相手方通信者の影画像および通信者の影を前記所定空間に生成する光学投影器と、
を備えている。
通信を行う際に通信者が入る所定空間を定義する床面および壁面と、
床面に設けられ、通信者の位置を検出するための位置検出センサと、
所定空間における通信者の温度分布画像を生成する赤外線熱画像装置と、
取得した温度分布画像に基づいて二値化形状データを生成する形状データ生成手段と、
位置検出センサの出力に基づいて、通信者の位置データを生成する位置データ生成手段と、
前記二値化形状データおよび位置データを送信する送信手段と、
前記所定空間に対応する相手方空間における相手方通信者の形状を示す二値化形状データと位置を示す位置データとを受信する受信手段と、
受信した相手方通信者の二値化形状データと位置データに基づいて、相手方通信者の影画像を生成する影画像生成手段と、
相手方通信者の影画像を含む光を、前記床面および壁面に向けて照射し、相手方通信者の影画像および通信者の影を前記所定空間に生成する光学投影器と、
を備えている。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(34)この発明に係るコミュニケーション装置は、
赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させる移動手段と、
通信者の位置が、所定空間の端部から所定の距離より小さい距離にある場合には、前記移動手段によって、赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させ、通信者の位置が所定空間の中央部にくるように調整する調整手段とを備えたことを特徴としている。
赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させる移動手段と、
通信者の位置が、所定空間の端部から所定の距離より小さい距離にある場合には、前記移動手段によって、赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させ、通信者の位置が所定空間の中央部にくるように調整する調整手段とを備えたことを特徴としている。
したがって、通信者が所定空間の外へ出てしまうことを防止することができる。
(35)この発明に係るコミュニケーション装置は、
通信を行う際に通信者が入る所定空間を定義する床面および壁面と、
通信者を含む所定空間の温度分布画像を生成する赤外線熱画像装置と、
取得した温度分布画像に基づいて二値化所定空間データを生成する所定空間データ生成手段と、
前記二値化所定空間データを送信する送信手段と、
前記所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の二値化相手方所定空間データを受信する受信手段と、
受信した二値化相手方所定空間データに基づいて、相手方通信者の影画像を含む光を、前記床面および壁面に向けて照射し、相手方通信者の影画像および通信者の影を前記所定空間に生成する光学投影器と、
を備え
前記所定空間と相手方所定空間とは、空間内の各点が互いに所定の幾何学的関係を持って一対一に対応付けられるように形成されていることを特徴としている。
通信を行う際に通信者が入る所定空間を定義する床面および壁面と、
通信者を含む所定空間の温度分布画像を生成する赤外線熱画像装置と、
取得した温度分布画像に基づいて二値化所定空間データを生成する所定空間データ生成手段と、
前記二値化所定空間データを送信する送信手段と、
前記所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の二値化相手方所定空間データを受信する受信手段と、
受信した二値化相手方所定空間データに基づいて、相手方通信者の影画像を含む光を、前記床面および壁面に向けて照射し、相手方通信者の影画像および通信者の影を前記所定空間に生成する光学投影器と、
を備え
前記所定空間と相手方所定空間とは、空間内の各点が互いに所定の幾何学的関係を持って一対一に対応付けられるように形成されていることを特徴としている。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(36)この発明に係るコミュニケーション装置は、
所定空間内における通信者の位置を示す位置データを生成する位置データ生成手段と、
赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させる移動手段と、
通信者の位置が、所定空間の端部から所定の距離より小さい距離にある場合には、前記移動手段によって、赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させ、通信者の位置が所定空間の中央部にくるように調整する調整手段とを備えたことを特徴としている。
したがって、通信者が所定空間の外へ出てしまうことを防止することができる。
所定空間内における通信者の位置を示す位置データを生成する位置データ生成手段と、
赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させる移動手段と、
通信者の位置が、所定空間の端部から所定の距離より小さい距離にある場合には、前記移動手段によって、赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させ、通信者の位置が所定空間の中央部にくるように調整する調整手段とを備えたことを特徴としている。
したがって、通信者が所定空間の外へ出てしまうことを防止することができる。
(37)この発明に係るコミュニケーション装置は、エージェントが、鏡像であり、エージェント情報が鏡像に関する鏡像情報であることを特徴としている。
したがって、鏡像を介して、通信者間のインタラクトを行うことができる。
(38)この発明に係るコミュニケーション装置は、通信者の存在を示すエージェントを、通信者の位置に対応する所定空間内の位置に実現する自己エージェント実現手段が、前記所定空間に設けられたハーフミラーであることを特徴としている。
したがって、自己の鏡像を容易に得ることができる。
(39)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、ハーフミラーを隔てて、通信者の反対側に相手方通信者のホログラム像を形成するものであることを特徴としている。
したがって、よりインタラクト性の高いコミュニケーションを行うことができる。
(40)この発明に係るコミュニケーション装置は、エージェントが、人間の動作と連動したロボットであり、エージェント情報が前記ロボットの駆動情報であることを特徴としている。
したがって、ロボットを介して、相手方通信者とのインタラクトを実現することができる。
(41)この発明に係るコミュニケーション装置は、所定空間内において、通信者は、自己のエージェントであるロボットとともに、相手方エージェントであるロボットとインタラクションすることを特徴としている。
(42)この発明に係るコミュニケーション装置は、所定空間内において、通信者は、通信者自らが、相手方エージェントであるロボットとインタラクションすることを特徴としている。
(43)この発明に係るコミュニケーション装置は、エージェントが、人間を表すホログラム像であり、前記エージェント情報はホログラム像情報であることを特徴としている。
したがって、ホログラム像を介して、相手方通信者とのインタラクトを実現することができる。
(44)この発明に係るコミュニケーション装置は、所定空間内において、通信者は、自己のエージェントであるホログラム像とともに、相手方エージェントであるホログラム像とインタラクションすることを特徴としている。
(45)この発明に係るコミュニケーション装置は、所定空間内において、通信者は、通信者自らが、相手方エージェントであるホログラム像とインタラクションすることを特徴としている。
(46)この発明に係るコミュニケーション装置は、エージェントが、音であり、前記エージェント情報は音情報であることを特徴としている。
(47)この発明に係るコミュニケーション装置は、相手方エージェント実現手段が、相手方通信者の位置データに基づいて、音情報に基づく音を、所定空間内の位置に音像として形成することを特徴としている。
したがって、音像を介して、相手方通信者とのインタラクトを実現することができる。
(48)この発明に係るコミュニケーションプログラムは、コンピュータを、通信者と相手方通信者のエージェントが共存する所定空間を形成するコミュニケーション装置として動作させるための通信プログラムであって、
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報であって、所定空間における通信者の位置データを含むエージェント情報を生成し、
自己エージェント情報を送信し、
所定空間に対応する相手方所定空間における相手方通信者の位置データを含む相手方エージェント情報を受信し、
相手方エージェント情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現する処理を、コンピュータに行わせる。
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報であって、所定空間における通信者の位置データを含むエージェント情報を生成し、
自己エージェント情報を送信し、
所定空間に対応する相手方所定空間における相手方通信者の位置データを含む相手方エージェント情報を受信し、
相手方エージェント情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現する処理を、コンピュータに行わせる。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(49)この発明に係るコミュニケーションプログラムは、コンピュータを、通信者と相手方通信者のエージェントが共存する所定空間を形成するコミュニケーション装置として動作させるための通信プログラムであって、
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報であって、通信者を含む所定空間の画像を含むエージェント情報を生成し、
自己エージェント情報を送信し、
所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の画像を含む相手方エージェント情報を受信し、
相手方エージェント情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現する処理を、コンピュータに行わせる。
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報であって、通信者を含む所定空間の画像を含むエージェント情報を生成し、
自己エージェント情報を送信し、
所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の画像を含む相手方エージェント情報を受信し、
相手方エージェント情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現する処理を、コンピュータに行わせる。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(50)この発明に係るコミュニケーションプログラムは、コンピュータをコミュニケーション装置として動作させるためのプログラムであって、
床面および壁面によって定義される所定空間にいる通信者の温度分布画像を受けて、二値化形状データを生成し、
床面に設けられた位置検出センサからの出力に基づいて、通信者の位置データを生成し、
前記二値化形状データおよび位置データを送信し、
前記所定空間に対応する相手方所定空間における相手方通信者の形状を示す二値化形状データと位置を示す位置データとを受信し、
相手方通信者の影画像を含む光を前記床面および壁面に向けて照射して相手方通信者の影画像および通信者の影を前記所定空間に生成するために、受信した相手方通信者の二値化形状データと位置データに基づいて、相手方通信者の影画像を生成する処理をコンピュータに行わせる。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
床面および壁面によって定義される所定空間にいる通信者の温度分布画像を受けて、二値化形状データを生成し、
床面に設けられた位置検出センサからの出力に基づいて、通信者の位置データを生成し、
前記二値化形状データおよび位置データを送信し、
前記所定空間に対応する相手方所定空間における相手方通信者の形状を示す二値化形状データと位置を示す位置データとを受信し、
相手方通信者の影画像を含む光を前記床面および壁面に向けて照射して相手方通信者の影画像および通信者の影を前記所定空間に生成するために、受信した相手方通信者の二値化形状データと位置データに基づいて、相手方通信者の影画像を生成する処理をコンピュータに行わせる。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(51)この発明に係るコミュニケーションプログラムは、コンピュータをコミュニケーション装置として動作させるためのプログラムであって、
床面および壁面によって定義される所定空間にいる通信者を含む所定空間の温度分布画像を受けて、二値化所定空間データを生成し、
前記二値化所定空間データを送信し、
前記所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の二値化相手方所定空間データを受信し、
相手方通信者の影画像を含む光を前記床面および壁面に向けて照射して相手方通信者の影画像および通信者の影を前記所定空間に生成するために、受信した相手方所定空間データに基づいて、相手方通信者の影画像を生成する処理をコンピュータに行わせる。
床面および壁面によって定義される所定空間にいる通信者を含む所定空間の温度分布画像を受けて、二値化所定空間データを生成し、
前記二値化所定空間データを送信し、
前記所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の二値化相手方所定空間データを受信し、
相手方通信者の影画像を含む光を前記床面および壁面に向けて照射して相手方通信者の影画像および通信者の影を前記所定空間に生成するために、受信した相手方所定空間データに基づいて、相手方通信者の影画像を生成する処理をコンピュータに行わせる。
したがって、所定空間において、通信者と相手方通信者のエージェントが共存し、インタラクションをすることができる。つまり、所定空間を共存在空間（「場」）として、明在的な情報だけでなく、エージェントを共存在空間に位置づけることによって、「間」と呼ばれる暗在的な情報を伝達して、二領域コミュニケーションを実現することができる。
(52)この発明に係る共存在空間装置は、位置検出センサを有するとともに、影を表示もしくは投影するための床と、床に垂直に設けられ、影を表示もしくは投影するための壁と、前記壁と床に対して相手方通信者の影画像を表示するとともに、床の上にいる通信者の影を前記壁と床に投影する光学投影器とを備えている。
したがって、通信者が相手方通信者と共に存在することのできる空間を形成することができる。
(53)この発明に係る共存在空間装置は、光学投影器と同じ位置に、床の上にいる通信者の形状を取得するための赤外線熱画像装置を備えたことを特徴としている。
したがって、通信者の影と相手方通信者の影との間の整合性がとりやすく、制御が容易となる。
(54)この発明に係るコミュニケーション方法は、それぞれの通信者の側に同質の所定空間を定義し、前記所定空間における通信者の存在をエージェントとして生成し、当該エージェントを他の通信者の所定空間内において、当該エージェントに対応する通信者の所定空間での位置に対応する位置に形成し、各通信者は、前記所定空間において他人のエージェントとインタラクションできるようにしている。
したがって、所定空間において、相手方通信者と共に存在している感覚を得ることができ、相手方通信者とのインタラクトを行うことができる。
(55)この発明に係るコミュニケーション方法は、所定空間内に、他人のエージェントだけでなく、自己エージェントも生成するようにしたことを特徴としている。
したがって、よりインタラクト性の高いコミュニケーション方法を提供することができる。
(56)この発明に係る人間と機械とのコミュニケーション装置は、
体験者が入る所定空間を定義する床面または壁面またはその双方と、
体験者を含む所定空間の温度分布画像を生成する赤外線熱画像装置と、
画像コンテンツ、および、画像コンテンツの進行に応じて姿態が変化する影画像データを、進行する各画像コンテンツに対応づけて記録する記録部と、
温度分布画像に基づいて、体験者の所定空間における位置を算出する体験者位置算出手段と、
画像コンテンツよび対応する影画像データを記録部から読み出す読出手段と、
算出した体験者位置に基づいて、画像コンテンツに影画像データを合成する合成手段と、
合成した画像を投影する光学投影器と、を備えている。
したがって、体験者に対して、仮想的な存在を感じさせることのできる装置を提供することができる。
体験者が入る所定空間を定義する床面または壁面またはその双方と、
体験者を含む所定空間の温度分布画像を生成する赤外線熱画像装置と、
画像コンテンツ、および、画像コンテンツの進行に応じて姿態が変化する影画像データを、進行する各画像コンテンツに対応づけて記録する記録部と、
温度分布画像に基づいて、体験者の所定空間における位置を算出する体験者位置算出手段と、
画像コンテンツよび対応する影画像データを記録部から読み出す読出手段と、
算出した体験者位置に基づいて、画像コンテンツに影画像データを合成する合成手段と、
合成した画像を投影する光学投影器と、を備えている。
したがって、体験者に対して、仮想的な存在を感じさせることのできる装置を提供することができる。
この発明において、「表示面」とは、エージェントを表示または投影するための面をいう。実施形態では、床３、壁５などが表示面に該当する。
「対応する所定空間」とは、２つの空間が何らかの幾何学的関係を持って、両空間の各点が一対一に対応するようなものをいう。したがって、同じ大きさの所定空間だけを意味するのではなく、相似形の所定空間や、縦、横または高さが等倍（等縮）されたような所定空間も含む概念である。また、歪んだ関係にて対応付けられた所定空間も含む概念である。なお、ここにいう「所定空間」は、少なくとも通信者が入り込むことの可能な場所をいい、その一部に、机、装置などの物理的実体が含まれていてもよい。つまり、相手方所定空間には机が存在し、所定空間には机が存在しないようなばいであっても、「両空間の各点が一対一に対応する」という概念の中に入るものである。
「影」とは、物体に光が当たって形成される影（実体によってその場所に生成された影）だけでなく、映像として表示した影（影に対応する実体が存在しない場所に形成された影）も含む概念である。
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
「自己エージェント情報生成手段」は、実施形態においては、図７のステップＳ１〜Ｓ３や、図２４のステップＳ２１、Ｓ２２等がこれに対応する。
「送信手段」および「受信手段」は、実施形態においては、通信部３４等がこれに該当する。
「相手方エージェント実現手段」は、実施形態においては、図９のステップＳ１１〜Ｓ１６や図２６のステップＳ３１、Ｓ３２等がこれに対応する。
「自己エージェント実現手段」は、実施形態においては、プロジェクター２２や２２２等がこれに該当する。
「位置検出手段」は、実施形態においては、マット型タッチセンサ２８や２２８等がこれに該当する。また、図２８に示す重心算出処理を行うＣＰＵの機能などもこれに対応する。
「描画手段」は、実施形態においては、図３３に示す線画を生成するＣＰＵの機能などもこれに対応する。
「形状データ生成手段」は、実施形態においては、図７のステップＳ３等がこれに対応する。
「位置データ生成手段」は、実施形態においては、図７のステップＳ６等がこれに対応する。
「影画像生成手段」は、実施形態においては、図９のステップＳ１１〜Ｓ１５等がこれに対応する。
「所定空間データ生成手段」は、実施形態では、図２４のステップ２２等がこれに対応する。
「体験者位置算出手段」は、実施形態では、図４２のステップＳ９２等がこれに対応する。
「合成手段」は、実施形態では、図４２のステップＳ９６等がこれに対応する。
１．自己のエージェントを用いる実施形態
図２にこの発明の一実施形態によるコミュニケーション装置の全体構成を示す。相手方にも同じコミュニケーション装置が設けられているものとする。特に、共存在空間２は、相手方においても同じ大きさの共存在空間が設けられている。
共存在空間２（所定空間）には、通信者４が入ることができる。自己エージェント情報生成手段６は、通信者４の存在を示すエージェントを、相手方の共存在空間に形成するための自己エージェント情報を生成する。この自己エージェント情報には、共存在空間２における通信者４の位置を示す位置情報が含まれる。自己エージェント情報は、送信手段１２によって、相手方のコミュニケーション装置に送信される。
図２にこの発明の一実施形態によるコミュニケーション装置の全体構成を示す。相手方にも同じコミュニケーション装置が設けられているものとする。特に、共存在空間２は、相手方においても同じ大きさの共存在空間が設けられている。
共存在空間２（所定空間）には、通信者４が入ることができる。自己エージェント情報生成手段６は、通信者４の存在を示すエージェントを、相手方の共存在空間に形成するための自己エージェント情報を生成する。この自己エージェント情報には、共存在空間２における通信者４の位置を示す位置情報が含まれる。自己エージェント情報は、送信手段１２によって、相手方のコミュニケーション装置に送信される。
自己エージェント実現手段８は、通信者４のエージェント１０を共存在空間２に形成する。自己エージェント実現手段８は、通信者４に直接作用して、または、自己エージェント生成手段６の生成した自己エージェント情報に基づいて、エージェント１０を形成する。したがって、通信者４の位置に対応する位置に自己のエージェントが形成される。
受信手段１４は、相手方のコミュニケーション装置から送られてきた相手方エージェント情報を受信する。相手方エージェント情報は、上述の自己エージェント情報と同じようにして生成されたものである。したがって、相手方エージェント情報には、相手方通信者の存在を示す情報だけでなく、相手方の所定空間内における位置を示す位置情報が含まれる。
相手方エージェント実現手段１６は、この相手方エージェント情報を受け、その位置情報に基づいて、共存在空間２の対応する位置に、相手方エージェント２０を形成する。したがって、相手方通信者の位置に対応する位置に相手方エージェントが形成される。
通信者４および相手方通信者の局所的な動きにあわせて、自己エージェント１０および相手方エージェント２０が局所的な動きをするとともに、通信者４および相手方通信者全体の動きにあわせて、自己エージェント１０および相手方エージェント２０が、共存在空間２の中を移動する。したがって、相手方エージェント２０を介して、相手方通信者と共存在空間２を共有することができる。つまり、相手方との「場」を創造して、互いに身体的なインタラクトをすることができる。
換言すれば、明在的表現が可能な情報（音声、身体の動き）の伝達だけでなく、「場」という共存在空間に位置づけることによって可能となった相手との「間」（暗在的情報）を伝えることができ、二領域コミュニケーションを実現できる。
２．影をエージェントとして用いる実施形態
2.1 全体構成
図３に、影をエージェントとして用いたコミュニケーション装置のブロック図を示す。
2.1 全体構成
図３に、影をエージェントとして用いたコミュニケーション装置のブロック図を示す。
この実施形態では、形状取得手段６１、形状データ生成手段６２、位置取得手段６３、位置データ生成手段６４によって、自己エージェント情報生成手段６が構成されている。形状取得手段６１は、通信者４の外形的形状を取得するものである。たとえば、ビデオカメラ、赤外線熱が像装置などの撮像装置の他、通信者の身体の各部位に取り付けた空間位置センサを用いることができる。また、通信者の影を光学的センサなどによって平面的に検出して、外形的形状を取得することもできる。
形状データ生成手段６２は、形状取得手段６１によって取得された通信者４の外形的形状に基づいて、影に関する情報としての形状データを生成するものである。形状データとしては、たとえば、人体の形状を縁取るベクトルデータや、人体の形状を画像として示す２値データなどを用いることができる。
位置取得手段６３は、共存在空間２における通信者４の位置を取得するものである。たとえば、共存在空間２の底面に格子状に配置した圧力センサや、静電容量センサ、電磁誘導センサなどを用いることができる。
位置データ生成手段６４は、位置取得手段６３の出力に基づいて、共存在空間２における通信者４の位置を示す位置データを生成する。位置データとしては、共存在空間２の底面における平面直交座標を用いることができる。なお、共存在空間２の３次元直交座標を用いてもよい。
送信手段１２は、形状データおよび位置データを受けて、これを相手方のコミュニケーション装置に向けて送信する。
受信手段１４は、相手方のコミュニケーション装置からの形状データおよび位置データを受信する。
この実施形態では、相手方エージェント実現手段１６は、影画像生成手段１６２と影投影・表示手段１６１を備えている。影画像生成手段１６２は、受信した形状データおよび位置データに基づいて、相手方通信者の影画像を生成する。この際、影画像生成手段１６２は、位置データに基づいて、相手方共存在空間における相手方通信者の位置に対応する共存在空間の位置に影を配置するようにしている。
影投影・表示手段１６１は、生成された影画像を、共存在空間２に投射して表示する。これにより、共存在空間２に相手方の影が表示される。また、影投影・表示手段１６１は、共存在空間２にいる通信者４に向けて光（影以外の部分の画像）を照射するものでもあるため、共存在空間２に自己の影を投影する。したがって、この実施形態では、影投影・表示手段１６１は、自己エージェント実現手段８も兼ねている。
なお、影投影・表示手段１６１としては、プロジェクターなどの光学投影器を用いることができる。
上記のようにして、共存在空間２に自己および自己の影と相手方の影を配置して、「場」を創造し、互いに身体的なインタラクトを可能としている。
2.2 具体的構成
図４に、図３の装置を具体化した例を示す。コミュニケーション装置１とコミュニケーション装置２０１が、無線・有線などの通信路３０を介して通信可能に接続されている。通信路としては、公衆電話回線やインターネットなどを用いることができる。
以下では、コミュニケーション装置１の構成について説明するが、コミュニケーション装置２０１の構成も同じである。また、共存在空間２と共存在空間２０２は、同質性を保つため同一の大きさに形成されている。
図４に、図３の装置を具体化した例を示す。コミュニケーション装置１とコミュニケーション装置２０１が、無線・有線などの通信路３０を介して通信可能に接続されている。通信路としては、公衆電話回線やインターネットなどを用いることができる。
以下では、コミュニケーション装置１の構成について説明するが、コミュニケーション装置２０１の構成も同じである。また、共存在空間２と共存在空間２０２は、同質性を保つため同一の大きさに形成されている。
この例では、コミュニケーション装置１において、床３とこれに垂直に配置された壁５とによって共存在空間２が定義づけられている。プロジェクター２２と赤外線サーモグラフィー２４が、壁５と反対側に設けられている。プロジェクター２２と赤外線サーモグラフィー２４は、ほぼ同じ位置に設けられている。また、この実施形態では、図１０に示すように、プロジェクター２２は垂直方向に対して６０度の角度をもって設けられている。床３には、通信者４の位置を検出するためのマット型タッチセンサ２８が設けられている。
マット型タッチセンサ２８の出力、赤外線サーモグラフィー（赤外線熱画像装置）２４の出力は、コンピュータ２６に入力されている。また、コンピュータ２６の画像出力は、プロジェクター２２に与えられている。
図５に、マット型タッチセンサ２８の一部を示す。最下層には、一辺が３４５ｍｍの正方形ビニルシート２８１が設けられている。その上部には、導電ゴムなどの柔軟な導電体２８２が設けられている。その上部には、スポンジなどの柔軟な絶縁材２８３が設けられている。この絶縁材２８３には、多数の貫通穴が設けられている。その上部には、１５０ｍｍピッチ（図中のｔ参照）にて、導電ゴムなどの柔軟な導電体２８４が設けられている。さらに、その上部には、ビニルシート２８５が設けられている。これらの部材が積層されて、マット型タッチセンサ２８が構成される。図５に示すタッチ型センサが、床３を覆うように敷き詰められている。
したがって、通信者４のいる場所では、、通信者４の体重によって導電体２８４が導電体２８２と接触する。いずれの導電体２８４が、導電体２８２と接触したかを、電気回路（図示せず）によって検出し、これをコンピュータ２６に出力する。
図６に、コンピュータを含むハードウエア構成を示す。メモリ３２、通信部３４、ハードディスク３８、ＣＤ−ＲＯＭドライブ４４、赤外線サーモグラフィー２４、マット型タッチセンサ２８、プロジェクタ２２などが、ＣＰＵ３６に接続されている。
通信部３４は、相手方のコミュニケーション装置２０１と通信するためのものである。この実施形態では、通信部３４が、送信手段と受信手段を兼ねている。ハードディスク３８には、ＷＩＮＤＯＷＳ（商標）などのオペレーティングシステム４０、制御プログラム（通信プログラム）４２がなどが記録されている。これらプログラムは、ＣＤ−ＲＯＭドライブ４４を介して、ＣＤ−ＲＯＭ４６に記録されたプログラムからハードディスク３８にインストールされたものである。
制御プログラム４２は、オペレーティングシステム４０と共同して、その機能を達成する。なお、他の実施形態では、制御プログラム４２単独で、機能を達成するようにしてもよい。
赤外線サーモグラフィー２４は、通信者４を含む共存在空間２の温度分布画像を撮像するものである。また、マット型タッチセンサ２８は、上述のように、通信者４の位置に対応する信号を出力するものである。プロジェクタ２２は、床３および壁５に向けて、相手方の影画像２０４ＳＳを表示するとともに、通信者４の影４Ｓを床３および壁５に投影するものである。
2.3 処理
図７に、自己エージェント情報としての形状データと位置データとを生成する処理（制御プログラムの処理の一部である）のフローチャートを示す。
ＣＰＵ３６は、まず、赤外線サーモグラフィー２４から、温度分布データを取り込む（ステップＳ１）。取り込んだ温度分布データは、通信者４の人体部分だけが他の部分に比べて高い温度となっている。図８の画像６０に、温度分布データのうちの通信者４の近傍部分を示す。
図７に、自己エージェント情報としての形状データと位置データとを生成する処理（制御プログラムの処理の一部である）のフローチャートを示す。
ＣＰＵ３６は、まず、赤外線サーモグラフィー２４から、温度分布データを取り込む（ステップＳ１）。取り込んだ温度分布データは、通信者４の人体部分だけが他の部分に比べて高い温度となっている。図８の画像６０に、温度分布データのうちの通信者４の近傍部分を示す。
次に、ＣＰＵ３６は、この温度分布データを所定の温度をしきい値として、所定温度以上の画素を画像化（黒）するように２値化する（ステップＳ２）。このようにして得られた２値化データ６２を、図８に示す。
続いて、２値化した画像に対してラベリング処理を行う。ラベリング処理によって最も大きな面積を有する画像部分を通信者４の画像であると判断し、他の画像を除去する（ステップＳ３）。このようにして、形状データを得ることができる。
次に、ＣＰＵ３６は、この形状データにおける足先位置を算出する（ステップＳ４）。この実施形態では、説明６６に示すように、足方向の最先端の画素から頭方向に向けて所定画素の範囲にある画素の重心位置を、足先位置としている。これは、足方向の最先端の画素を足先位置とすると、座標位置のぶれが大きくなるからである（説明６４参照）。
次に、ＣＰＵ３６は、マット型タッチセンサ２８の出力を取り込む（ステップＳ５）。マット型タッチセンサ２８からは、いずれの導電体２８４が接触したかのデータが出力される。ＣＰＵ３６は、この出力に基づいて、通信者４の座標位置を算出する（ステップＳ６）。通常、２以上の導電体２８４が接触するので、各導電体２８４に対応する座標に基づいて、中心座標（平均座標）を算出して、これを通信者４の座標位置（立ち位置）とする。
さらに、ＣＰＵ３６は、形状データ、その足先位置、立ち位置（位置データ）を通信部３４に与える。通信部３４は、これを、相手方のコミュニケーション装置２０１に送信する（ステップＳ７）。
以上のようにして、相手方のコミュニケーション装置２０１に対して、自己エージェント情報が送信される。なお、上記の処理は、繰り返して実行される。
図９に、相手方および自己エージェントの生成処理（制御プログラムの処理の一部である）のフローチャートを示す。
ＣＰＵ３６は、通信部３４が受信した相手方からの形状データ、その足先位置、立ち位置を取り込む（ステップＳ１１）。次に、立ち位置に応じて、形状データを縦方向（足先から頭への方向）に伸ばす（ステップＳ１２）。
このように形状データを伸ばすのは、以下のような理由からである。この実施形態においては、床３、壁５とプロジェクタ２２との関係は、図１０Ａに示すとおりである。通信者４が、プロジェクタ２２に遠い側にいる場合よりも、近い側（つまり壁から遠い側）にいる場合のほうが、図１０Ｂに示すように、その影は縦方向および横方向に伸びることになる。したがって、この共存在空間２に表示する相手方通信者２０４の影も、その立ち位置に応じて伸ばす必要がある。ただし、この実施形態では、横方向の伸びはわずかであるため、縦方向にだけ伸ばすようにしている。図１０Ｃに、身長１７０ｃｍの通信者４を例として、壁５からの距離と、壁５に生じる影の頭頂部位置の変化を示す。
ＣＰＵ３６は、図１１に示すような伸張テーブルに基づいて、立ち位置に応じて形状データ（２値化画像）を縦方向に伸ばす（図１２の画像６６を参照）。
次に、ＣＰＵ３６は、プロジェクター２２の床面画素領域８０に立ち位置を決定する（ステップＳ１３）。ところで、プロジェクター２２は、床３と壁５の双方に対して画像を表示する。したがって、図１３に示すように、壁５に表示される画素領域８２と、床３に表示される画素領域８０を有している。さらに、そのまわりに、若干のマージン画素領域８４を有している。ＣＰＵ３６は、この床面画素領域８０において、立ち位置に対応する画素を特定する（図１２の点６８参照）。
次に、ＣＰＵ３６は、形状データをプロジェクター２２の画素領域に配置する（ステップＳ１４）。この際、壁面画素領域８２のプロジェクタ高さ位置に対応する位置８６と、形状データのサーモグラフィ高さ位置に対応する位置８８が合致するように、形状データを配置する（図１２の画像９０参照）。このようにして、上下方向（図１３のＹ方向）の位置を決めて配置する。また、左右方向（Ｘ方向）については、形状データの足先位置のＸ座標と、立ち位置のＸ座標とが合致するように位置を決めて配置する。
続いて、ＣＰＵ３６は、床面画素領域の形状データ（足先付近の画像）を、ステップＳ１３において特定した立ち位置と形状データの足先位置が合致するように、Ｙ方向に拡大または縮小して配置する（ステップＳ１５）。このようにして、図１２の画像９２に示すように画像が配置される。
次に、ＣＰＵ３６は、プロジェクター２２に対して配置した画像を与え、相手方の影画像２０４ＳＳを、壁５および床３に表示する（ステップＳ１６）。また、プロジェクター２２からの光により、共存在空間２の通信者４の影４Ｓが、壁５および床３に投影される。
以上のようにして、相手方の影２０４ＳＳおよび自己の影４Ｓが共存空間２に形成される。また、上記の処理は繰り返して実行される。したがって、互いの通信者の動きにより、相手方に表示された影も動くばかりでなく、この影と通信者が空間を共有しているので、身体的インタラクションが可能である。
この実施形態のコミュニケーション装置によれば、図１４に示すように、「場」を共有して相手方との「間」を感じつつ身体的なインタラクションを実現することができる。図１５に、テレビ電話によるコミュニケーションを行った場合の２人の通信者の動きと、本実施形態のコミュニケーション装置を用いた場合の２人の通信者の動きを比較して示す。図１５Ａが、従来のテレビ電話を用いた場合である。両者の動きに、同期が見られないことがわかる。図１５Ｂは、本発明に係る装置を用いた場合である。両者の動きに同期が生じていることがわかる。特に、速度変化における同期が顕著に生じている（図１５Ｃ参照）。
上記では、通信者は積極的な身体的インタラクションを行っている。しかし、通信者が意識せずとも、共存在空間という「場」における相手との「間」を感じて自然と身体的インタラクションが生じる。
なお、共存在空間における相手方との距離に基づいて、相手方の影の大きさや濃度を変化させるようにしてもよい。
また、お互いの音声を送信するようにしてもよい。この際、相手方の位置に対応した位置に、音像を定位させるようにすることが好ましい。
上記実施形態では、プロジェクターからの光を照射することにより、自己エージェントである影を生成している。しかし、壁面や床面をＬＣＤなどの表示装置としておき、これに自己の影と相手方の影を表示するようにしてもよい。これによれば、プロジェクターなどの投影装置は不要である。自己の影については、相手方の影と同じようにして、形状データに基づいて生成すればよい。またこの場合、お互いの装置において、予め形状データから影画像を生成しておき、これを互いに相手方に送るようにすれば、重複した処理を防ぐことができる。
2.4 対面型
上記実施形態では、相手方も床３の上にいるかの如く影を生成するようにしている（鏡面型と呼ぶ）。しかし、相手方の影を壁５だけに表示すれば、あたかも障子の向こうに相手方がいるかのようにできる（対面型と呼ぶ）。対面型を採用する場合、共存在空間における相手方との相対的距離によって、相手方の影の大きさを変化させてもよい。相対的距離が大きいほど相手方の影を小さくする。これにより、相手方との距離感を把握することができる（図１６Ａ参照）。
また、同様に、共存在空間における相手方との相対的距離によって、相手方の影の濃度を変化させてもよい。相対的距離が大きいほど相手方の影の濃度を薄くする。これにより、相手方との距離感を把握することができる（図１６Ｂ参照）。
上記実施形態では、相手方も床３の上にいるかの如く影を生成するようにしている（鏡面型と呼ぶ）。しかし、相手方の影を壁５だけに表示すれば、あたかも障子の向こうに相手方がいるかのようにできる（対面型と呼ぶ）。対面型を採用する場合、共存在空間における相手方との相対的距離によって、相手方の影の大きさを変化させてもよい。相対的距離が大きいほど相手方の影を小さくする。これにより、相手方との距離感を把握することができる（図１６Ａ参照）。
また、同様に、共存在空間における相手方との相対的距離によって、相手方の影の濃度を変化させてもよい。相対的距離が大きいほど相手方の影の濃度を薄くする。これにより、相手方との距離感を把握することができる（図１６Ｂ参照）。
なお、上記では、相対距離によって影の濃度や大きさを変化させているが、壁からの距離に基づいて相手方に表示する影の濃度や大きさを変化させるようにしてもよい。
また、上記各実施形態では、相手方の影を無彩色で表示するようにしている。しかし、彩色のある影を表示するようにしてもよい。また、自己の影についても彩色を行う場合には、形状データから影画像を生成し、壁や床に配置した平面ディスプレイなどの表示装置によって表示すればよい。また、相対距離や壁からの距離などに基づいて、影の色を変えるようにしてもよい。
2.5 合成型
鏡面型と対面型を組み合わせた合成型として、コミュニケーション装置を構成することもできる。
この実施形態では、図１７に示すように、マット型タッチセンサ２８を配置した床３を、仮想境界線９４によって２つの領域３Ａ、３Ｂに分けている。通信者４と相手方通信者２０４が同じ領域にいる場合には、鏡面型にて相手方の影を表示する。なお、領域がＸ方向に半分になっているため、通信者のＸ方向へ動いた距離に対して、エージェントとして相手方に生成する影は２倍の距離を動くようにしている。また、異なる領域にいる場合には、対面型にて相手方の影を表示するようにしている。
鏡面型と対面型を組み合わせた合成型として、コミュニケーション装置を構成することもできる。
この実施形態では、図１７に示すように、マット型タッチセンサ２８を配置した床３を、仮想境界線９４によって２つの領域３Ａ、３Ｂに分けている。通信者４と相手方通信者２０４が同じ領域にいる場合には、鏡面型にて相手方の影を表示する。なお、領域がＸ方向に半分になっているため、通信者のＸ方向へ動いた距離に対して、エージェントとして相手方に生成する影は２倍の距離を動くようにしている。また、異なる領域にいる場合には、対面型にて相手方の影を表示するようにしている。
図１８に、通信者Ａが移動した場合に、通信者Ｂからみた通信者Ａの影がどのように変化するかを示す。上段は、通信者Ａ、Ｂが共に領域３Ｂにいる状態から、通信者Ａだけが、領域３Ａに移動した場合を示している。図に示すように、通信者Ｂの側では、通信者Ａの影が壁５をまたいで向こう側へ行ったように表示される。
下段は、通信者Ａ、Ｂが共に領域３Ａにいる状態から、通信者Ａだけが、領域３Ｂに移動した場合を示している。図に示すように、通信者Ｂの側では、通信者Ａの影が後方に移動し、その後通信者Ｂが振り返って通信者Ａを見ているかの如く、影が壁５の向こう側へ行ったように表示される。この際、ＣＰＵ３６は、振り返りを表現するため、プロジェクター２２の光を消して暗転の部分を設けている。
このように、合成型を採用することにより、図１９に示すように、相手方の影が壁５を通り抜けて入り込み、また、壁５を通り抜けて出ていくような表現が可能となる。
2.6 その他の例
上記の例では、赤外線サーモグラフィーを撮像装置として用いている。しかし、通常のカメラを用いてもよい。ただし、赤外線サーモグラフィーに比べて、通信者の画像を分離することが困難である。
また、上記実施形態では、撮像装置によって形状データを得ている。しかし、床３または壁５またはその双方に縦横に配置した光センサによって、通信者４の影を検出するようにしてもよい。
上記の例では、赤外線サーモグラフィーを撮像装置として用いている。しかし、通常のカメラを用いてもよい。ただし、赤外線サーモグラフィーに比べて、通信者の画像を分離することが困難である。
また、上記実施形態では、撮像装置によって形状データを得ている。しかし、床３または壁５またはその双方に縦横に配置した光センサによって、通信者４の影を検出するようにしてもよい。
なお、上記実施形態では、送信側において形状データの足先位置を算出しているが、受信側においてこれを算出するようにしてもよい。
また、上記実施形態では、床面や壁面に影だけを表示するようにしている。しかし、使用用途に合わせて背景画像を併せて表示するようにしてもよい。
また、上記実施形態では、相手方の影を表示しているが、これに加えて、対応する位置に相手方のホログラム像を表示するようにしてもよい。
３．マット型タッチセンサを設けない実施形態
上記実施形態の装置は、１人対１人の場合だけでなく、複数人対複数人においても用いることができるが、複数人の立ち位置の峻別を行おうとする際に、処理が複雑になる可能性がある。以下では、基本的に立ち位置を検出する必要のない実施形態について説明する。
この実施形態による装置によれば、空間的に離れている異なる集団の場と場をつなぐ集団的コミュニケーションシステムを構築することができる。
上記実施形態の装置は、１人対１人の場合だけでなく、複数人対複数人においても用いることができるが、複数人の立ち位置の峻別を行おうとする際に、処理が複雑になる可能性がある。以下では、基本的に立ち位置を検出する必要のない実施形態について説明する。
この実施形態による装置によれば、空間的に離れている異なる集団の場と場をつなぐ集団的コミュニケーションシステムを構築することができる。
先の実施形態では、形状データとは別に位置データを送信するようにしている。この実施形態では、通信者を含む共存在空間の画像を送信することによって、画像データ中に位置データが自ずと含まれることになり、別途位置データを送信する必要をなくしている。
図２０に、位置検出のためのセンサを設けない実施形態を示す。この実施形態によるコミュニケーション装置１、２０１においては、床３、２０３の上に、マット型タッチセンサ２８、２２８が設けられていない。したがって、通信者４、相手方通信者２０４は、直接、床３の上で動作をすることになる。
他の基本的構成は、図４に示す実施形態と同様であるが、プロジェクター２２、２２２の映写範囲と赤外線サーモグラフィー２４、２２４の撮像範囲に工夫をしている。図４の実施形態では、通信者４、２０４の立位置を検出し、相手方の共存在空間２０２、２において、送信されてきた立位置に基づいて、適切な位置に適切な大きさの影を生成する処理を行っている。しかし、図２０の実施形態では、このような処理を行わなくとも、相手方の影を、適切な位置に適切な大きさで生成することができる。なお、コミュニケーション装置１とコミュニケーション装置２０１は、同様の構成を有している。
図２１を参照して、この実施形態における、プロジェクター２２の映写範囲と赤外線サーモグラフィー２４の撮像範囲の設定について説明する。図２１Ａに、赤外線サーモグラフィー２４の撮像範囲を示す。この例では、撮像範囲は、ほぼ、床３の大きさと、壁５の大きさに合致するように設定されている。この状態で、通信者４を撮像した赤外線画像は、赤外線サーモグラフィー２４の位置に、プロジェクター２２が置かれた場合に生成される影を、通常のカメラによって撮像したものと等しい。
一方、図１２Ｂに示すように、プロジェクター２２の映写範囲を、ほぼ、床３の大きさと、壁５の大きさに合致するように設定する。図２１Ａのように赤外線サーモグラフィー２４によって撮像した赤外線画像を二値化し、図２１Ｂのようにプロジェクター２２によってこれを映写する。これにより、通信者４の影画像４ＳＳを、正しい位置、正しい大きさにて表示することができる。
なお、プロジェクター２２２の映写範囲と赤外線サーモグラフィー２２４の撮像範囲についても、上記と同じように設定している。
上記のように、赤外線サーモグラフィー２４とプロジェクター２２を、ほぼ同じ位置に置くとともに、両者の映写範囲、撮像範囲を等しくすることで、立ち位置検出を行わなくとも、影画像を正しく表示することができる。図２４Ｃに、コミュニケーション装置１の側における影の表示状態を示し、図２４Ｄに、コミュニケーション装置２０１の側における影の表示状態を示す。
この実施形態において用いた、プロジェクター２２と赤外線サーモグラフィー２４を、図２２に示す。この実施形態では、プロジェクター２２の投影範囲と赤外線サーモグラフィー２４の撮像範囲を、上下左右に変更可能にしている。
プロジェクター２２の投影口２２ａと、赤外線サーモグラフィー２４の撮像口２４ａは、ほぼ同じ高さに揃えられている。プロジェクター２２と赤外線サーモグラフィー２４は、軸３００に固定されている。軸３００は回転可能であり、軸３００の回転に伴って、プロジェクター２２と赤外線サーモグラフィー２４が同時に回転する。これにより、軸３００が回転しても、プロジェクター２２の映写範囲と赤外線サーモグラフィー２４の撮像範囲がずれることがない。ステッピングモータ３０２の回転は、回転伝達機構３０４（図２２Ｂ参照）を介して、軸３００に与えられる。したがって、ステッピングモータ３０２の回転を制御することにより、プロジェクター２２の映写範囲と赤外線サーモグラフィー２４の撮像範囲を上下に移動することができる。
軸３００を軸支するコ字状の筐体３０６は、軸３０８によって回転可能に、固定板３１０に支持されている。軸３０８の回転に伴って、プロジェクター２２と赤外線サーモグラフィー２４が同時に回転する。これにより、軸３０８が回転しても、プロジェクター２２の映写範囲と赤外線サーモグラフィー２４の撮像範囲がずれることがない。ステッピングモータ３１２の回転は、回転伝達機構３１４を介して、軸３０８に与えられる。したがって、ステッピングモータ３１２の回転を制御することにより、プロジェクター２２の映写範囲と赤外線サーモグラフィー２４の撮像範囲を左右に移動することができる。
図２３に、コンピュータ２６のハードウエア構成を示す。この実施形態では、ステッピングモータ制御部２９がＣＰＵ３６に接続されている。ステッピングモータ制御部２９は、ＣＰＵ３６の命令を受けて、ステッピングモータ３０２、３１２に対する制御指令を与える。
図２４に、ハードディスク３８に記録されている制御プログラム４２の自己エージェント情報生成の部分のフローチャートを示す。ＣＰＵ３６は、まず、赤外線サーモグラフィー２４から、温度分布データを取り込む（ステップＳ２１）。取り込んだ温度分布データは、通信者４の人体部分だけが他の部分に比べて高い温度となっている。次に、ＣＰＵ３６は、この温度分布データを所定の温度をしきい値として、所定温度以上の画素を画像化（黒）するように２値化する（ステップＳ２２）。続いて、２値化した画像に対してラベリング処理を行う。ラベリング処理によって最も大きな面積を有する画像部分を通信者４の画像であると判断する。
次に、ＣＰＵ３６は、通信者の画像における重心位置座標を求める（ステップＳ２３）。この重心位置が、撮像画像の左右端から所定位置以内（ここでは５０画素以内）にあるか否かを判断する（ステップＳ２４）。図２５Ａに示すように、重心位置Ｊが５０画素以内であれば、ＣＰＵ３６は撮像位置の調整を行う。つまり、ステッピングモータ制御部２９を介して、ステッピングモータ３１２に回転指令を与え、図２５Ｂに示すように、重心位置Ｊが撮像画像の左右に関して中心に来るように、撮像位置（映写位置）を移動させる。これにより、通信者の移動によって、通信者が撮像範囲から外れることを防ぐことができる。その後、再び、ステップＳ１２の温度分布データの取得以下の処理を行う。
なお、ステップＳ２４において、重心位置Ｊが左右端から５０画素以内でないと判断すれば、ＣＰＵ３６は、二値化した撮像画像を二値化所定空間画像として、通信部３４を介して相手方のコミュニケーション装置２０１に送信する（ステップＳ２５）。ＣＰＵ３６は、上記の処理を繰り返して実行する。
なお、ステップＳ２６において撮像位置の調整を行った場合には、ＣＰＵ３６は、その調整後の撮像位置データを相手方に送信する。相手方のコミュニケーション装置２０１のＣＰＵ２３６は、この調整後の撮像位置データを受けて、同じように撮像位置の調整を行う。これにより、双方のコミュニケーション装置１、２０１の撮像位置が揃うことになる。
また、他の実施形態では、ステップＳ２６において撮像位置の調整を行った場合にであっても、相手方に調整後の撮像位置データを送信せず、相手方のコミュニケーション装置２０１の撮像位置をそのままにしておいてもよい。
なお、この実施形態では、撮像範囲全体の画像を送信するようにしている。しかし、通信者の周辺部のみの画像を送るようにしてもよい。この場合には、基準座標（たとえば前記重心位置Ｊ）の画素が何れであるのかを識別するデータと、基準座標の座標値データ（たとえば重心位置Ｊの座標値）を併せて送信する。受信側では、基準座標（たとえば前記重心位置Ｊ）の画素が何れであるのかを識別するデータと、基準座標の座標値データに基づいて、通信者の画像を撮像範囲全体の中に位置づけ、撮像範囲全体の画像を再生する。これにより、通信データ量を減らすことができる。
図２６に、相手方および自己エージェントの生成プログラム（制御プログラム４２の一部である）のフローチャートを示す。ＣＰＵ３６は、相手方のコミュニケーション装置２０１から送信されてきた二値化相手方所定空間画像（二値化所定空間画像と同様の方法によって生成された画像）を受信する（ステップＳ３１）。次に、ＣＰＵ３６は、この二値化相手方所定空間画像をプロジェクター２２に与えて投影させる（ステップＳ３２）。これにより、図２０に示すように、通信者４の自己エージェントである影４Ｓと、相手方通信者２０４の相手方エージェントである影２０４ＳＳが形成される。
この実施形態によれば、相手方の影を正しい位置に表示するために立ち位置検出のためのセンサを設ける必要がない。このため、特に、複数人の通信者４、複数人の相手方通信者２０４がいる場合であっても、各人の立ち位置を特定するなどの複雑な処理が必要でなく、処理が迅速である。したがって、所定空関や相手方所定空間に複数人がいるような通信の形態において、複数人による集団間を結んで場作りを支援することができる。換言すれば、空間的に離れている異なる集団の場と場をつなぐ集団コミュニケーションを実現することができる。
もちろん、一人対一人、複数人対一人、一人対複数人のようなコミュニケーションにも使用できる。
上記実施形態では、撮像位置の調整（ステップＳ２６）を行っているが、これを行わないようにしてもよい。この場合、人体画像の重心位置を求める必要はなくなる。
また、上記実施形態では、左右方向について撮像位置の調整を行っているが、同様にして、上下方向について撮像位置の調整を行ってもよい。
また、上記実施形態では、ステップＳ２３において、人体画像の重心位置を求めることで、通信者４の位置を決定している。しかし、図４の実施形態のように、マット型タッチセンサ２８を用いてもよい。
また、図２７に示すような熱源装置３００を通信者４に装着し、これにより、通信者の立ち位置を判断するようにしてもよい。この熱源装置３００は、マジックテープ（商標）付きのベルト３０４に固定されたバッテリー３０２を備えている。さらに、熱源であるシリコンラインヒータが収納されたマジックテープ付きのベルト３０６と、バッテリー３０２とラインヒータとを接続する接続線３０８を備えている。通信者４は、ベルト３０４によって、腰の付近にバッテリー３０２を固定し、ベルト３０６によって、ラインヒータを両足首の付近に固定する。
このようにラインヒータを両足首に取り付けた状態で、赤外線サーモグラフィー２４から取り込んだ温度分布データにおいては、ラインヒータの部分が強調表示された画像となる。図２８に、足首付近の温度分布画像を示す。ＣＰＵ３６は、この強調表示された部分の画像の重心位置Ｋを算出することができる。なお、このラインヒータによる立ち位置検出は、図４の実施形態において、マット型タッチセンサ２８による立ち位置検出に代えて用いることもできる。
また、ＣＰＵ３６は、この重心位置Ｋ（あるいは前記の重心位置Ｊ）に基づいて、共存在空間２における通信者４の正確な座標位置を決定することも可能である。すなわち、図２９に示す数式を用いて、赤外線サーモグラフィー２４を原点とする平面的な座標Ｌy、Ｌxを算出することができる。
このように、通信者４、２０４の正確な座標位置を得ることによって、図３０Ａに示すように、ＣＰＵ３６は、通信者２０４（および通信者４）の立ち位置を中心とした波紋状の模様を投影することができる。この処理は、図２６のステップＳ３１において、受信してメモリ３２に記憶した二値化相手方所定空間画像中の立ち位置に対応する場所に、波紋状の模様を重ねて書き込み、ステップＳ３２において投影することにより実現できる。これにより、通信者４、２０４の存在を強調することができる。
また、通信者４、２０４の正確な座標位置を得ることにより、ＣＰＵ３６は、通信者４の影だけをマスクするように、投影画像を黒くすることもできる（図３０Ｂ参照）。
４．描画ツール
図３１ａに、共存在空間２、２０２において描画を行うための熱源ペン４５０を示す。先端部には、ラインヒータ４５２が設けられており、後端部には、電源と接続するためのコネクタ４５４が設けられている。
図３１ｂに熱源ペンによる描画データの生成処理、図３１cに描画データを共存在空間２に描画するための処理のフローチャートを示す。ＣＰＵ３６は、このフローチャートにしたがって、描画処理を行う。
図３１ａに、共存在空間２、２０２において描画を行うための熱源ペン４５０を示す。先端部には、ラインヒータ４５２が設けられており、後端部には、電源と接続するためのコネクタ４５４が設けられている。
図３１ｂに熱源ペンによる描画データの生成処理、図３１cに描画データを共存在空間２に描画するための処理のフローチャートを示す。ＣＰＵ３６は、このフローチャートにしたがって、描画処理を行う。
図３１ｂの処理は、図２４（自己エージェント情報の生成）の、ステップＳ２４とＳ２５の間に実行される。まず、ＣＰＵ３６は、撮像した各フレームごとに、赤外線サーモグラフィー２４の画像中から、温度差に基づいて、熱源ペン４５０による画像を抽出する（ステップＳ２４１）。次に、モードの判定を行う（ステップＳ２４２）。この実施形態では、直線モードと、重ね書きモードとを設けており。何れのモードであるかは、たとえば、熱源ペン４５０に切り替えスイッチ（モード切替手段）を設けておき、このスイッチの状態を、ＣＰＵ３６が取得して判断するようにすればよい。
まず、直線モードについて説明する。ＣＰＵ３６は、熱源ペンによる画像の重心座標を算出し、ラインヒータ４５２の位置を識別する（ステップＳ２４３）。ＣＰＵ３６は、この処理を各フレームごとに行い、各フレームでのラインヒータ４５２の位置を接続した線を画像として生成する（ステップＳ２４４）。生成した線画は、描画データとしてメモリ３２に記憶しておく。
ＣＰＵ３６は、この線画を二値化所定空間データに重ねる。各画素ごとに、線画と二値化所定空間データのそれぞれの濃度値（温度値）を合計し、新たな濃度値として、合成画像を生成する（ステップＳ２４５）。これを新たな二値化所定空間画像として、図２４のステップＳ２５によって、相手方に送信する。これにより、相手方において、通信者の影とともにこの線画が投影される。
また、ＣＰＵ３６は、上記の描画データを自己のプロジェクター２２に与え、自分の側においても、線画の投影を行う。図３１ｃにそのフローチャートを示す。図３１ｃの処理は、図２６（相手方および）自己エージェントの生成）のステップＳ３１とＳ３２の間に実行される。
ＣＰＵ３６は、メモリ３２に記憶されている上記の描画データを読み出す。これを、二値化相手方所定空間画像に重ねて合成する（ステップＳ１２）。合成された画像は、図２６のステップＳ２６において、投影される。
図３２に、通信者４が熱源ペン４５０にて共存在空間２にて描画を行った場合に、これが相手方の共存在空間２０２に投影される状態を示す。図３２Ａ、図３２Ｂ、図３２Ｃの順に、線の描画が進行している。
この熱源ペン４５０を用いれば、キャンバスなどがなくとも、空間中で熱源ペン４５０を移動させることにより、描画を行うことが可能となる。また、通信者４と相手方通信者２０４とが共同して、描画を行うことが可能となる。
上記では、各フレームごとに、熱源ペン４５０の位置を特定し、これを接続することで線画を生成している（直線モード）。重ね書きモードの場合には、ステップＳ２４２から、ステップＳ２５６に進む。ＣＰＵ３６は、各フレームごとの熱源ペンによる画像をそのまま記録し、各フレームの画像を、重ね合わせて合成して描画像を生成する（ステップＳ２４６）。
たとえば、最初のフレームにおいて図３３Ａに示すような熱源ペンの軌跡画像が得られたとする。ＣＰＵ３６は、これをそのまま画像とする（図３３Ｄ参照）。次のフレームにおいて図３３Ｂに示すような熱源ペンの軌跡画像が得られたとする。ＣＰＵ３６は、図３３Ｄの画像に、図３３Ｂの画像を重ね合わせて新たな画像を生成する（図３３Ｅ参照）。ここでは、図３３Ｄの画像と、図３３Ｂの画像とが重なった部分は、濃度が濃くなるように新たな画像を生成している。さらに、次のフレームの画像（図３３Ｃ）を、図３３Ｅの画像に重ね合わせ、図３３Ｆに示す新たな画像を生成する。このような操作を繰り返して、画像を生成して描画データをメモリ３２に記憶していく。
ＣＰＵ３６は、この描画データを、二値化所定空間画像と合成する（ステップＳ２４７）。したがって、上記と同様、相手方、自分側において、描画が行われることになる。
なお、熱源ペン４５０があれば、キャンバスなどは不要であるが、相手方通信者２０４の影２０４ＳＳと共同して描画するためには、図３４に示すような掛け軸３３０のようなものを用意することが好ましい。通信者４は、相手方通信者２０４の影２０４ＳＳと共同して、掛け軸３３０上に、描画を行うことが可能である。
この際、ステップＳ２４１またはＳ２４４において、熱源ペンによって描かれた画像のうち、掛け軸３３０内に描かれた画像だけを抽出して、描画データを生成するようにしてもよい。これにより、掛け軸３３０だけを描画エリアとすることができる。
また、重ね書きモードでは、複数人が熱源ペン４５０によって描画しても、それぞれの描画を区別する必要がないので、一人対一人が共同して描画を行うだけでなく、一人対複数人、複数人対一人、複数人対複数人が共同して描画する場合の処理が容易である。
また、次のようにして、描画の機能選択するようにしてもよい。ＣＰＵ３６が、前記描画データ中に「消去」「保存」などの文字を書き込み、これを壁５、２０５や掛け軸３３０に映し出す。ＣＰＵ３６は、当該文字の領域に熱源ペン３５０が位置されたことを、赤外線サーモグラフィー２４の画像から判断し、対応する機能を実行する。
また、熱源ペン３５０に温度変更回路（ヒータへの電圧を変更する回路など）を設けておき、これによって温度を切り替えれば、描画色を変えることができる。さらに、温度変更を、時間経過とともに自動的に行うようにすれば、グラディエーションのある画像を描くことができる。
５．影以外をエージェントとして用いる実施形態
上記実施形態では、影をエージェントとして用いている。しかしながら、鏡像をエージェントとして用いてもよい。たとえば、図３５に示すように、壁をハーフミラー１５０にて構成し、通信者４の鏡像４Ａを形成する。さらに、相手方の鏡像は、ホログラム像２０４Ａとして形成する。ハーフミラー１５０の後側にホログラム像２０４Ａを形成することにより、相手方の鏡像であるかのように表現することができる。
また、人間の動作を検出して、この動作に連動するロボットをエージェントとして用いてもよい。たとえば、図３６に示すように、通信者４のエージェントであるロボット４Ｂを設ける。また、相手方のエージェントであるロボット２０４Ｂを設ける。このようにして、共存在空間を形成することができる。
上記実施形態では、影をエージェントとして用いている。しかしながら、鏡像をエージェントとして用いてもよい。たとえば、図３５に示すように、壁をハーフミラー１５０にて構成し、通信者４の鏡像４Ａを形成する。さらに、相手方の鏡像は、ホログラム像２０４Ａとして形成する。ハーフミラー１５０の後側にホログラム像２０４Ａを形成することにより、相手方の鏡像であるかのように表現することができる。
また、人間の動作を検出して、この動作に連動するロボットをエージェントとして用いてもよい。たとえば、図３６に示すように、通信者４のエージェントであるロボット４Ｂを設ける。また、相手方のエージェントであるロボット２０４Ｂを設ける。このようにして、共存在空間を形成することができる。
さらに、相手方の位置に対応する共存在空間２の位置に、相手方の音声を定位させ、これをエージェントとしてもよい。
６．まとめ
上記に示した各実施形態は、図３７のように模式的に示すことができる。それぞれの通信者４、２０４の側には、共存在空間２、２０２が形成されている。共存在空間２において、通信者４は、自己のエージェントを介して（あるいは自己のエージェントと共に）、通信者２０４のエージェントとインタラクションをすることができる。共存在空間２０２において、通信者２０４は、自己のエージェントを介して（あるいは自己のエージェントと共に）、通信者４のエージェントとインタラクションをすることができる。
７．異なるインタラクション方式
上記の各実施形態は、図３７に模式化されるような共存在空間を形成している。これに対して、図３８に模式化して示すように、通信者４と通信者２０４のエージェントがインタラクションを行い、通信者２０４と通信者４のエージェントがインタラクションを行うようにしてもよい。
このようなコミュニケーション装置の全体構成を図３９に示す。共存在空間２（所定空間）には、通信者４が入ることができる。自己エージェント情報生成手段６は、通信者４の存在を示すエージェントを、相手方の共存在空間に形成するための自己エージェント情報を生成する。この自己エージェント情報には、共存在空間２における位置を示す位置情報が含まれる。自己エージェント情報は、送信手段１２によって、相手方のコミュニケーション装置に送信される。
上記に示した各実施形態は、図３７のように模式的に示すことができる。それぞれの通信者４、２０４の側には、共存在空間２、２０２が形成されている。共存在空間２において、通信者４は、自己のエージェントを介して（あるいは自己のエージェントと共に）、通信者２０４のエージェントとインタラクションをすることができる。共存在空間２０２において、通信者２０４は、自己のエージェントを介して（あるいは自己のエージェントと共に）、通信者４のエージェントとインタラクションをすることができる。
７．異なるインタラクション方式
上記の各実施形態は、図３７に模式化されるような共存在空間を形成している。これに対して、図３８に模式化して示すように、通信者４と通信者２０４のエージェントがインタラクションを行い、通信者２０４と通信者４のエージェントがインタラクションを行うようにしてもよい。
このようなコミュニケーション装置の全体構成を図３９に示す。共存在空間２（所定空間）には、通信者４が入ることができる。自己エージェント情報生成手段６は、通信者４の存在を示すエージェントを、相手方の共存在空間に形成するための自己エージェント情報を生成する。この自己エージェント情報には、共存在空間２における位置を示す位置情報が含まれる。自己エージェント情報は、送信手段１２によって、相手方のコミュニケーション装置に送信される。
受信手段１４は、相手方のコミュニケーション装置から送られてきた相手方エージェント情報を受信する。相手方エージェント情報は、上述の自己エージェント情報と同じようにして生成されたものである。したがって、相手方エージェント情報には、相手方通信者の存在を示す情報であって、相手方の共存在空間内における位置を示す位置情報を含む情報が含まれる。
相手方エージェント実現手段１６は、この相手方エージェント情報を受けて、位置情報に基づいて、共存在空間２の対応する位置に、相手方エージェント２０を形成する。したがって、相手方通信者の位置に対応する位置に相手方エージェントが形成される。
通信者および相手方通信者の局所的な動きにあわせて、自己エージェントおよび相手方エージェントが局所的な動きをするとともに、通信者および相手方通信者全体の動きにあわせて、自己エージェントおよび相手方エージェントが、共存在空間２の中を移動する。したがって、相手方エージェントを介して、相手方通信者と共存在空間２を共有することができる。
このようなコミュニケーション装置は、たとえば、エージェントとして、ホログラム、ロボットなどを用いることによって実現することができる。
８．コンピュータとのコミュニケーション装置
上記の各実施形態では、人間と人間との間のコミュニケーション装置について説明した。しかし、コンピュータによって影を生成して共存在空間に表示すれば、人間とコンピュータとのコミュニケーション、つまりインターフェイス装置としても用いることができる。
図４０に、このようなインターフェイス装置８５０を示す。床３、壁５が設けられ、所定空間２が形成されている。体験者７は、床３の上を移動可能である。壁５の左右上部には、スピーカ３１Ｌ、３１Ｒが設けられている。また、床３、壁５に対して投影を行う、プロジェクター２２が設けられている。このプロジェクター２２から投影する画像データは、コンピュータ２６から供給される。
上記の各実施形態では、人間と人間との間のコミュニケーション装置について説明した。しかし、コンピュータによって影を生成して共存在空間に表示すれば、人間とコンピュータとのコミュニケーション、つまりインターフェイス装置としても用いることができる。
図４０に、このようなインターフェイス装置８５０を示す。床３、壁５が設けられ、所定空間２が形成されている。体験者７は、床３の上を移動可能である。壁５の左右上部には、スピーカ３１Ｌ、３１Ｒが設けられている。また、床３、壁５に対して投影を行う、プロジェクター２２が設けられている。このプロジェクター２２から投影する画像データは、コンピュータ２６から供給される。
図４１に、コンピュータ２６のハードウエア構成を示す。メモリ３２、ハードディスク３８、ＣＤ−ＲＯＭドライブ４４、プロジェクター２２、赤外線サーモグラフィー２４、音声回路３９が、ＣＰＵ３６に接続されている。音声回路３９は、ＣＰＵ３６からの指令に基づき、音声コンテンツ４５をアナログデータに変換してスピーカ３１Ｌ、３１Ｒに与える。
ハードディスク３８には、ＷＩＮＤＯＷＳ（商標）などのオペレーティングシステム４０、制御プログラム（通信プログラム）４２が記録されている。さらに、プロジェクター２２から投射するための画像コンテンツ４３、スピーカ３１Ｌ、３１Ｒから出力するための音声コンテンツ４５、影画像データ４７が記録されている。なお、画像コンテンツ４３は、たとえば、広告用の短い動画とすることができ、壁５と床３の全体に投影される。先の実施形態と同じように、赤外線サーモグラフィー２４の撮像範囲と、プロジェクター２２の投影範囲とが同じになるように設定されている。
図４２に、ハードディスク３８に記録されている制御プログラム４２のフローチャートを示す。まず、ＣＰＵ３６は、赤外線サーモグラフィー２４から、温度分布データを取り込む（ステップＳ９１）。次に、ＣＰＵ３６は、この温度分布データを所定の温度をしきい値として、所定温度以上の画素を画像化（黒）するように２値化する（ステップＳ９２）。続いて、この２値化した人体画像の重心座標（所定空間における座標位置）を算出する（ステップＳ９３）。
ＣＰＵ３６は、ハードディスク３８から、画像コンテンツ４３および音声コンテンツ４５を読み出す（ステップＳ９４）。次に、ＣＰＵ３６は、影画像データ４７を読み出す（ステップＳ９５）。この影画像データ４７は、画像コンテンツ４３および音声コンテンツ（音楽を含んでもよい）４５の進行にあわせて、影の動きが変化するようなデータとなっている。また、ハードディスク３８には、この影画像データ４７の重心位置（影画像としての中心位置）が記録されているので、これもあわせて読み出す。
次に、ＣＰＵ３６は、ステップＳ９３で算出した重心座標から、左側に所定位置離れた位置を影画像配置座標として算出する。次に、画像コンテンツ４３中の影画像配置座標に、影画像データ４７の重心位置が来るように合成する（ステップＳ９６）。ＣＰＵ３６は、このようにして影画像データを合成した画像コンテンツ４３を、プロジェクター２２から投影する（ステップＳ９７）。さらに、影画像配置座標の位置に、音像が形成されるように、スピーカ３１Ｌとスピーカ３１Ｒに与える音声コンテンツ４５の大きさを調整する（ステップＳ９８）。その後、音声コンテンツ４３を、スピーカ３１Ｌ、３１Ｒに与える。
以上の一連の処理が終了すると、ステップＳ９１以下を繰り返して実行する。
このようにして、図４０に示すように、コンピュータにより生成された影９ＳＳが、体験者７との間合いをとりつつ、背景として映し出されている画像コンテンツ４３や音声コンテンツ４５にあわせて動く装置を実現できる。なお、影９ＳＳの形成位置と音像の位置とを合致させることにより、体験者７と影９ＳＳによって表されるコンピュータ的存在との間合いを感じさせることができる。影９ＳＳの形成位置と音像の位置とを合致させる手法は、先に示した各実施形態においても適用可能である。
また、先に示した各実施形態における立ち位置検出、熱源ペンによる描画などの各手法を、本実施形態に適用することもできる。
なお、画像コンテンツ４３に予め影データを合成しておき、ハードディスク３８に記憶しておけば、これを読み出して投影するだけ、擬似的に上記に近い装置を得ることができる。この場合には、赤外線サーモグラフィー２４は、不要となる。
この実施形態においても、複数人の体験者に対するインターフェイス装置とする事が可能である。
８．その他
上記の各実施形態では、床３を表示面として用いている。しかしながら、大地を表示面として用いるようにしてもよい。
また、上記各実施形態では、壁５は床３に垂直に設けている。しかし、４５度、３０度など所定の角度を持って設けるようにしてもよい。また、床３だけを設け、これに投影するようにしてもよい。さらに、壁５だけを設け、これに投影するようにしてもよい。
上記の各実施形態では、床３を表示面として用いている。しかしながら、大地を表示面として用いるようにしてもよい。
また、上記各実施形態では、壁５は床３に垂直に設けている。しかし、４５度、３０度など所定の角度を持って設けるようにしてもよい。また、床３だけを設け、これに投影するようにしてもよい。さらに、壁５だけを設け、これに投影するようにしてもよい。
この発明に係るコミュニケーション装置は、１対１のコミュニケーションだけでなく、１対多（放送など）、多対多（遠隔会議など）に用いることができる。
また、共存在空間を実現できるという特性を生かして、火災時の誘導、道案内などや、テーマパークのアトラクションなどにも用いることができる。
また、背景画像を相手側に送り、相手側がこの背景画像を影とともに表示するようにしてもよい。この場合に、通信者の頭などにカメラを設けておき、当該カメラによって撮像した画像を背景画像として相手方に送信することができる。このようにすれば、通信者の頭の動きに応じて、相手方に映し出される背景画像を変えることができる。
上記各実施形態では、互いに同一の共存在空間を持っている場合を示した。しかし、一方の共存在空間が他方の共存在空間の等倍、等縮になっている場合や、縦横高さのいずれかが等倍、等縮になっている場合や、非線形のひずんだ関係にて対応付けられているような場合でも、本発明を適用することができる。すなわち、それぞれの共存在空間は、何らかの幾何学的関係によって、各点が一対一に対応付けられていればよい。
なお、上記各実施形態における変形例は、互いに他の実施形態においても適用可能である。
４・・・通信者
６・・・自己エージェント情報生成手段
８・・・自己エージェント実現手段
１０・・・自己エージェント
１２・・・送信手段
１４・・・受信手段
１６・・・相手方エージェント実現手段
２０・・・相手方エージェント
６・・・自己エージェント情報生成手段
８・・・自己エージェント実現手段
１０・・・自己エージェント
１２・・・送信手段
１４・・・受信手段
１６・・・相手方エージェント実現手段
２０・・・相手方エージェント
Claims (57)
- 所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報を生成する自己エージェント情報生成手段と、
自己エージェント情報を送信する送信手段と、
所定空間に対応する相手方所定空間における相手方通信者の相手方エージェント情報を受信する受信手段と、
相手方エージェント情報に基づいて、所定空間内に、相手方通信者の存在を示すエージェントを実現する相手方エージェント実現手段とを備え、
通信者と相手方通信者のエージェントが共存する所定空間を形成したコミュニケーション装置。 - 請求項１のコミュニケーション装置であって、
自己エージェント情報生成手段は、前記所定空間内における通信者の位置データを含むエージェント情報を生成し、
受信手段によって受信される相手方エージェント情報には、相手方所定空間内における相手方通信者の位置データが含まれており、
相手方エージェント実現手段は、相手方エージェント情報に含まれる相手方通信者の位置データに基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現することを特徴とするもの。 - 請求項１のコミュニケーション装置であって、
前記所定空間と相手方所定空間は、空間内の各点が互いに所定の幾何学的関係を持って一対一に対応付けられるように形成され、
自己エージェント情報生成手段は、通信者を含めた前記所定空間の画像をエージェント情報として生成し、
受信手段によって受信される 相手方エージェント情報は、相手方通信者を含めた相手方所定空間の画像であり、
相手方エージェント実現手段は、相手方エージェント情報である画像を、前記所定空間に表示することにより、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現することを特徴とするもの。 - 請求項１〜３のいずれかのコミュニケーション装置において、さらに、
通信者の存在を示すエージェントを、通信者の位置に対応する所定空間内の位置に実現する自己エージェント実現手段を備えたことを特徴とするもの。 - 請求項１〜４のいずれかのコミュニケーション装置において、
前記エージェントは影であり、
前記エージェント情報は影に関する影情報であり、
前記所定空間は、少なくともその空間を定義する一面に前記影を投影するための表示面を有していることを特徴とするもの。 - 請求項５のコミュニケーション装置において、
前記所定空間の底面には、通信者を支えるための床が設けられており、
前記表示面は、前記床に垂直な壁面を含むことを特徴とするもの。 - 請求項１〜６のいずれかのコミュニケーション装置において、
前記自己エージェント情報生成手段は、通信者を撮像するための撮像装置を備えており、
通信者の影情報は、撮像装置によって撮像した通信者の撮像データに基づいて生成した、通信者の形状を表す形状データを含むことを特徴とするもの。 - 請求項７のコミュニケーション装置において、
前記撮像装置は、ビデオカメラであることを特徴とするもの。 - 請求項８のコミュニケーション装置において、
前記撮像装置は、赤外線熱画像装置であることを特徴とするもの。 - 請求項１〜６のいずれかのコミュニケーション装置において、
前記自己エージェント情報生成手段は、通信者の影を前記床または壁またはその双方に生成するための光源と、前記床または壁またはその双方に設けた光センサとを備えており、
通信者の影情報は、前記床または壁またはその双方に投影された通信者の影を前記光センサによって検出したデータに基づいて生成した、通信者の形状を表す形状データを含むことを特徴とするもの。 - 請求項７〜１０のいずれかのコミュニケーション装置において、
前記影情報は、所定空間全体に関するデータを含んでおり、前記形状データが、所定空間のどの位置に配置されているかによって、通信者の位置情報を表すことを特徴とするもの。 - 請求項７〜１０のコミュニケーション装置において、
前記影情報は、前記形状データに加えて、通信者の所定空間における位置を示す位置データを有していることを特徴とするもの。 - 請求項１２のコミュニケーション装置において、
前記自己エージェント情報生成手段は、前記床面に通信者の位置を検出する位置センサを備えており、
前記位置データは、当該位置センサの検出データに基づいて生成されることを特徴とするもの。 - 請求項１２のコミュニケーション装置において、
前記自己エージェント情報生成手段は、通信者の体に装着された熱源を撮像した画像に基づいて通信者の位置を検出する位置検出手段を備えており、
前記位置データは、当該位置検出手段の出力に基づいて生成されることを特徴とするもの。 - 請求項５〜１４のいずれかのコミュニケーション装置において、
前記相手方エージェント実現手段は、光学投影器を備えており、相手方影情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、画像としての影を表示することを特徴とするもの。 - 請求項１５のコミュニケーション装置において、
前記光学投影器は、前記自己エージェント情報生成手段の光源として共用されることを特徴とするもの。 - 請求項１５または１６のコミュニケーション装置において、
前記所定空間の底面には、通信者を支えるための床が設けられており、
前記床に対する壁面を表示面として、相手方通信者の影を表示することを特徴とするもの。 - 請求項１７のコミュニケーション装置において、
前記床面も、相手方通信者の影を表示するための表示面として用いることを特徴とするもの。 - 請求項５〜１４のいずれかのコミュニケーション装置において、
前記相手方エージェント実現手段は、前記所定空間に設けた表示画面装置を備えており、相手方影情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、画像としての影を表示することを特徴とするもの。 - 請求項１９のコミュニケーション装置において、
前記所定空間の底面には、通信者を支えるための床が設けられており、
前記床に対する壁面に前記表示装置を設け、相手方通信者の影を表示することを特徴とするもの。 - 請求項２０のコミュニケーション装置において、
前記床面にも、相手方通信者の影を表示するための表示装置を設けることを特徴とするもの。 - 請求項５〜２１のいずれかのコミュニケーション装置において、
前記相手方エージェント実現手段は、所定空間と相手方所定空間とを同一空間とみなした場合の、通信者と相手方通信者との相対距離に応じて、相手方通信者の影の濃度を変化させることを特徴とするもの。 - 請求項５〜２１のいずれかのコミュニケーション装置において、
前記相手方エージェント実現手段は、所定空間と相手方所定空間とを同一空間とみなした場合の、通信者と相手方通信者との相対距離に応じて、相手方通信者の影の大きさを変化させることを特徴とするもの。 - 請求項１〜２３のいずれかのコミュニケーション装置において、
前記エージェントは影であって、前記エージェント情報は影に関する影情報であり、
前記所定空間の底面には、通信者を支えるための床が設けられており、床面および壁面を、通信者の影および相手方通信者の影を表示するための表示面とし、
前記床面を、仮想境界線によって、壁面に近い第一の領域と、壁面から遠い第二の領域に分け、
前記相手方エージェント実現手段は、相手方通信者が通信者と同一の領域にいる場合には、相手方通信者の影を、床面および壁面の双方に表示し、相手方通信者が通信者と異なる領域にいる場合には、相手方通信者の影を、壁面のみに表示することを特徴とするもの。 - 請求項２４のコミュニケーション装置において、
前記相手方エージェント実現手段は、相手方通信者が通信者と異なる領域にいる場合には、相手方通信者の影を、床面に表示せずに壁面に表示し、相手方通信者の仮想境界線からの距離が大きくなるほど、相手方通信者の影を小さく表示するようにしたことを特徴とするもの。 - 請求項２５のコミュニケーション装置において、
前記相手方エージェント実現手段は、相手方通信者の仮想境界線からの距離が大きくなるほど、相手方通信者の影の足位置を、壁面の上方に動かして表示するようにしたことを特徴とするもの。 - 請求項２４〜２６のいずれかのコミュニケーション装置において、
相手方通信者が通信者と同じく第一の領域にいる状態から、相手方通信者のみが第二の領域に移動した場合、前記相手方エージェント実現手段は、相手方通信者が前記仮想境界線をまたいだ際に、相手方通信者の影を一時的に表示しないことを特徴とするもの。 - 請求項２７のコミュニケーション装置において、
前記相手方エージェント実現手段および自己エージェント実現手段は、相手方通信者が通信者と同じく第一の領域にいる状態から、相手方通信者のみが第二の領域に移動した場合、相手方通信者が前記仮想境界線をまたいだ際に、暗転状態を形成することを特徴とするもの。 - 請求項５〜２８のいずれかのコミュニケーション装置において、
前記相手方エージェント実現手段は、相手方通信者の影の背景も表示することを特徴とするもの。 - 請求項５〜２９のいずれかのコミュニケーション装置において、
前記自己エージェント情報生成手段は、影情報に加えて、通信者のホログラム情報を生成し、
当該ホログラム情報は、送信手段によって送信され、
受信手段は、相手方通信者のホログラム情報を受信し、
相手方通信者の位置に対応する所定空間の位置に、ホログラム情報に基づいて相手方通信者のホログラム像を形成することを特徴とするもの。 - 請求項１〜３０のいずれかのコミュニケーション装置において、
通信者が所定空間の端部に移動した場合には、通信者が所定空間の中央部に位置することとなるように、処理対象とする所定空間を変更する手段を備えていることを特徴とするもの。 - 請求項１５〜３０のいずれかのコミュニケーション装置において、
熱源ペンと、
赤外線熱画像装置によって取得した熱源ペンの軌跡に基づいて線画を生成し光学投影機に与えるとともに相手方コミュニケーション装置に送信する描画手段と、
をさらに備えることを特徴とするもの。 - 通信を行う際に通信者が入る所定空間を定義する床面および壁面と、
床面に設けられ、通信者の位置を検出するための位置検出センサと、
所定空間における通信者の温度分布画像を生成する赤外線熱画像装置と、
取得した温度分布画像に基づいて二値化形状データを生成する形状データ生成手段と、
位置検出センサの出力に基づいて、通信者の位置データを生成する位置データ生成手段と、
前記二値化形状データおよび位置データを送信する送信手段と、
前記所定空間に対応する相手方所定空間における相手方通信者の形状を示す二値化形状データと位置を示す位置データとを受信する受信手段と、
受信した相手方通信者の二値化形状データと位置データに基づいて、相手方通信者の影画像を生成する影画像生成手段と、
相手方通信者の影画像を含む光を、前記床面および壁面に向けて照射し、相手方通信者の影画像および通信者の影を前記所定空間に生成する光学投影器と、
を備えたコミュニケーション装置。 - 請求項３３のコミュニケーション装置において、さらに、
赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させる移動手段と、
通信者の位置が、所定空間の端部から所定の距離より小さい距離にある場合には、前記移動手段によって、赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させ、通信者の位置が所定空間の中央部にくるように調整する調整手段と、
を備えたことを特徴とするもの。 - 通信を行う際に通信者が入る所定空間を定義する床面および壁面と、
通信者を含む所定空間の温度分布画像を生成する赤外線熱画像装置と、
取得した温度分布画像に基づいて二値化所定空間データを生成する所定空間データ生成手段と、
前記二値化所定空間データを送信する送信手段と、
前記所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の二値化相手方所定空間データを受信する受信手段と、
受信した二値化相手方所定空間データに基づいて、相手方通信者の影画像を含む光を、前記床面および壁面に向けて照射し、相手方通信者の影画像および通信者の影を前記所定空間に生成する光学投影器と、
を備え
前記所定空間と相手方所定空間とは、空間内の各点が互いに所定の幾何学的関係を持って一対一に対応付けられるように形成されているコミュニケーション装置。 - 請求項３５のコミュニケーション装置において、さらに、
所定空間内における通信者の位置を示す位置データを生成する位置データ生成手段と、
赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させる移動手段と、
通信者の位置が、所定空間の端部から所定の距離より小さい距離にある場合には、前記移動手段によって、赤外線熱画像装置による撮像位置および光学投影機による投影位置を移動させ、通信者の位置が所定空間の中央部にくるように調整する調整手段と、
を備えたことを特徴とするもの。 - 請求項１〜４のいずれかのコミュニケーション装置において、
前記エージェントは、鏡像であり、
前記エージェント情報は鏡像に関する鏡像情報であることを特徴とするもの。 - 請求項３７のコミュニケーション装置において、
通信者の存在を示すエージェントを、通信者の位置に対応する所定空間内の位置に実現する自己エージェント実現手段は、前記所定空間に設けられたハーフミラーであることを特徴とするもの。 - 請求項３８のコミュニケーション装置において、
前記相手方エージェント実現手段は、ハーフミラーを隔てて、通信者の反対側に相手方通信者のホログラム像を形成するものであること。 - 請求項１〜４のいずれかのコミュニケーション装置において、
前記エージェントは、人間の動作と連動したロボットであり、
前記エージェント情報は前記ロボットの駆動情報であることを特徴とするもの。 - 請求項４０のコミュニケーション装置において、
所定空間内において、通信者は、自己のエージェントであるロボットとともに、相手方エージェントであるロボットとインタラクションすることを特徴とするもの。 - 請求項４０のコミュニケーション装置において、
所定空間内において、通信者は、通信者自らが、相手方エージェントであるロボットとインタラクションすることを特徴とするもの。 - 請求項１〜４のいずれかのコミュニケーション装置において、
前記エージェントは、人間を表すホログラム像であり、
前記エージェント情報はホログラム像情報であることを特徴とするもの。 - 請求項４３のコミュニケーション装置において、
所定空間内において、通信者は、自己のエージェントであるホログラム像とともに、相手方エージェントであるホログラム像とインタラクションすることを特徴とするもの。 - 請求項４３のコミュニケーション装置において、
所定空間内において、通信者は、通信者自らが、相手方エージェントであるホログラム像とインタラクションすることを特徴とするもの。 - 請求項１〜４のいずれかのコミュニケーション装置において、
前記エージェントは、音であり、
前記エージェント情報は音情報であることを特徴とするもの。 - 請求項４６のコミュニケーション装置において、
前記相手方エージェント実現手段は、相手方通信者の位置データに基づいて、音情報に基づく音を、所定空間内の位置に音像として形成することを特徴とするもの。 - コンピュータを、通信者と相手方通信者のエージェントが共存する所定空間を形成するコミュニケーション装置として動作させるための通信プログラムであって、
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報であって、所定空間における通信者の位置データを含むエージェント情報を生成し、
自己エージェント情報を送信し、
所定空間に対応する相手方所定空間における相手方通信者の位置データを含む相手方エージェント情報を受信し、
相手方エージェント情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現する処理を、コンピュータに行わせるためのコミュニケーションプログラム。 - コンピュータを、通信者と相手方通信者のエージェントが共存する所定空間を形成するコミュニケーション装置として動作させるための通信プログラムであって、
所定空間における通信者の存在を、相手方通信者の相手方所定空間に伝えるためのエージェントを実現するためのエージェント情報であって、通信者を含む所定空間の画像を含むエージェント情報を生成し、
自己エージェント情報を送信し、
所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の画像を含む相手方エージェント情報を受信し、
相手方エージェント情報に基づいて、相手方通信者の位置に対応する所定空間内の位置に、相手方通信者の存在を示すエージェントを実現する処理を、コンピュータに行わせるためのコミュニケーションプログラム。 - コンピュータをコミュニケーション装置として動作させるためのプログラムであって、
床面および壁面によって定義される所定空間にいる通信者の温度分布画像を受けて、二値化形状データを生成し、
床面に設けられた位置検出センサからの出力に基づいて、通信者の位置データを生成し、
前記二値化形状データおよび位置データを送信し、
前記所定空間に対応する相手方所定空間における相手方通信者の形状を示す二値化形状データと位置を示す位置データとを受信し、
相手方通信者の影画像を含む光を前記床面および壁面に向けて照射して相手方通信者の影画像および通信者の影を前記所定空間に生成するために、受信した相手方通信者の二値化形状データと位置データに基づいて、相手方通信者の影画像を生成する処理をコンピュータに行わせるためのコミュニケーションプログラム。 - コンピュータをコミュニケーション装置として動作させるためのプログラムであって、
床面および壁面によって定義される所定空間にいる通信者を含む所定空間の温度分布画像を受けて、二値化所定空間データを生成し、
前記二値化所定空間データを送信し、
前記所定空間に対応する相手方所定空間における相手方通信者を含む相手方所定空間の二値化相手方所定空間データを受信し、
相手方通信者の影画像を含む光を前記床面および壁面に向けて照射して相手方通信者の影画像および通信者の影を前記所定空間に生成するために、受信した相手方所定空間データに基づいて、相手方通信者の影画像を生成する処理をコンピュータに行わせるためのコミュニケーションプログラム。 - 位置検出センサを有するとともに、影を表示もしくは投影するための床と、
床に垂直に設けられ、影を表示もしくは投影するための壁と、
前記壁と床に対して相手方通信者の影画像を表示するとともに、床の上にいる通信者の影を前記壁と床に投影する光学投影器と、
を備えた共存在空間装置。 - 請求項５２の共存在空間装置において、さらに、
前記光学投影器と同じ位置に、床の上にいる通信者の形状を取得するための赤外線熱画像装置を備えたことを特徴とするもの。 - それぞれの通信者の側に同質の所定空間を定義し、
前記所定空間における通信者の存在をエージェントとして生成し、
当該エージェントを他の通信者の所定空間内において、当該エージェントに対応する通信者の所定空間での位置に対応する位置に形成し、
各通信者は、前記所定空間において他人のエージェントとインタラクションできるようにしたコミュニケーション方法。 - 請求項５４のコミュニケーション方法において、
前記所定空間内に、他人のエージェントだけでなく、自己エージェントも生成するようにしたことを特徴とするもの。 - 体験者が入る所定空間を定義する床面または壁面またはその双方と、
体験者を含む所定空間の温度分布画像を生成する赤外線熱画像装置と、
画像コンテンツ、および、画像コンテンツの進行に応じて姿態が変化する影画像データを、進行する各画像コンテンツに対応づけて記録する記録部と、
温度分布画像に基づいて、体験者の所定空間における位置を算出する体験者位置算出手段と、
画像コンテンツよび対応する影画像データを記録部から読み出す読出手段と、
算出した体験者位置に基づいて、画像コンテンツに影画像データを合成する合成手段と、
合成した画像を投影する光学投影器と、
を備えた人間と機械とのコミュニケーション装置。 - 床面または壁面またはその双方におｙって定義される所定空間にいる体験者と機械とのコミュニケーション装置をコンピュータによって実現するためのプログラムであって、
体験者を含む所定空間の温度分布画像を生成する赤外線熱画像装置からの画像を取り込み、
温度分布画像に基づいて、体験者の所定空間における位置を算出し、
画像コンテンツ、および、画像コンテンツの進行に応じて姿態が変化する影画像データを、進行する各画像コンテンツに対応づけて記録する記録部から画像コンテンツよび対応する影画像データを記録部から読み出し、
算出した体験者位置に基づいて、画像コンテンツに影画像データを合成し、
合成した画像を光学投影器に対して出力する処理をコンピュータに行わせるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003423644A JP3790760B2 (ja) | 2003-03-11 | 2003-12-19 | 共存在空間コミュニケーションシステム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003065515 | 2003-03-11 | ||
| JP2003423644A JP3790760B2 (ja) | 2003-03-11 | 2003-12-19 | 共存在空間コミュニケーションシステム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006039419A Division JP4557227B2 (ja) | 2003-03-11 | 2006-02-16 | 共存在空間コミュニケーションシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297766A true JP2004297766A (ja) | 2004-10-21 |
| JP3790760B2 JP3790760B2 (ja) | 2006-06-28 |
Family
ID=33421551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003423644A Expired - Fee Related JP3790760B2 (ja) | 2003-03-11 | 2003-12-19 | 共存在空間コミュニケーションシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3790760B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010183444A (ja) * | 2009-02-06 | 2010-08-19 | Fuji Xerox Co Ltd | 情報処理装置及び音声補正プログラム |
| JP2010206362A (ja) * | 2009-03-02 | 2010-09-16 | Sharp Corp | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
| JP2017058628A (ja) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
| JP2017058624A (ja) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
| JP2017058625A (ja) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
-
2003
- 2003-12-19 JP JP2003423644A patent/JP3790760B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010183444A (ja) * | 2009-02-06 | 2010-08-19 | Fuji Xerox Co Ltd | 情報処理装置及び音声補正プログラム |
| JP2010206362A (ja) * | 2009-03-02 | 2010-09-16 | Sharp Corp | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
| JP2017058628A (ja) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
| JP2017058624A (ja) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
| JP2017058625A (ja) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3790760B2 (ja) | 2006-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11635868B2 (en) | Managing virtual content displayed to a user based on mapped user location | |
| Orts-Escolano et al. | Holoportation: Virtual 3d teleportation in real-time | |
| TWI282435B (en) | Motion sensor using dual camera inputs | |
| KR102581453B1 (ko) | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 | |
| US6181343B1 (en) | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs | |
| US6195104B1 (en) | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs | |
| JP5256269B2 (ja) | データ生成装置、データ生成装置の制御方法、及びプログラム | |
| US20110007073A1 (en) | Method and apparatus for modifying a digital image | |
| US11367260B2 (en) | Video synthesis device, video synthesis method and recording medium | |
| US11625858B2 (en) | Video synthesis device, video synthesis method and recording medium | |
| JP2007072194A (ja) | 人型映像制御装置 | |
| JP5842371B2 (ja) | ビデオゲーム装置およびビデオゲーム制御方法 | |
| JP2004297766A (ja) | 共存在空間コミュニケーションシステム | |
| Mulder et al. | A modular system for collaborative desktop vr/ar with a shared workspace | |
| JP2002032788A (ja) | 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体 | |
| JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
| JP4557227B2 (ja) | 共存在空間コミュニケーションシステム | |
| KR20120069008A (ko) | 실감형 3차원 게임 시스템 | |
| WO2021200494A1 (ja) | 仮想空間における視点変更方法 | |
| JP2022043909A (ja) | コンテンツ提示装置、及びプログラム | |
| WO2023026519A1 (ja) | 情報処理装置、情報処理端末、情報処理方法、および記憶媒体 | |
| JP7403256B2 (ja) | 映像提示装置およびプログラム | |
| JP2020087428A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
| Ikeda et al. | Immersive telepresence system using high-resolution omnidirectional movies and a locomotion interface | |
| JP2021048644A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060403 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |