JP2018195926A - コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラムおよびコミュニケーションシステム - Google Patents

Abstract

【課題】互いのプライバシーに配慮した円滑なコミュニケーションを構築することを課題とする。【解決手段】コミュニケーション装置は、撮影された映像を用いて相手先との間でコミュニケーション処理を実行する環境に応じて、映像の送信形態を規定する第１のモードと第２のモードと第３のモードのいずれかに切り替える。コミュニケーション装置は、第１のモードに切替えられた場合に、撮影された映像自体を相手先に送信し、第２のモードに切替えられた場合に、撮影された映像を加工して相手先に送信し、第３のモードに切替えられた場合に、撮影された映像を所定画像に置き換えて相手先に送信する。【選択図】図３

Description

本発明は、コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラムおよびコミュニケーションシステムに関する。

近年、コミュニケーション手段として、音声のみの電話に限らず、映像と音声を用いたテレビ電話などが利用されている。また、ネットワーク環境の整備拡大に伴って、テレビ電話の普及が広まっているが、テレビ電話の場合は映像が通話先にも送信されるので、意図しない映像が通話先に送信されることもあり、テレビ電話の際のプライバシー保護が注目されている。例えば、テレビ電話中に、ユーザによって指定された領域のデータを、静止画像の固定データに置き換えて、通話先に送信する技術が知られている。

特開２０１２−２２７６２４号公報

しかしながら、上記技術では、相手の都合を考慮せずにテレビ電話が行われることがあり、互いのプライバシーに配慮した円滑なコミュニケーションを構築することは難しい。

一般的にテレビ電話などを行う場合、発信元は、相手の環境や状況がわからないので、自分の都合でテレビ電話を発信し、発信先は、運転中や入浴中など応答できない状況を除き、テレビ電話に応答する。発信先は、どのくらいの通話時間で終了する要件なのかを判断できないので、来客中など早めに通話を終了したい状況であっても、わざわざ電話をかけてきてくれたことを考慮してテレビ電話に応答する。

このようなテレビ電話中に一部、例えば背景を静止画像に変更したとしても、通話者同士はお互いの顔などの映像を見ながら通話するので、互いのプライバシーを保護することは難しい。あるいは通話者の画像をキャラクタ画像に置き換えた場合、互いのプライバシーを保護することができるかもしれないが、お互いの顔などの映像をみながら通話ができないので円滑なコミュニケーションがとりにくいことがある。また、テレビ電話を早めに終了するか否かは、発信元に依存することもあり、円滑なコミュニケーションとも言い難い。

一つの側面では、互いのプライバシーに配慮した円滑なコミュニケーションを構築することができるコミュニケーション装置、コミュニケーション方法、コミュニケーションプログラムおよびコミュニケーションシステムを提供することを目的とする。

第１の案では、コミュニケーション装置は、撮影された映像を用いて相手先との間でコミュニケーション処理を実行する環境に応じて、前記映像の送信形態を規定する第１のモードと第２のモードと第３のモードのいずれかに切り替える切替部を有する。コミュニケーション装置は、前記第１のモードに切替えられた場合に、撮影された映像自体を前記相手先に送信し、前記第２のモードに切替えられた場合に、撮影された映像を加工して前記相手先に送信し、前記第３のモードに切替えられた場合に、撮影された映像を所定画像に置き換えて前記相手先に送信する送信制御部を有する。

一実施形態によれば、互いのプライバシーに配慮した円滑なコミュニケーションを構築することができる。

図１は、実施例１にかかるシステムの全体構成例を説明する図である。 図２は、プロジェクタによる投影面を説明する図である。 図３は、実施例１にかかるコミュニケーション装置の機能構成を示す機能ブロック図である。 図４は、設定情報ＤＢに記憶される情報の例を示す図である。 図５は、通話先ＤＢに記憶される情報の例を示す図である。 図６は、フィルタＤＢに記憶される情報の例を示す図である。 図７は、各通話モードを説明する図である。 図８は、気配モードの光表示例を説明する図である。 図９は、受信時の画面遷移例を説明する図である。 図１０は、モード設定処理の流れを示すフローチャートである。 図１１は、受信処理の流れを示すフローチャートである。 図１２は、気配を伝える例の一覧を説明する図である。 図１３は、実施例２にかかるコミュニケーション装置の一例を説明する図である。 図１４は、実施例２にかかるコミュニケーション装置の設置例を説明する図である。 図１５は、ハードウェア構成例を示す図である。

以下に、本願の開示するコミュニケーション装置、コミュニケーション方法、コミュニケーションプログラムおよびコミュニケーションシステムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は矛盾のない範囲内で適宜組み合わせることができる。

［全体構成］
図１は、実施例１にかかるシステムの全体構成例を説明する図である。図１には、相手先装置との間でテレビ電話やビデオフォンなどを実行するコミュニケーションシステムが有する装置の構成を示す。また、本実施例では、コミュニケーション装置の一例としてテレビ電話を例にして説明するが、これに限定されるものではなく、映像や画像だけを用いた通話などにも適用することができる。なお、相手先もコミュニケーションシステムを有するが、同じ構成なので、詳細な説明は省略する。

図１に示すコミュニケーションシステムは、モーションセンサデバイス１０、カメラ１１、マイク１２、プロジェクタ１３、タッチセンサ１４、コミュニケーション装置２０を有する。なお、モーションセンサデバイス１０、カメラ１１、マイク１２、プロジェクタ１３、タッチセンサ１４のそれぞれと、コミュニケーション装置２０とは、有線や無線などを利用して通信可能に接続される。

モーションセンサデバイス１０は、通話者の上方から通話者全体がセンシング可能な領域に収まるように壁５に取り付けられる。このモーションセンサデバイス１０は、通話者のジェスチャーや音声を認識して、入力などの各種操作を実行する。また、モーションセンサデバイス１０は、認識結果や実行した操作内容をコミュニケーション装置２０に送信する。

カメラ１１は、マイク１２を有し、通話者の上半身が撮影領域に収まるように壁５に取り付けられる。このカメラ１１は、撮影領域に収まる、音声を含む映像（以下では単に映像と記載する場合がある）を常時撮影して、コミュニケーション装置２０に送信する。

プロジェクタ１３は、コミュニケーション装置２０から入力された相手先の映像を壁５に投影するとともに、映像に含まれる相手先の音声を出力する。図２は、プロジェクタ１３による投影面を説明する図である。図２に示すように、プロジェクタ１３は、通話者の顔の高さとなる壁５の位置を投影面Ｐとして投影する。なお、投影面Ｐの位置は、モーションセンサデバイス１０が通話者の顔の位置をセンシングすることで、動的に上下に変更することができる。また、音声は、プロジェクタ１３ではなく図示しないスピーカ等から出力することもできる。

タッチセンサ１４は、プロジェクタ１３付近に設置される。このタッチセンサ１４は、プロジェクタ１３の投影面Ｐ全体がセンシング可能な位置に設置され、通話者が投影面Ｐにおける所定領域をタッチ操作したことを検出して、コミュニケーション装置２０に送信する。

コミュニケーション装置２０は、サーバやパーソナルコンピュータなどのコンピュータ装置の一例であり、モーションセンサデバイス１０、カメラ１１、マイク１２、タッチセンサ１４から各種情報を常時取得する。また、コミュニケーション装置２０は、相手先の装置（以下では単に相手先または通話先と記載する場合がある）から受信した画像や音声などをプロジェクタ１３に出力する。

このようなシステムのコミュニケーション装置２０は、撮影された映像と音声とを用いて相手先との間で通話処理を実行する環境に応じて、映像および音声の送信形態を規定するリアルモードとぼんやりモードと気配モードのいずれかに切り替える。そして、コミュニケーション装置２０は、リアルモードに切替えられた場合に、音声を含む映像自体、すなわち当該映像に加工や置き換えなどの処理を行わずにそのまま相手先に送信する。また、コミュニケーション装置２０は、ぼんやりモードに切替えられた場合に、撮影された映像および音声を加工して相手先に送信する。また、コミュニケーション装置２０は、気配モードに切替えられた場合に、映像とは異なる所定画像（例えば単なる光）に置き換えて相手先に送信する。

つまり、コミュニケーション装置２０は、自分の今の状態や環境に応じて、通常通りテレビ電話をできる状態なのかをリアルモードによって、姿が確認できる程度に画像や音声などの情報量を減らしてテレビ電話できる状態なのかをぼんやりモードによって、テレビ電話をできない状態なのかを気配モードによって相手先に通知することができる。したがって、コミュニケーション装置２０は、自分の今の状態や環境に応じてプライバシーの保護程度を、相手に依存することなく変更するとともに、相手にも通知することができる。

この結果、コミュニケーション装置２０は、互いのプライバシーに配慮した円滑なコミュニケーションを構築することができる。なお、相手先とは、通話相手のコミュニケーション装置２０である。また、リアルモードは、第１のモードの一例であり、ぼんやりモードは、第２のモードの一例であり、気配モードは、第３のモードの一例である。

［機能構成］
図３は、実施例１にかかるコミュニケーション装置２０の機能構成を示す機能ブロック図である。図３に示すように、コミュニケーション装置２０は、通信部２１、記憶部２２、制御部３０を有する。なお、相手側も同じ構成のコミュニケーション装置を有する。

通信部２１は、他の装置の間の通信を制御する処理部であり、例えば通信インタフェースや無線インタフェースなどである。例えば、通信部２１は、図１に示した各種センサからセンサ値を受信する。また、通信部２１は、相手側のコミュニケーション装置から受信した画像や音声をプロジェクタ１３へ出力する。

記憶部２２は、プログラムやデータを記憶する記憶装置であり、例えばメモリやハードディスクなどである。この記憶部２２は、設定情報ＤＢ２３と通話先ＤＢ２４とフィルタＤＢ２５とを有する。

設定情報ＤＢ２３は、コミュニケーション装置２０を利用するユーザが設定した通話モードを記憶するデータベースである。すなわち、設定情報ＤＢ２３は、相手先に通知する自分の状況を記憶する。図４は、設定情報ＤＢ２３に記憶される情報の例を示す図である。図４に示すように、設定情報ＤＢ２３は、「接続情報、通話モード」を記憶する。

ここで記憶される「接続情報」は、コミュニケーション装置２０が他の装置（相手先）と通信を行うときに使用する情報であり、例えばＩＰ（Internet Protocol）アドレス、電話番号、ＳＩＰ（Session Initiation Protocol）の識別子（ＩＤ）などである。「通話モード」は、ユーザが設定した通話モードであり、リアルモードとぼんやりモードと気配モードのいずれかが設定される。図４の例では、コミュニケーション装置２０の接続情報が「ＡＡＡ」で、現在は「ぼんやりモード」が設定されていることを示す。

通話先ＤＢ２４は、通話先となる相手先に関する情報を記憶するデータベースである。図５は、通話先ＤＢ２４に記憶される情報の例を示す図である。図５に示すように、通話先ＤＢ２４は、「相手情報、接続情報、通話モード」を対応付けて記憶する。ここで記憶される「相手情報」は、通話先の相手を特定する情報であり、例えばユーザ名などである。「接続情報」は、相手先と接続するときに使用する情報であり、例えばＩＰアドレス、電話番号、ＳＩＰＩＤなどである。「通話モード」は、相手側に設定されている通話モードである。図５の例では、「ユーザＢ」の接続情報が「ＢＢＢ」であり、現在は「ぼんやりモード」が設定されていることを示す。

フィルタＤＢ２５は、通話モードごとに、相手先に送信する映像および音声の加工内容を記憶するデータベースである。図６は、フィルタＤＢ２５に記憶される情報の例を示す図である。図６に示すように、フィルタＤＢ２５は、「通話モード、音声フィルタ、映像フィルタ」を対応付けて記憶する。

ここで記憶される「通話モード」は、リアルモードとぼんやりモードと気配モードのいずれかが設定される。「音声フィルタ」は、音声にかけるフィルタを示し、「映像フィルタ」は、映像にかけるフィルタを示す。図６の例では、「リアルモード」の場合には、音声にも映像にもフィルタをかけないことを示す。「ぼんやりモード」の場合には、音声に対しては音声を小さくする音量フィルタ１をかけ、映像に対しては情報量を少なくする削減フィルタ２をかけることを示す。「気配モード」の場合には、音声に対しては音声を消音にする消音フィルタ３をかけ、映像に対しては光などの別画像や単なる光に変換する変換フィルタ４をかけることを示す。

ここで各通話モードについて説明する。図７は、各通話モードを説明する図である。図７に示すように、リアルモード、ぼんやりモード、気配モードの順にプライバシーが高くなる。リアルモードでは、リアルな映像と音声で相手とテレビ電話を実行する。ぼんやりモードでは、シルエットなど自分の姿がわかる程度の映像かつ音量を小さくした音声を相手側に送信して、主に音声を用いてテレビ電話を実行する。気配モードでは、映像や音声を送信せず、相手とテレビ電話を行うこともなく、光や色で相手に自分の気配を伝える。

制御部３０は、コミュニケーション装置２０全体を司る処理部であり、例えばプロセッサなどである。制御部３０は、接続部４０、センサ処理部４１、送信処理部５０、受信処理部６０を有する。なお、接続部４０、センサ処理部４１、送信処理部５０、受信処理部６０は、プロセッサなどの電子回路の一例やプロセッサが実行するプロセスの一例である。

接続部４０は、相手先の装置との間で通信を確立する処理部である。具体的には、接続部４０は、通話先ＤＢ２４に記憶される各接続情報を用いて、対応する各相手先との間で通信を常時接続する。ここで常時接続とは、常に音声や映像による通話が行われているわけではなく、いつでも音声や映像による通話が実行できる状態で相手先と接続されていることを示す。なお、通信手法は、電話回線を用いた通信、ＳＩＰ、他のアプリケーションを用いた通信など公知の様々な手法を採用することができる。

センサ処理部４１は、各種センサがセンシングしたセンサ値を取得する処理部である。例えば、センサ処理部４１は、モーションセンサデバイス１０から認識結果や操作内容を受信して送信処理部５０と受信処理部６０に出力する。また、センサ処理部４１は、カメラ１１から受信した撮影映像、マイク１２から受信した音声、タッチセンサ１４から受信したタッチ検出の有無を、送信処理部５０と受信処理部６０に出力する。

送信処理部５０は、テレビ電話において、相手先にユーザ（自分）の映像や音声を送信する処理部であり、モード設定部５１と加工部５２とを有する。

モード設定部５１は、テレビ電話を行うユーザの状態や環境に応じて、通話モードを設定する処理部である。具体的には、モード設定部５１は、ユーザ操作や自動判定によって通話モードを特定し、特定した通話モードを設定情報ＤＢ２３に登録して、ユーザの通話モードを切り替える。

例えば、モード設定部５１は、モーションセンサデバイス１０などによって、予め指定したジェスチャーが検出された場合に、通話モードを切り替える。より詳細には、モード設定部５１は、手を振るジェスチャーが検出された場合は、プライバシーが低くなるように通話モードを変更し、手をパーからグーに閉じるジェスチャーが検出された場合は、プライバシーが高くなるように通話モードを変更する。このようなジェスチャーや変更する通話モードなどは、任意に設定変更することができる。なお、通話モードは、リアルモード、ぼんやりモード、気配モードの順で、指定されたジェスチャーによって１段階ずつ変更するように制御することもできる。

また、モード設定部５１は、音声によって自動切り替えを実行することもできる。例えばモード設定部５１は、「気配モード」と話した音声を検出した場合に、気配モードに切替える。また、モード設定部５１は、予め定めたスケジュールに従って自動切り替えを実行することもできる。例えば、モード設定部５１は、２３：００から７：００までは気配モード、７：００から１９：００まではリアルモード、１９：００から２３：００まではぼんやりモードに自動で切り替えることもできる。

さらに、モード設定部５１は、設定した通話モードを相手先に送信して、自分の通話モードを周知させることもできる。例えば、モード設定部５１は、通話モードの通知であることを示す情報をパケットのヘッダに付加し、設定した通話モードを特定する情報をペイロードに付加して、通話先ＤＢ２４に記憶される各相手先に送信することもできる。

加工部５２は、設定される通話モードに従って、映像および音声を加工して相手先に送信する処理部である。具体的には、加工部５２は、設定情報ＤＢ２３を参照して、現在設定されている通話モードを特定し、特定した通話モードに対応するフィルタリングをフィルタＤＢ２５から検索し、映像および音声に該当するフィルタリングを実行する。そして、加工部５２は、映像および音声であることを示す情報をパケットのヘッダに付加し、加工した映像や音声をペイロードに付加して、通話先ＤＢ２４に記憶される各相手先に送信する。

例えば、加工部５２は、「リアルモード」が設定されている場合、撮影された映像および集音された音声をそのまま相手先に送信する。また、加工部５２は、「ぼんやりモード」が設定されている場合、撮影された映像に削減フィルタ２を適用して映像の情報量を少なくした加工映像と、集音された音声に音量フィルタ１を適用して音量を小さくした加工音量とを相手先に送信する。また、加工部５２は、「気配モード」が設定されている場合、撮影された映像および集音された音声を用いずに、予め定めた光画像などを相手先に送信する。

また、加工部５２は、後述するジェスチャーやタッチ操作等によってテレビ電話の相手先が選択されると、選択された相手先に、テレビ電話の確立要求を送信する。

図３に戻り、受信処理部６０は、相手先から受信した映像および音声を、相手先の通話モードにしたがって投影などを実行する処理部であり、受信部６１とモード判定部６２と表示制御部６３とを有する。

受信部６１は、相手先から各種パケットを受信する処理部である。具体的には、受信部６１は、通話モードを通知するパケットや映像等を含むパケットを受信して、モード判定部６２や表示制御部６３に出力する。

モード判定部６２は、相手先の通話モードを判定する処理部である。具体的には、モード判定部６２は、相手先から受信したパケットに基づいて、相手先の通話モードを特定し、通話先ＤＢ２４に設定する。

例えば、モード判定部６２は、通話モードの通知であることを示す情報がヘッダに付加されたパケットを受信した場合、当該パケットに設定される通知モードを読み出して、通話先ＤＢ２４に設定する。また、モード判定部６２は、ヘッダを参照しない場合であっても、受信パケットから抽出した情報が通知モードか映像等であるかによって、通話モードの通知か否かを判定することもできる。

表示制御部６３は、受信した映像および音声を通話モードにしたがってユーザに通知する処理部である。具体的には、表示制御部６３は、受信した映像をプロジェクタ１３に通知して投影面Ｐに投影させるとともに、スピーカ等を用いて、受信した音声を出力する。

例えば、表示制御部６３は、受信した映像等が加工されている場合には、そのままプロジェクタ１３等に出力する。表示制御部６３は、受信した映像等が加工されていない場合には、通話先ＤＢ２４を参照してパケット送信先の通話モードを特定し、フィルタＤＢ２５を参照して該当する通話モードのフィルタリングを実行してプロジェクタ１３等に出力する。

また、表示制御部６３は、単に通信が接続されている状態では、一定の大きさの映像だけを表示して音声の出力を抑制し、テレビ電話による通信が確立された場合に、受信した映像および音声を出力するように制御することもできる。

具体的には、表示制御部６３は、各相手先から映像等のパケットを受信すると、ユーザのジェスチャーや各種操作等が検出されるまでは、受信した映像を所定の大きさの円でプロジェクタ１３に投影させる。つまり、３つの相手先からパケットを受信している状態では、３つの円（映像）が投影される。

その後、表示制御部６３は、テレビ電話を行うジェスチャーや投影される円へのタッチ操作等によって、テレビ電話の対象が選択されると、選択された円を大きくすることで映像を大きくし、音声も出力する。つまり、表示制御部６３は、相手先から映像および音声を受信し続ける状況であっても、テレビ電話の開始操作を受け付けるまでは、音声出力を抑制し、映像を小さい領域で表示させる。その後、表示制御部６３は、テレビ電話の相手先が選択された場合、当該相手先の映像を大きく表示して音声も出力するが、他の相手先の映像等は小さいままを維持する。

ここで、表示制御部６３は、リアルタイムな通信や相手がすぐそこにいる感じを強調するために、テレビ電話の相手先として選択された映像を等身大に表示することもできる。例えば、表示制御部６３は、カメラ１１の位置に設置される測距センサを用いて、カメラ１１とユーザの距離と大きさからユーザの等身大を推定して、推定したユーザの等身大と同程度の大きさになるように、映像を拡大表示することもできる。

別手法としては、相手先の送信処理部５０の加工部５２が、カメラ１１の位置に設置される測距センサを用いて、カメラ１１とユーザの距離と大きさからユーザの等身大を推定して、映像とともに相手先に通知することで、受信側の表示制御部６３が、映像内の人物を等身大で表示することもできる。なお、等身大の推定方法は、既存のセンシング技術を採用することができ、ユーザまでの距離とモデル体型とを用いて、動的に補正することもできる。

また、表示制御部６３は、モーションセンサデバイス１０などによって、ユーザの顔の向きを検出し、顔の向きにあわせて、受信した映像の向きを変更することもできる。また、表示制御部６３は、テレビ電話を終了するジェスチャーや拡大表示された円へのタッチ操作等を検出すると、拡大表示される円を元の大きさに変更し、音声出力も抑制する。つまり、表示制御部６３は、映像表示や音声出力を、テレビ電話が確立される前の状態に戻す。

また、表示制御部６３は、相手先からテレビ電話の確立要求を受信した場合は、該当する映像（円）をゆらすや一時的に大きくするなど、表示形態を変更してユーザに通知することもできる。

［画面表示例］
図８は、気配モードの光表示例を説明する図である。図８の（ａ）に示すように、表示制御部６３は、３人の相手先とのいずれともテレビ電話を確立していない状態では、３つの相手先それぞれから受信した映像ではなく、予め指定した画像を円の形で投影する。ここで、予め指定した画像とは、単なる光であってもよく、相手の名前や相手のイラスト等であってもよい。

その後、表示制御部６３は、投影される画像のうち画像Ｑへのタッチ操作を検出すると（図８の（ｂ））、タッチ操作された画像Ｑを大きく投影する（図８の（ｃ））。このとき、送信処理部５０は、画像Ｑに対応する相手先に、テレビ電話の確立要求を送信し、相手先の受信処理部６０は、確立要求を受信すると、要求元の画像をゆらしたり、一時的に大きくしたりする。

図９は、受信時の画面遷移例を説明する図である。図９の（ａ）に示すように、表示制御部６３は、投影される画像Ｚに対応する相手先から、テレビ電話の確立要求を受信した場合、または、当該相手先の通話モードがリアルモードに変更された場合、テレビ電話の確立を要求していると判断し、当該画像Ｚを大きくしたりする。その後、表示制御部６３は、画像Ｑがユーザによって選択されると、画像Ｑを大きく投影する（図９の（ｂ））。

［モード設定処理］
図１０は、モード設定処理の流れを示すフローチャートである。図１０に示すように、モード設定部５１は、装置が起動すると（Ｓ１０１：Ｙｅｓ）、ぼんやりモードに設定し（Ｓ１０２）、接続先（相手先）に通知する（Ｓ１０３）。

続いて、モード設定部５１は、通話モードの変更操作を受け付けると（Ｓ１０４：Ｙｅｓ）、プライバシーを高くする操作か否かを判定する（Ｓ１０５）。

そして、モード設定部５１は、プライバシーを高くする変更操作である場合（Ｓ１０５：Ｙｅｓ）、プライバシーが１段階高くなる通話モードに変更し（Ｓ１０６）、プライバシーを低くする変更操作である場合（Ｓ１０５：Ｎｏ）、プライバシーが１段落低くなる通話モードに変更する（Ｓ１０７）。その後、モード設定部５１は、変更後の通話モードを、接続先（相手先）に通知する（Ｓ１０８）。

［受信処理］
図１１は、受信処理の流れを示すフローチャートである。図１１に示すように、受信処理部６０は、パケットを受信すると（Ｓ２０１：Ｙｅｓ）、ヘッダ等を参照して、モード情報のパケットか否かを判定する（Ｓ２０２）。

そして、受信処理部６０は、受信したパケットがモード情報のパケットである場合（Ｓ２０２：Ｙｅｓ）、パケットからモード情報を抽出して通話先ＤＢ２４に格納し（Ｓ２０３）、変更された通話モードに応じて投影を制御する（Ｓ２０４）。

一方、受信処理部６０は、受信したパケットがモード情報ではなく映像などのデータパケットである場合（Ｓ２０２：Ｎｏ）、パケットのヘッダやペイロードを参照して、映像や音楽などのデータがフィルタ済みか否かを判定する（Ｓ２０５）。

そして、受信処理部６０は、フィルタ済みである場合（Ｓ２０５：Ｙｅｓ）、受信した映像や音楽をそのまま投影する（Ｓ２０６）。ここで、受信処理部６０は、ユーザの顔の向き等に応じて、ユーザの顔が向いている方向の映像となるように、映像の向きを変えて表示する。

一方、受信処理部６０は、フィルタ済みではない場合（Ｓ２０５：Ｎｏ）、通話先ＤＢ２４を参照して、送信元の通話モードを特定する（Ｓ２０７）。続いて、受信処理部６０は、特定した通話モードに応じて映像等を表示する（Ｓ２０８）。

［効果］
上述したように、コミュニケーション装置２０は、離れて暮らす家族がお互いのプライバシーに配慮しつつ、自然に、頻繁にテレビ電話でつながれる新しいコミュニケーションツールを提供することができる。また、コミュニケーション装置２０は、自分の都合を随時相手先に通知することができる。このため、相手側も自分の都合を把握することができ、互いのプライバシーに配慮した円滑なコミュニケーションを構築することができる。

また、コミュニケーション装置２０は、相手側の状況を光などの画像や映像を常時投影することができるので、ユーザに対して、だれかと常に繋がっている安心感、だれかが傍にいる安心感を与えることができる。例えば、一人暮らしの祖父母や一人暮らしを始めた子供が、ぼんやりモードで遠方家族のシルエットを自分家の壁などに常に表示させておくことができるので、遠方の家族を身近に感じることができ、安心感を得ることができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。

［気配モード］
コミュニケーション装置２０は、気配モードを相手先に通知するときに、色や動きを指定することで、様々な気配を通知することができる。相手側のコミュニケーション装置は、指定された色や動きにしたがって、光画像を投影する。

図１２は、気配を伝える例の一覧を説明する図である。図１２に示すように、不在または睡眠中を伝える場合は、色＝グレーかつ動き＝停止を指定する。また、コミュニケーション装置２０は、在宅かつ気配モード希望の場合、つまり相手にも気配モードを要求する場合、色＝グレーかつ動き＝ゆれるを指定する。また、コミュニケーション装置２０は、在宅かつぼんやりモード希望の場合、つまり相手にはぼんやりモードを要求する場合、色＝グリーンかつ動き＝ゆれるを指定する。また、コミュニケーション装置２０は、転倒などの異常が発生した場合、色＝赤かつ動き＝点滅を指定する。なお、ここで示した設定例は一例であり、任意に設定変更できる。

［一体化コミュニケーション装置］
実施例１では、プロジェクタ１３や各種センサ装置と、コミュニケーション装置２０とを別々の筐体で実現する例を説明したが、これに限定されるものではなく、図１に示した全装置を一体化することもできる。図１３は、実施例２にかかるコミュニケーション装置８０の一例を説明する図である。

図１３に示すように、コミュニケーション装置８０は壁の近くに設置され、表側（人側）に撮影用のカメラ８１、距離センサおよびマイク８２、通話モードの切替つまみ８３を有する。また、裏側（壁側）には、短焦点プロジェクタおよびトラッキングカメラ８４を有する。そして、図１４に示すように、コミュニケーション装置８０は、壁の近くに設置され、表側で撮影した映像を相手先に送信し、相手先から受信した映像を裏側から壁に投影する。なお、図１４は、実施例２にかかるコミュニケーション装置８０の設置例を説明する図である。

［通話モードの変更］
上記実施例で記載した変更手法以外にも様々な手法を採用することができる。例えば、季節や時間帯と通話モードとの関係性、言い換えると生活スタイルを学習して自動で切り替えることもでき、照度が閾値以下であれば不在と判定して気配モードに自動で切り替えることもできる。また、「子供Ａ、おじいちゃん」のように、子供の声と言葉とを対応付けておき、該当する条件が発生した場合に、リアルモードに切替えることもできる。

［視点の考慮］
上記実施例では、ユーザの頭の位置に応じて映像を変化させることを説明したが、これについて具体的に説明する。カメラ１１は、撮影範囲にある映像を全て撮影するので、例えば部屋に設置されている場合には、壁の前に立っているユーザだけでなく、部屋全体を撮影できる。したがって、通信で接続されるコミュニケーション装置は、互いに部屋全体の映像を送受信する。

通常、表示制御部６３は、ユーザが壁に立ってテレビ電話を行うので、壁から相手先の部屋を見るような映像を投影する。そこで、表示制御部６３は、ユーザが壁に対して覗き込むような動きをした場合、壁から部屋をのぞき込むような映像を投影する。つまり、表示制御部６３は、ユーザの頭の位置の変化を検出することで、ユーザの視線を検出し、撮
影された映像（受信映像）のうち視線方向に該当する映像（画像）を抽出して投影する。

［人物や人数を表現］
例えば、コミュニケーション装置２０は、気配モードが選択されている場合、在宅している人数や人物等を、光画像の大きさや数で表現することもできる。例えば、コミュニケーション装置２０は、父、母、子供に応じた大きさを指定して相手先に通知することができる。また、コミュニケーション装置２０は、父と母の二人が在宅している場合は、大きさの異なる２つの光画像を指定して相手先に通知することができる。また、人物を特定する色や大きさと人数を特定する光の数を組み合わせることもでき、人物を特定する色や大きさなどを図１２の例と組み合わせることもできる。

［画像、フィルタ］
上記実施例では、映像を例にして説明したが、画像であっても同様に処理することができる。また、送信側で加工せずに、受信側で加工することもできる。また、上記実施例では、映像にフィルタを適用する場合を説明したが、これに限定されず、例えば解像度を下げる処理や音声の品質を低下させる処理など、情報量を削減できる処理であれば様々な処理を採用することができる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア構成］
図１５は、ハードウェア構成例を示す図である。図１５に示すように、コミュニケーション装置２０は、通信インタフェース１０１、ＨＤＤ（Hard Disk Drive）１０２、メモリ１０３、プロセッサ１０４を有する。

通信インタフェース１０１は、他の装置の通信を制御するネットワークインタフェースカードなどである。ＨＤＤ１０２は、プログラムやデータなどを記憶する記憶装置の一例である。

メモリ１０３の一例としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。プロセッサ１０４の一例としては、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等が挙げられる。

また、コミュニケーション装置２０は、プログラムを読み出して実行することでコミュニケーション方法を実行する情報処理装置として動作する。つまり、コミュニケーション装置２０は、接続部４０、センサ処理部４１、送信処理部５０、受信処理部６０と同様の機能を実行するプログラムを実行する。この結果、コミュニケーション装置２０は、接続部４０、センサ処理部４１、送信処理部５０、受信処理部６０と同様の機能を実行するプロセスを実行することができる。なお、この他の実施例でいうプログラムは、コミュニケーション装置２０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

２０ コミュニケーション装置
２１ 通信部
２２ 記憶部
２３ 設定情報ＤＢ
２４ 通話先ＤＢ
２５ フィルタＤＢ
３０ 制御部
４０ 接続部
４１ センサ処理部
５０ 送信処理部
５１ モード設定部
５２ 加工部
６０ 受信処理部
６１ 受信部
６２ モード判定部
６３ 表示制御部

Claims (10)

1. 撮影された映像を用いて相手先との間でコミュニケーション処理を実行する環境に応じて、前記映像の送信形態を規定する第１のモードと第２のモードと第３のモードのいずれかに切り替える切替部と、
   前記第１のモードに切替えられた場合に、撮影された映像自体を前記相手先に送信し、前記第２のモードに切替えられた場合に、撮影された映像を加工して前記相手先に送信し、前記第３のモードに切替えられた場合に、撮影された映像を所定画像に置き換えて前記相手先に送信する送信制御部と
   を有することを特徴とするコミュニケーション装置。
2. 前記送信制御部は、前記第２のモードに切替えられた場合に、前記映像に情報量を削減する削減処理を適用した情報量削減済映像を生成して、前記相手先に送信することを特徴とする請求項１に記載のコミュニケーション装置。
3. 前記送信制御部は、前記第１のモードに切替えられた場合に、撮影された映像自体に加えて前記映像が撮影されたときに集音された音声自体を前記相手先に送信し、前記第２のモードに切替えられた場合に、撮影された前記映像に加えて前記音声を加工して前記相手先に送信し、前記第３のモードに切替えられた場合に、集音された前記音声を送信せずに前記所定画像を前記相手先に送信することを特徴とする請求項１または２に記載のコミュニケーション装置。
4. 前記送信制御部は、前記第３のモードに切替えられた場合に、前記コミュニケーション処理を相手先と行う人物または人物の人数を表現する画像を、前記相手先に送信することを特徴とする請求項１から３のいずれか一つに記載のコミュニケーション装置。
5. 前記送信制御部は、前記第３のモードに切替えられた場合に、前記コミュニケーション処理の環境を表現する、前記所定画像を投影するときの色または前記所定画像を投影するときの動きを指定して、前記相手先に送信することを特徴とする請求項１から３のいずれか一つに記載のコミュニケーション装置。
6. 前記切替部は、前記送信形態を切替えるジェスチャーまたは操作を検出するたびに、前記第１のモード、前記第２のモード、前記第３のモードを段階的に切り替えることを特徴とする請求項１から５のいずれか一つに記載のコミュニケーション装置。
7. コンピュータに、
   撮影された映像を用いて相手先との間でコミュニケーション処理を実行する環境に応じて、前記映像の送信形態を規定する第１のモードと第２のモードと第３のモードのいずれかに切り替え、
   前記第１のモードに切替えられた場合に、撮影された映像自体を前記相手先に送信し、前記第２のモードに切替えられた場合に、撮影された映像を加工して前記相手先に送信し、前記第３のモードに切替えられた場合に、撮影された映像を所定画像に置き換えて前記相手先に送信する
   処理を実行することを特徴とするコミュニケーション方法。
8. コンピュータが、
   撮影された映像を用いて相手先との間でコミュニケーション処理を実行する環境に応じて、前記映像の送信形態を規定する第１のモードと第２のモードと第３のモードのいずれかに切り替え、
   前記第１のモードに切替えられた場合に、撮影された映像自体を前記相手先に送信し、前記第２のモードに切替えられた場合に、撮影された映像を加工して前記相手先に送信し、前記第３のモードに切替えられた場合に、撮影された映像を所定画像に置き換えて前記相手先に送信する
   処理を実行させることを特徴とするコミュニケーションプログラム。
9. 撮影された映像を用いてコミュニケーション処理を実行する第１の情報処理装置と第２の情報処理装置とを含むコミュニケーションシステムにおいて、
   前記第１の情報処理装置は、
   前記コミュニケーション処理を実行する環境に応じて、前記映像の送信形態を規定する第１のモードと第２のモードと第３のモードのいずれかに切り替える切替部と、
   前記第１のモードに切替えられた場合に、撮影された映像自体を前記第２の情報処理装置に送信し、前記第２のモードに切替えられた場合に、撮影された映像を加工して前記第２の情報処理装置に送信し、前記第３のモードに切替えられた場合に、撮影された映像を所定画像に置き換えて前記第２の情報処理装置に送信する送信制御部とを有し、
   前記第２の情報処理装置は、
   前記第１の情報処理装置から、前記映像または前記所定画像を受信する受信部と、
   受信された前記映像または前記所定画像を所定の投影面に投影する投影部と
   を有することを特徴とするコミュニケーションシステム。
10. 前記投影部は、前記第１のモードに切替えられた前記第１の情報処理装置から前記映像が受信された場合、前記映像に含まれる人物が等身大になるように、前記映像の大きさを変更して投影することを特徴とする請求項９に記載のコミュニケーションシステム。

Images