JP2006140747A - 映像コミュニケーション装置および映像コミュニケーション装置の制御方法 - Google Patents

Abstract

【課題】 撮像による心理的な負担感が少ない映像コミュニケーション装置およびコミュニケーション装置の制御方法を提供することを目的とするものである。

【解決手段】 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末用カメラと上記自端末のユーザとの距離を検出する自端末用距離検出手段と、上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、上記相手端末に呈示される映像を識別し難くする処理する映像信号処理手段とを有する映像コミュニケーション装置である。

【選択図】 図１

Description

本発明は、公衆網利用のテレビ電話や、ＩＰ網利用のビデオチャット等、映像コミュニケーションを、より利用し易くする映像コミュニケーション装置およびその制御方法に関する。

従来の映像コミュニケーションシステムにおいて、いかに高精細な映像を伝達するか、または、いかに簡便に映像コミュニケーションのセッションを開始させるか、または、いかに対面コミュニケーションの感覚に近い映像コミュニケーションを提供するか等を目的とする技術が多い。

たとえば、自然な使用感を得ることを目的として、対話するユーザ双方の視線を自動的に一致させて表示する装置が知られている（たとえば、特許文献１参照）。

また、電話機に各種センサを内蔵することによって、端末の周辺の環境や雰囲気を伝えることを目的とし、音声や映像だけでなく、その他の要素も伝達することによって、より臨場感の高い通信を目指す装置が知られている（たとえば、特許文献２参照）。

このように、様々な技術が提案され、映像コミュニケーションの方法も様々な形態のものが提案、利用されているが、現状では活発に利用されている状況とは言い難い。

この理由は、従来盛んに言われているように、情報の伝送経路の帯域の問題、また、ユーザインタフェースの問題だけであるとは考えにくい。つまり、いまや個人宅にもＡＤＳＬや光ファイバによる常時接続環境が普及し、様々なユーザインタフェースの提案によって、非常に安価でかつ簡便なビデオチャットシステムが利用できるから、上記問題だけがその理由であるとは考えにくい。にもかかわらず、映像コミュニケーションが活発には利用されていないのは、ユーザの利用生態や、メンタルな障害を十分把握して設計されたシステムが未だ提供されていないことがその原因であると考えられる。
特開平６−０９０４４５号公報 特開平５−３４７６７２号公報

テレビ電話やビデオチャット等の映像コミュニケーションシステムが活発に利用されない原因はいくつかある。

ネットワーク帯域等のインフラが整っていても、ユーザの心理的なバリアや、利用シーンに応じたユーザインタフェースが利用の障害となっていることがある。

映像通信は、様々な利点がある反面、物理的、心理的な準備が面倒であり、また、セッションを管理するための相手とのコンセンサス形成が課題である。

映像コミュニケーションを普及させるためには、インフラや機器の性能向上だけでなく、自己の映像や、端末の周囲の映像について、撮像における負担感を軽減し、プライバシコントロールを適切、かつ簡便に実行できるようにする必要がある。

つまり、まず、第１の課題は、カメラで撮影されることに対する抵抗感があることである。一般的に、カメラで写されることに、心理的なバリアが根強く存在すると言われている。映像コミュニケーションにおいては、対話する２者が双方ともに自己の映像を提供し合い、対等な関係を構築することによって、抵抗感を軽減している。

しかし、カメラ・ディスプレイ等を介さない直接の対面コミュニケーションにおいては、対話者のどちらかのみが一方的に相手を見ることができる状況は、一般的ではないが、カメラやディスプレイを用いた映像コミュニケーション装置の場合、カメラの視野が限られ、相手の視点を自分で動かすことは容易ではないので、各人がカメラの視野に自発的に入らない限り、相手にその映像が伝わらない。たとえば、自分はカメラの視野から逃れ、なおかつ、端末のディスプレイを見ることによって、一方的に相手を見ることができる。

もちろん、カメラが対話者を自動的に追従したり、広角レンズを使用したり、複数のカメラを使う等することによって、上記問題を解決することができるが、そのようなシステムは、手軽さに欠け、また、直接の対面コミュニケーションに比べて、自然な視野の切り替えが難しい。

つまり、映像コミュニケーションにおいては、お互いが映像コミュニケーションを行うという明確な合意の下に、自らのカメラの被写体として、カメラの前に自らを位置することを常に心がけることによって、対等なコミュニケーションが初めて成立する。すなわち、映像コミュニケーションの開始時には、たとえ特に明示的な切り替え操作や開始操作がない場合でも、事前にネゴシエーションのプロセスが存在する。

もちろん、対話する２者の人間関係や、それぞれの性格等によっては、そのプロセスの負担が大きくない場合もある。しかし、場合によっては、これらが、大きな手間や心理的な負担であり、単純な音声通信に比べて敷居が高い場合もある。また、片方が映像通信を利用したいと考えても、相手がそのときに映りたくないと考えるようなケースがままある。

昨今の常時接続環境の普及によって、ＩＰ電話や、ビデオチャット等、電気代のみという実質ほぼ無料の感覚で利用できるテレコミュニケーション手段が容易に利用できるようになっている。

第２の課題は、従量制でないテレコミュニケーション環境があるがゆえの問題であり、通信を終了するための理由が見当たらないので、常に監視されている感覚が付きまとうことである。

つまり、従来型の音声電話によるコミュニケーションにおいては、従量制の電話料金が制約となり、適度な時間で通話を終了することが暗黙の了解である。ところが、ＩＰフォンやビデオチャットの場合、長時間通話しても料金が高くなることはないので、むしろ、通信を終了するための理由が見当たらず、このために、積極的な理由はないが、通信を終えて別のことをしたいと思っても、それを提案しにくいことがある。この際に、接続を続けたまま、お互いに別のことをしたとしても、カメラはそのままで動作しているので、常に監視されている感覚が付きまとう。

このような課題に加え、映像通信の開始と終了とを適宜行うことによって、プライバシをコントローすることができると思われるが、その都度、映像通信の開始と終了とを、相手側と交渉することは煩わしく、特に、映像を切断する場合等、プライバシレベルを上げる方向（提供情報を制約する方向）の提案には、気まずさが伴うことが考えられる。また、たとえ、２者間での合意が適切に行われたとしても、そのための操作が、現状では煩雑であり、その煩雑さが、ひいては映像コミュニケーションを行うこと自体に対する面倒さを印象付け、ますます利用が冷え込むことになる。

上記のように、映像コミュニケーションを利用する２者間で、映像通信の開始と終了との合意を適切に形成することが、難しく、それを実施することは、さらに難しいと言う問題がある。

本発明は、撮像による心理的な負担感が少ない映像コミュニケーション装置およびコミュニケーション装置の制御方法を提供することを目的とするものである。

本発明は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末用カメラと上記自端末のユーザとの距離を検出する自端末用距離検出手段と、上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、上記相手端末に呈示される映像を識別し難くする処理する映像信号処理手段とを有することを特徴とする映像コミュニケーション装置である。

本発明によれば、従来利用されている音声通信と、映像通信、その中間等の各種通信形態を、低負担かつシームレスに利用できるという効果を奏する。

また、本発明によれば、プライバシレベルを適切にコントロールすることによって、心理面での負担も軽減され、映像コミュニケーションの利用が活性化するという効果を奏する。

発明を実施するための最良の形態は、以下の実施例である。

図１は、本発明の実施例１であるコミュニケーション装置１００の概要を示すブロック図である。

コミュニケーション装置１００は、端末であり、入力手段１０と、出力手段２０と、通信制御手段３０と、端末状況情報処理手段４０と、入出力制御処理手段５０と、音声処理手段６０と、映像処理手段７０とを有する。

入力手段１０は、撮像手段１１と、音声入力手段１２と、近接検知手段１３と、操作手段１４とを有する。

撮像手段１１は、端末ユーザとその周辺との映像を撮影するものであり、カメラを有する手段である。

音声入力手段１２は、端末周辺や、ユーザの音声を入力する手段であり、端末に固定されたものでも、受話器のような形態でもよい。

近接検知手段１３は、赤外線や超音波等を利用した測距センサであり、端末とユーザとの距離を測るものである。つまり、近接検出手段１３は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末用カメラとユーザとの距離を検出する距離検出手段の例である。

近接検知手段１３は、利用の用途によって、精度を要求しないのであれば、人感センサ、無線ＩＤタグ、ｂｌｕｅｔｏｏｔｈのような機器を用いて、近接の程度を測るものに代用することができる。

また、複数の同種のセンサを備えれば、方向を検知することができ、また、測定距離の精度を向上させることができ、複数種類のセンサを実装しても、方向を検知することができ、また、測定距離の精度を向上させることができる。また、撮像手段１１が自動焦点機構を備えていれば、そこに用いられている測距機能を、近接検知手段１３として使用するようにしてもよい。

操作手段１４は、各種ボタン、タッチセンサ、ダイアル等、一般的なユーザインタフェースのための入力装置であり、端末の操作や、各種設定を行うものである。

出力手段２０は、端末状態表示手段２１と、映像呈示手段２２と、音声呈示手段１２とを有する。

端末状態表示手段２１は、端末の各種作動状態を表示し、ＬＥＤのインジケータランプや、液晶画面を有し、映像呈示手段２２が、状態表示を実行するようにしてもよい。

映像呈示手段２２は、液晶やＣＲＴ等を有する映像表示装置であり、対話相手の映像や、ユーザ自身の映像、端末状態等を表示する。

音声呈示手段２３は、スピーカによって音声を出力し、音声入力と同様に受話器のようなものを使用するようにしてもよい。

図２は、実施例１において、自端末Ｔ１と相手端末Ｔ２との外見を示す図である。

なお、自端末Ｔ１は、映像コミュニケーション装置１００の構成と同じ構成を有し、相手端末Ｔ２も、映像コミュニケーション装置１００の構成と同じ構成を有する。

図２では、画面を３分割し、１つ目の画面には、相手側の映像を示し、２つ目の画面には、自己の映像（元映像）を示し、３つめの画面には、自己の映像を加工した後の映像を表示している。

通信制御手段３０は、映像コミュニケーション装置１００の動作を制御し、まず、接続先（相手端末Ｔ２）との通信やユーザ管理を行い、網ＮＷ経由で、自端末Ｔ１の音声と映像、端末状況情報等を、外部の相手端末Ｔ２へ送信する。反対に、相手端末Ｔ２の音声と映像、端末状況情報等を、網ＮＷ経由で、通信制御手段３０が受信する。

端末状況情報処理手段４０は、入力手段１０からのデータに基づいて、自端末Ｔ１の使用状況を端末状況情報として生成し、出力する。

入出力制御処理手段５０は、その端末状況情報と、通信制御手段３０を経由して得られた相手端末Ｔ２の端末状況情報とに基づいて、音声処理手段６０と映像処理手段７０とを制御するための入出力制御情報を生成する。

音声処理手段６０は、入力した音声のデジタル化や音声圧縮、音声の鮮明度を変換する処理を行う。

映像処理手段７０は、撮像手段１１が撮影した映像のデジタル化と映像圧縮とを行い、また、入出力制御処理手段５０からの指示によって、映像の鮮明度を変換する処理を行う。

ここで、自端末Ｔ１（映像コミュニケーション１００と同じ構成の端末）と相手端末Ｔ２（映像コミュニケーション１００と同じ構成の端末）とが交信し、ユーザＵ１が、自端末Ｔ１を操作し、ユーザＵ２が相手端末Ｔ２を操作しているとする。

ユーザＵ１は、端末Ｔ１のボタンを押し、特定の相手、たとえばユーザＵ２と通話を開始する。ユーザＵ２が通話を受理した時点で、コミュニケーションのセッションが開始する。ここまでは、通常の電話等と同様である。

これから、ユーザ双方で、事前に取り決めた後述のテンプレートＴＰ１に従って、映像コミュニケーション装置１００が、セッション中の音声チャネル、映像チャネルの利用状態を自動的に決定する。

図３は、実施例１において、端末とユーザとの距離と、映像、音声の鮮明度との関係を示す図である。

上記「テンプレートＴＰ１」は、端末（映像コミュニケーション装置１００）とユーザとの距離と、映像、音声の鮮明度との関係を示す関数である。つまり、テンプレートＴＰ１は、音声処理手段６０と映像処理手段７０とを制御する入出力制御情報を計算するための手続き、関数を指すものであり、入出力制御情報を計算する元の情報は、自端末Ｔ１の端末状況情報と、受信した相手端末Ｔ２の端末状況情報とである。

図３において、テンプレートＴＰ１の列見出しには、自端末Ｔ１のユーザ距離として、近距離、中距離、遠距離の３段階の距離が示されている。これは、入出力制御情報の生成の途中段階で計算される近接評価値である。「近接評価値」は、自端末Ｔ１の端末状況情報に基づいて、直接計算される。ただし、近接評価値は、端末とユーザとの物理的な近接の度合いのみを表すものではなく、音声の入力状態や映像処理によって得られる、個人識別情報や、動きの情報、それらの時間変化等を考慮し、ユーザが、端末（映像コミュニケーション装置１００）を使ったテレコミュニケーションにどれだけ積極性を持っているかの指標と考える。近接評価値の最も簡単な例は、近接検知手段１３の出力をそのまま利用する例である。また、このようにして得られた近接評価値を、上記音声情報、映像情報等で補正するようにしてもよい。また、ボタン押し等の直接操作の結果を、近接評価の算出の際に考慮するようにしてもよい。

図３において、上記と同様に、相手端末Ｔ２のユーザ距離を行見出しとして、３段階で示している。

入出力制御処理手段５０は、双方の近接評価値に基づいて、音声処理手段６０と映像処理手段７０とを制御する入出力制御情報を生成する。この例が、図３における各セルに示してある内容である。図３の各セルの表記は、映像と音声との鮮明度を、Ｃ４〜Ｃ１で示してある。

図４は、映像の鮮明度Ｃ４、Ｃ３、Ｃ２、Ｃ１の例を示す図である。

なお、鮮明度は、Ｃ４が最も高く（最も鮮明であり）、Ｃ３、Ｃ２、Ｃ１の順で、鮮明度が低下する。

入出力制御情報の計算例で、最も簡単なものは、図３に示すテンプレートＴＰ１に示すように、自端末Ｔ１とユーザＵ１との近接評価値と、相手端末Ｔ２とユーザＵ２との近接評価値とに基づいて、単純に割り当てる例である。近接評価値として、この例のように離散値を使用してもよく、連続的な値を使用するようにしてもよい。後者の場合、計算は割り当て表によらず、連続値の自端末Ｔ１と相手端末Ｔ２との近接評価値を因数とする関数になる。この場合、入出力制御情報も連続値になり、映像と音声との鮮明度の制御も連続的になる。

図３における各列は、自端末Ｔ１の出力を示している。すなわち、相手端末Ｔ２の入力された映像および音声が、相手端末Ｔ２の映像処理手段７０と音声処理手段６０とによって、送信前に加工される状態を示してある。反対に、自端末Ｔ１で送信すべき映像と音声とを加工するために、入出力制御情報を得るには、自端末Ｔ１と相手端末Ｔ２とを入れ替えて読めばよい。すなわち、自端末Ｔ１と相手端末Ｔ２とは、少なくともこの例では、完全に対称で対等な関係であり、ユーザが利用する時におけるユーザの行動によってのみ、非対称性が発生する。

図３（１）は、自端末Ｔ１とユーザとの距離と、相手端末Ｔ２とユーザとの距離とに基づいて、自端末Ｔ１が送信する映像の鮮明度、音声の鮮明度を求めるテンプレートＴＰ１を示す図である。

図３（２）は、相手端末Ｔ２とユーザとの距離と、自端末Ｔ１とユーザとの距離とに基づいて、相手端末Ｔ２が送信する映像の鮮明度、音声の鮮明度を求めるテンプレートＴＰ２を示す図であり、自端末Ｔ１と相手端末Ｔ２とを単に入れ替えた図である。

上記「自端末Ｔ１と相手端末Ｔ２とが対称」は、各端末における出力を表形式で表現した場合に、内容が全く同じ（端末を入れ替えただけ）という意味である。この対称性は、システムの動作全体を通じて、対等なセッティングであり、自端末Ｔ１と相手端末Ｔ２との間で、仕組みとして動作に違いはないという意味である。

また、上記「ユーザの行動による非対称性」は、自端末Ｔ１とユーザとの距離が近距離で、相手端末Ｔ２とユーザとの距離が中距離であるような場合に、自端末Ｔ１の鮮明度と相手端末Ｔ２の鮮明度とが異なることである。すなわち、たとえば、自端末Ｔ１のユーザが自端末Ｔ１に近づくことによって、自己の鮮明な映像を送信し、これと同時に、相手端末Ｔ２において表示される映像の鮮明度も、ある程度向上させることができるが、相手端末Ｔ２のユーザも同じ程度に近づかないと、自己の送出映像と同程度の鮮明度の相手映像を見ることはできないこともある。

したがって、本質的には、一方的な監視や覗き見的な行為を抑制することが期待される。ただし、ユーザ双方が了解していれば、テンプレートＴＰ１を非対称に設計、実装するようにしてもよい。なお、非対称にするためには、図３（１）のセルの中身と、図３（２）のセルの中身とが、互いに異なるようにしてもよい。たとえば、一方的な監視のようなアプリケーションであるならば、一方の端末だけ、常に鮮明度が最高レベルになるようなテンプレート設計にすることが考えられる。

図３（１）において、自端末Ｔ１が中距離（自端末Ｔ１とユーザＵ１との距離が中距離）であり、相手端末Ｔ２が近距離（相手端末Ｔ２とユーザＵ２との距離が近距離）であれば、自端末Ｔ１側において、映像の鮮明度がＣ３で呈示され、音声の鮮明度がＣ３で呈示されるように、相手側の端末において音声処理手段６０と映像処理手段７０とが制御される。一方、図３（２）において、自端末Ｔ１近距離（自端末Ｔ１とユーザＵ１との距離が近距離）であり、相手端末Ｔ２中距離（相手端末Ｔ２とユーザＵ２との距離が中距離）であれば、映像の鮮明度がＣ３であり、音声の鮮明度がＣ３である。

したがって、自端末Ｔ１側から送信されるべき映像は、映像処理手段７０が、映像の鮮明度をＣ３に加工し、同様に、音声処理手段６０が、音声の鮮明度をＣ３に加工した後に、通信制御手段３０が相手端末Ｔ２に送信する。

上記のように、近接評価値が計算され、これによって、入出力制御情報が計算されるが、入力手段で得られる情報は、上記のように、近接評価値の計算に利用するだけではなく、入出力制御手段情報の補正に利用するようにしてもよい。

また、実施例１では、近接評価値と、これによって計算される入出力制御情報とを、送信前の映像情報、音声情報の加工に利用する他に、受信した映像情報、音声情報の加工に利用するようにしてもよい。この場合、網ＮＷには、加工前の情報が流れるので、プライバシやセキュリティの面で、網ＮＷに対する信頼性が要求されるが、一方で、中継するサーバに各種加工手段を実装することが考えられるので、用途によっては有用である。

図４は、実施例１において、映像の鮮明度を加工する例を示す図である。

次に、上記実施例の動作について説明する。

図５は、実施例１における動作を示すフローチャートである。

図５に示すフローチャートは、撮像手段１１に設けられているカメラとユーザＵ１との距離に応じて、映像のみの鮮明度を変化させる例である。

Ｓ１では、近接検知手段１３が、自端末Ｔ１に設けられている自端末用カメラと、ユーザＵ１との距離を検出し、Ｓ２では、近接検知手段１３が検知した距離を、所定のメモリに記憶する。そして、Ｓ３では、端末状況情報処理手段４０と映像処理手段７０とが、自端末用カメラとユーザＵ１との距離に応じて、相手端末Ｔ２に送信する映像の鮮明度を変化し、Ｓ４では、鮮明度が変化した映像を、所定のメモリに記憶し、Ｓ５では、鮮明度が変化した映像を、相手端末Ｔ２に送信する。

なお、Ｓ３において、上記相手端末用カメラと相手端末におけるユーザとの距離が離れる程、相手端末Ｔ２に送信する映像の鮮明度を低下させる。また、自端末用カメラとユーザＵ１との距離が離れる程、音声処理手段６０が、相手端末Ｔ２に送信する音声の鮮明度を低下させるようにしてもよく、または、音量を小さくするようにしてもよい。

実施例１によれば、映像コミュニケーションにおいて、カメラと自己との距離に応じて、映像をぼかし、通信相手との間で、事前に取り決めたテンプレートＴＰ１、ＴＰ２に従って、過度な情報を相手に与えないように、映像を制御するので、カメラに監視されているという心理的な不安（実際の対話にはない心理的負担感）を軽減することができる。

図６は、実施例１における動作を示すフローチャートである。

Ｓ１１では、自端末用撮像手段１１としてのカメラが、ユーザＵ１の視線の方向、停留時間を検出する。Ｓ１２で、この検出した視線の方向、停留時間をメモリに記憶する。Ｓ１３で、検出した視線の方向、停留時間に応じて、映像の鮮明度を変化させる。Ｓ１４で、上記鮮明度が変化した映像をメモリに記憶する。Ｓ１５で、相手端末Ｔ２に、その映像を送信する。

図７は、実施例１における説明図である。

図７に示す例は、自端末Ｔ１のユーザＵ１が自端末用カメラから中距離に位置し、相手端末Ｔ２のユーザＵ２が相手端末用カメラから近距離に位置している場合の説明図である。この場合、図３に示すテンプレートＴＰ１によって、自端末Ｔ１から相手端末Ｔ２に送る映像の鮮明度がＣ３であり、同音声の鮮明度がＣ３である。つまり、自端末のユーザＵ１がそろそろ通信を終了または一時的に中断したい場合に、自端末Ｔ１のカメラからユーザＵ１が遠ざかると、相手端末Ｔ２における映像、音声ともに、その鮮明度がやや低下し、これら鮮明度の低下によって、自端末側ユーザＵ１が通話を終了または一時的に中断することを望んでいることを、相手側ユーザＴ２が察知することができる。すなわち、自端末Ｔ１のユーザＵ１が終了または一時的に中断することを望んでいることを直接言葉に出さなくても、その意思が相手ユーザＵ２に伝えることができる。

一方、図３に示すテンプレートＴＰ２によって、相手端末Ｔ２から自端末Ｔ１が受信する映像の鮮明度はＣ２であり、同音声の鮮明度がＣ３である。つまり、自端末Ｔ１のユーザＵ１が、カメラからやや離れると、自端末Ｔ１における映像の鮮明度が３番目の良さに落ち、音声の鮮明度が２番目の良さに落ちる。

すなわち、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末用カメラと上記自端末のユーザとの距離を検出する自端末用距離検出手段と、上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、上記相手端末に呈示される映像を識別し難くする処理する映像信号処理手段とを有することを特徴とする映像コミュニケーション装置の例である。

この場合、上記映像信号処理手段は、上記相手端末に呈示される映像について、鮮明さを変える処理、サイズを変える処理、明暗を変える処理、動画の再生レートを変える処理、動画の遅延を付加する処理のうちの少なくとも１つの処理を実行する手段である。

また、上記映像信号処理手段は、上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する手段である。

また、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末用カメラと上記自端末のユーザとの距離を検出する距離検出手段と、上記距離検出手段が検出した上記距離に応じて、上記相手端末に送信する音声を処理する音声信号処理手段とを有することを特徴とする映像コミュニケーション装置の例である。

この場合、上記音声信号処理手段は、上記自端末用カメラと上記自端末のユーザとの距離が離れる程、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う手段である。

さらに、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末のユーザの視線の方向または停留時間を検出する視線検出手段と、上記視線検出手段が検出した視線に応じて、上記相手端末に送信する映像を処理する映像信号処理手段とを有することを特徴とする映像コミュニケーション装置の例である。

この場合、上記映像信号処理手段は、上記視線検出手段が検出した視線の方向、視線の停留時間のうちの少なくとも１つに応じて、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する手段である。

そして、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末のユーザの視線の方向または停留時間を検出する視線検出手段と、上記視線検出手段が検出した視線に応じて、上記相手端末に送信する音声を処理する音声信号処理手段とを有することを特徴とする映像コミュニケーション装置の例である。

この場合、上記音声信号処理手段は、上記視線検出手段が検出した視線の方向、視線の停留時間のうちの少なくとも１つに応じて、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う手段である。

また、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、上記自端末のユーザの音声を検出する音声検出手段と、上記音声検出手段が検出した音声に応じて、上記相手端末に送信する映像を処理する映像信号処理手段とを有することを特徴とする映像コミュニケーション装置の例である。

この場合、上記映像信号処理手段は、上記音声検出手段が検出した音声の音量に応じて、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する手段である。

さらに、上記実施例を、方法の発明として把握することができる。

つまり、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、上記自端末用カメラと上記自端末のユーザとの距離を検出する自端末用距離検出工程と、上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、上記相手端末に呈示される映像を識別し難くする処理する映像信号処理工程とを有することを特徴とする映像コミュニケーション装置の制御方法の例である。

また、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、上記自端末用カメラと上記自端末のユーザとの距離を検出する距離検出工程と、上記自端末用カメラと上記自端末のユーザとの距離が離れる程、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う音声信号処理工程とを有することを特徴とする映像コミュニケーション装置の制御方法の例である。

さらに、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、上記自端末のユーザの視線の方向または停留時間を検出する視線検出工程と、上記視線検出工程で検出した視線の方向、視線の停留時間のうちの少なくとも１つに応じて、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する映像信号処理工程とを有することを特徴とする映像コミュニケーション装置の制御方法の例である。

そして、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、上記自端末のユーザの視線の方向または停留時間を検出する視線検出工程と、上記視線検出工程で検出した視線の方向が上記自端末から外れる程、または、視線の停留時間が長い程、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う音声信号処理工程とを有することを特徴とする映像コミュニケーション装置の制御方法の例である。

しかも、上記実施例は、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、上記自端末のユーザの音声を検出する音声検出工程と、上記音声検出工程で検出した音声が小さくなる程、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する映像信号処理工程とを有することを特徴とする映像コミュニケーション装置の制御方法の例である。

次に、上記「動画像の遅延」について、説明する。

動画像と音声との遅延を、端末と利用者との間の距離に応じて制御する。たとえば、単純な人感センサで、端末の前に利用者がいるかどうかを判断し、この判断結果の情報に基づいて、相手端末の前に利用者がいる場合、遅延を付加せず、同不在の場合、遅延を付加する。このときに付加する遅延時間は、不在の継続時間に応じて、増減させることが考えられる。

たとえば、不在時間がｘ分以上継続している場合、ｘ分の遅延時間を付加するようにしてもよい。また、遅延時間中に、相手利用者が戻ってくると、遅延を打ち切り、直ちに再生を継続するようにしてもよい。

このような実装の場合、会話中に相手利用者が端末のすぐそばにいないときの発言も、適切な遅延制御によって聞き逃されることが少なくなり、円滑な映像コミュニケーションを実現することができる。

本発明の実施例１であるコミュニケーション装置１００の概要を示すブロック図である。 実施例１において、端末とユーザとの距離と、映像、音声の鮮明度との関係を示す図である。 実施例１において、端末とユーザとの距離と、映像、音声の鮮明度との関係を示す図である。 映像の鮮明度Ｃ４、Ｃ３、Ｃ２、Ｃ１の例を示す図である。 実施例１における動作を示すフローチャートである。 実施例１における動作を示すフローチャートである。 実施例１における説明図である。

符号の説明

１００…映像コミュニケーション装置、
Ｔ１…自端末（映像コミュニケーション装置）、
１０…入力手段、
１１…撮像手段、
１２…音声入力手段、
１３…近接検知手段、
１４…操作手段、
２０…出力手段、
２１…端末状態表示手段、
２２…映像呈示手段、
２３…音声呈示手段、
３０…通信制御手段、
４０…端末状況情報処理手段、
５０…入出力制御処理手段、
６０…音声処理手段、
７０…映像処理手段、
Ｔ２…相手端末（映像コミュニケーション装置）。

Claims (16)

1. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、
   上記自端末用カメラと上記自端末のユーザとの距離を検出する自端末用距離検出手段と；
   上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、上記相手端末に呈示される映像を識別し難くする処理する映像信号処理手段と；
   を有することを特徴とする映像コミュニケーション装置。
2. 請求項１において、
   上記映像信号処理手段は、上記相手端末に呈示される映像について、鮮明さを変える処理、サイズを変える処理、明暗を変える処理、動画の再生レートを変える処理、動画の遅延を付加する処理のうちの少なくとも１つの処理を実行する手段であることを特徴とする映像コミュニケーション装置。
3. 請求項１において、
   上記映像信号処理手段は、上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する手段であることを特徴とする映像コミュニケーション装置。
4. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、
   上記自端末用カメラと上記自端末のユーザとの距離を検出する距離検出手段と；
   上記距離検出手段が検出した上記距離に応じて、上記相手端末に送信する音声を処理する音声信号処理手段と；
   を有することを特徴とする映像コミュニケーション装置。
5. 請求項４において、
   上記音声信号処理手段は、上記自端末用カメラと上記自端末のユーザとの距離が離れる程、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う手段であることを特徴とする映像コミュニケーション装置。
6. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、
   上記自端末のユーザの視線の方向または停留時間を検出する視線検出手段と；
   上記視線検出手段が検出した視線に応じて、上記相手端末に送信する映像を処理する映像信号処理手段と；
   を有することを特徴とする映像コミュニケーション装置。
7. 請求項６において、
   上記映像信号処理手段は、上記視線検出手段が検出した視線の方向、視線の停留時間のうちの少なくとも１つに応じて、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する手段であることを特徴とする映像コミュニケーション装置。
8. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、
   上記自端末のユーザの視線の方向または停留時間を検出する視線検出手段と；
   上記視線検出手段が検出した視線に応じて、上記相手端末に送信する音声を処理する音声信号処理手段と；
   を有することを特徴とする映像コミュニケーション装置。
9. 請求項８において、
   上記音声信号処理手段は、上記視線検出手段が検出した視線の方向、視線の停留時間のうちの少なくとも１つに応じて、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う手段であることを特徴とする映像コミュニケーション装置。
10. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムにおいて、
    上記自端末のユーザの音声を検出する音声検出手段と；
    上記音声検出手段が検出した音声に応じて、上記相手端末に送信する映像を処理する映像信号処理手段と；
    を有することを特徴とする映像コミュニケーション装置。
11. 請求項１０において、
    上記映像信号処理手段は、上記音声検出手段が検出した音声の音量に応じて、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する手段であることを特徴とする映像コミュニケーション装置。
12. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、
    上記自端末用カメラと上記自端末のユーザとの距離を検出する自端末用距離検出工程と；
    上記自端末用カメラと上記自端末のユーザとの距離と、上記相手端末用カメラと上記相手端末のユーザとの距離とに応じて、上記相手端末に呈示される映像を識別し難くする処理する映像信号処理工程と；
    を有することを特徴とする映像コミュニケーション装置の制御方法。
13. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、
    上記自端末用カメラと上記自端末のユーザとの距離を検出する距離検出工程と；
    上記自端末用カメラと上記自端末のユーザとの距離が離れる程、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う音声信号処理工程と；
    を有することを特徴とする映像コミュニケーション装置の制御方法。
14. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、
    上記自端末のユーザの視線の方向または停留時間を検出する視線検出工程と；
    上記視線検出工程で検出した視線の方向、視線の停留時間のうちの少なくとも１つに応じて、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する映像信号処理工程と；
    を有することを特徴とする映像コミュニケーション装置の制御方法。
15. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、
    上記自端末のユーザの視線の方向または停留時間を検出する視線検出工程と；
    上記視線検出工程で検出した視線の方向が上記自端末から外れる程、または、視線の停留時間が長い程、上記相手端末に送信する音声について、鮮明度を低下させる処理、または、音量を小さくする処理を行う音声信号処理工程と；
    を有することを特徴とする映像コミュニケーション装置の制御方法。
16. 自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で、映像と音声とを通信するシステムの制御方法において、
    上記自端末のユーザの音声を検出する音声検出工程と；
    上記音声検出工程で検出した音声が小さくなる程、上記相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理、解像度を低下させる処理、モザイク処理におけるブロックサイズを順次拡大する処理、ランダムノイズを順次付加する処理、順次暗くする処理、順次明るくする処理、画像の一部を隠すマスキング処理、グレースケール化を含む色変換の度合いを強める処理、３Ｄ図形へのマッピング処理、エンボス加工で加工レベルを順次上げる処理、点描や油彩、水彩、パステル、木炭を含むアートストローク加工の度合いを上げる処理、テクスチャ追加加工の度合いを上げる処理、ソフトフォーカス加工のレベルを順次上げる処理、エッジ強調加工のレベルを順次上げる処理、ガラスブロックや波紋を含むレンズ適用加工の度合いを上げる処理、湾曲加工のレベルを順次上げる処理、ハイパス、ローパス、バンドパスの各フィルタ加工の度合いを上げる処理のうちの少なくとも１つの処理を実行する映像信号処理工程と；
    を有することを特徴とする映像コミュニケーション装置の制御方法。

Images