JP2017216668A - 情報処理装置、会議システムおよび情報処理装置の制御方法 - Google Patents

Abstract

【課題】映像データおよび描画データの各データについて、利用シーンに適したデータ処理を実行することで、利用シーンに適したデータ品質での通信を可能とする。
【解決手段】所定範囲を撮像するカメラ５１と、映像データを処理する映像データ処理部７１と、接続先の会議端末５から入力される映像データおよび描画データを表示するとともに、書き込みを受け付けるタッチパネル・ディスプレイ部５４と、書き込まれた描画データを処理する描画データ処理部７２と、映像データおよび描画データを、接続先の会議端末５へ送信する送信手段と、を備える会議端末５において、書き込み動作の有無を検知する非接触検知部６３を備えるとともに、映像データ処理部７１および描画データ処理部７２は、書き込み動作の有無に応じて、映像データと描画データの少なくとも一方のデータ量を規定量から変更する処理を実行する。
【選択図】図２

Description

本発明は、情報処理装置、会議システムおよび情報処理装置の制御方法に関する。

近年、インターネット等のネットワークを介して遠隔地（拠点）に設置された端末装置（会議端末ともいう）を接続し、遠隔会議（テレビ会議、ビデオ会議ともいう）を行う会議システム（遠隔会議システム、テレビ会議システム、ビデオ会議システムともいう）が普及している。

この会議システムでの会議端末は、各拠点の会議室等に設置され、相手方の会議端末との間で会議出席者の画像や音声をやり取りすることで遠隔会議を行う。具体的には、会議端末の各々は、遠隔会議に出席する会議出席者をカメラで撮影するとともに会議出席者の音声をマイクで集音し、相手方の会議端末に映像データ（画像データ）や音声データを送信する一方で、相手方の会議端末から送信された映像データおよび音声データを受信し、受信した映像データを用いた会議画面を表示部に表示出力するとともに音声データをスピーカから音出力する。

また、会議システムにおいて、映像、音声のやり取りだけでなく、会議中に表示されている資料などの画像データへの書き込み内容や、新たに書き込まれた内容についても接続先と共有したいという要求があった。従来、手書きした内容を共有する場合には、実際にカメラで手書きした資料等を映す方法しかなく、接続先では、手書きした内容が反映されなかった。

これに対し、会議端末として、タッチパネルを有するインタラクティブ・ホワイトボード（電子黒板）を備えたものを用いることで、映像、音声のやり取りだけでなく、タッチパネルへ書き込まれた内容（描画データ）を接続先と共有することができる会議システムが提案されている。

インタラクティブ・ホワイトボードを用いた会議端末では、不特定多数の利用者によって使用されるインターネット等のネットワークを用いて通信する場合、回線の混雑状況によっては映像データ、音声データ、および描画データ等の各データを送受信する十分なネットワーク帯域を確保できない場合があり、限られたネットワーク帯域の中でリソース配分する必要がある。このため、会議端末側で使用帯域の上限を設定し、映像データ、音声データ、および描画データ等の各データを、送信可能なサイズに符号化してから相手方の拠点に送る処理が行われる。

ここで、描画データは、書き込み内容を示すデータであるが、通常は、書き込み対象となっている文書、図面などの資料（自拠点と相手先拠点間で共有している資料）等のデータを含むものである。すなわち、会議システムにおける描画データは、通常、会議端末の表示部に表示されている資料等の画面共有データを含んでいるため、その送受信には、十分なネットワーク帯域を確保する必要がある。

特許文献１には、オブジェクト符号化方式を用いて符号化したデータをＡＴＭ（ＡｓｙｎｃｈｒｏｎｏｕｓＴｒａｎｓｆｅｒ Ｍｏｄｅ：非同期転送モード）等のようなＱｏｓ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）に応じたサービスを提供できる伝送路を介して送信するテレビ会議等の装置において、全体的な通信コストを低減するために、複数のオブジェクトデータを伝送する際、状況に応じたリアルタイム性に即したサービスクラスを選択してデータ伝送することで、適したサービスクラスでのデータ伝送を実現する通信装置が開示されている。

ところで、インタラクティブ・ホワイトボードを用いた会議端末では、利用されるシーンに応じて重要な情報が異なると考えられる。例えば、相手方と顔を合わせて議論を交わすような会議では相手方の表情がわかることが求められるため映像データが重要となる。一方、図面や書面等を共有し、図面や書面等に説明や注記などの書き込みを入れて説明するような会議では、書き込み内容がわかることが求められるので、描画データが重要となる。

しかしながら、これまでのインタラクティブ・ホワイトボードを用いた会議端末では、映像データ、描画データ等の各データについて、利用シーンを配慮するとともに、利用シーンに適したデータ処理が行われていなかった。

そこで本発明は、映像データおよび描画データの各データについて、利用シーンに適したデータ処理を実行することで、利用シーンに適したデータ品質での通信を可能とすることができる情報処理装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る情報処理装置は、所定範囲を撮像する撮像手段と、前記撮像手段から入力される映像データを処理する映像データ処理手段と、接続先の情報処理装置から入力される映像データおよび描画データを表示するとともに、書き込みを受け付ける入力表示手段と、前記入力表示手段へ書き込まれた描画データを処理する描画データ処理手段と、前記映像データ処理手段で処理された映像データおよび前記描画データ処理手段で処理された描画データを、前記接続先の情報処理装置へ送信する送信手段と、を備える情報処理装置において、前記入力表示手段への書き込み動作の有無を検知する検知部を備えるとともに、前記映像データ処理手段および前記描画データ処理手段は、前記検知部が検知した書き込み動作の有無に応じて、前記映像データと前記描画データの少なくとも一方のデータ量を規定量から変更する処理を実行するものである。

本発明によれば、映像データおよび描画データの各データについて、利用シーンに適したデータ処理を実行することで、利用シーンに適したデータ品質での通信を可能とすることができる。

テレビ会議システムの構成例を示すブロック図である。 会議端末の主要内部構成例を示すブロック図である。 インタラクティブ・ホワイトボードを備えた会議端末の説明図である。 映像優先モードおよび描画優先モードの設定の一例を示す説明図である。 タッチパネル・ディスプレイ部の表示レイアウトの説明図であって、（Ａ）「映像優先モード」の場合、（Ｂ）「描画優先モード」の場合である。 タッチパネル・ディスプレイ部と電子ペンとの距離と時間の関係を示すグラフである。 インタラクティブ・ホワイトボードを備えた会議端末の他の例である。 モード切替制御の一例を示すフローチャートである。

以下、本発明に係る構成を図１から図８に示す実施の形態に基づいて詳細に説明する。

（会議システム構成）
本発明に係る会議システムの一実施形態であるテレビ会議システムの構成について説明する。

図１は、テレビ会議システム１の構成例を示すブロック図である。図１に示すように、テレビ会議システム１は、サーバ３と、会議予約サーバ４と、複数の会議端末５（５−１，５−２，５−３，５−４・・・）とを備え、これらがインターネット等のネットワークＮを介して接続されて構成される。

サーバ３、会議予約サーバ４としては、サーバコンピュータやワークステーション等を利用することができ、会議端末５としては、電子黒板またはインタラクティブ・ホワイトボードを備えた専用の会議端末装置（情報処理装置）のほか、パーソナルコンピュータ等の汎用の装置に電子黒板またはインタラクティブ・ホワイトボードを接続した会議端末装置（情報処理装置）を利用することができる。

サーバ３は、個々の会議端末５との間で通信接続が確立しているか否かを監視する処理や、会議開始時においてテレビ会議に参加する拠点（参加拠点）に設置された会議端末５を呼び出す処理、呼び出しに応答して通信接続が確立した参加拠点の会議端末５からテレビ会議の間に送信される映像データ、音声データ、描画データを相手方（他の参加拠点）の会議端末５に転送する処理等を行う。

会議予約サーバ４は、会議の予約状況を管理する機能を有し、会議端末５の他の情報処理端末とも接続可能としている。例えば、会議主催者が会議予約サーバ４に対して、事前に、会議開催日時、場所、会議参加者、役割、使用する会議端末等の会議情報を入力しておくことで、会議の予約状況を管理することが可能となっている。

会議端末５の各々は、遠隔地にある拠点の会議室等に設置され、テレビ会議の出席者によって操作される。テレビ会議中の各参加拠点の会議端末５は、後述するカメラ５１によって撮影した会議出席者の映像データや、マイク５２によって集音した会議出席者の音声データや、インタラクティブ・ホワイトボードへの描画データ、等をサーバ３に送信する一方、他の参加拠点の会議端末５から送信されてサーバ３によって転送された映像データ、音声データ、描画データ等を受信し、タッチパネル・ディスプレイ部５４に会議画面として表示出力するとともにスピーカ５５から音出力する。

例えば、このテレビ会議システム１において図１に示す３台の会議端末５−１〜５−３が参加するテレビ会議では、会議端末５−１から送信された映像データや音声データはサーバ３の制御によって相手方である会議端末５−２，５−３に転送される一方、会議端末５−４には転送されない。同様に、会議端末５−２，５−３から送信された映像データや音声データはサーバ３の制御によって各々の相手方である会議端末５−１，５−３や会議端末５−１，５−２に転送され、会議端末５−４には転送されない。このようにして、テレビ会議システム１では、サーバ３との通信接続が確立された２台以上の会議端末５が設置された参加拠点間でテレビ会議が行われる。

（会議端末構成）
図２は、インタラクティブ・ホワイトボードを用いた会議端末５の主要内部構成例を示すブロック図である。図２に示すように、会議端末５は、カメラ５１と、マイク５２と、操作部５３と、タッチパネル・ディスプレイ部５４と、スピーカ５５と、記憶装置５６と、メモリ５７と、ＬＡＮインタフェース（Ｉ／Ｆ）部５８と、ＣＰＵ５９とを備える。

カメラ５１は、会議出席者の画像を入力するためのものであり、会議室内の様子を撮影し、生成した映像データを随時、ＣＰＵ５９に出力する。このカメラ５１は、例えば、広角レンズを用いて構成され、その視野範囲（画角）内に会議出席者の全員が含まれるようにテレビ会議の開始前等において会議室内の適所に設置される。

マイク５２は、会議出席者の音声を入力する音声入力部であり、集音した会議出席者の音声データを随時、ＣＰＵ５９に出力する。マイク５２としては、内蔵マイク、ＵＳＢやアナログタイプの外付けマイクを用いることができる。また、複数のマイクを有するマイクアレイユニットを用いることもできる。

操作部５３は、キーボードやマウス、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力データをＣＰＵ５９に出力する。

タッチパネル・ディスプレイ部５４は、ディスプレイ機能とタッチパネル機能を備えた入力表示装置である。タッチパネル・ディスプレイ部５４は、ＣＰＵ５９から入力される映像データ、描画データを表示させるとともに、ユーザによる電子ペン（電子書込デバイス）や指などを用いた文字、線図、画像等の書き込みの入力を受け付ける入力表示部６０（タッチパネル・ディスプレイ）を有している。また、タッチパネル・ディスプレイ部５４は、入力表示部６０に触れた座標をＣＰＵ５９に出力する座標出力部６１を有する。

また、タッチパネル・ディスプレイ部５４は、電子ペンや指などが接触していること（書き込み中であること）を検知する接触検知部６２と、電子ペンや指などを非接触で検知する非接触検知部６３と、を有している。

非接触検知部６３は、電子ペンや指などを入力表示部６０に近接させたことを検知する近接センシング機能（ホバリング検知という）を有している。タッチパネル・ディスプレイ部５４の非接触検知部６３は、例えば、ディスプレイ一体型の静電容量方式タッチパネル等によって実現することができ、電子ペンや指などをタッチパネルに近づけると、ペンや人体の静電容量にセンサが反応することでホバリング検知が可能となっている。近接センシング機能を有するタッチパネル・ディスプレイ部５４であれば、入力方式、表示方式は特に限られるものではない。

接触検知部６２は、電子ペンや指などの接触、および接触の終了（離間）を検知したことをＣＰＵ５９に通知する。また、非接触検知部６３は、電子ペンや指などの近接、近接の終了（離間）を検知した場合、ＣＰＵ５９にこれを通知する。

図３は、タッチパネル・ディスプレイ部５４を備えた会議端末５の説明図である。この会議端末５は、インタラクティブ・ホワイトボードにて構成され、タッチパネル・ディスプレイ部５４（入力表示部６０）を備えるとともに、マイク５２、カメラ５１、スピーカ５５等が内蔵されている。なお、タッチパネル・ディスプレイ部５４は、マイク５２、カメラ５１、スピーカ５５等を備えた会議端末５と別体の装置として構成され、会議端末５と接続される構成であってもよい。

図３に示すように、会議端末５のタッチパネル・ディスプレイ部５４には、電子ペン１００や指で直接、タッチパネル・ディスプレイ部５４に描画することが可能な構成となっており、書き込みされた内容は、ネットワーク経由で他拠点と共有することができる。また、タッチパネル・ディスプレイ部５４には、自拠点や接続先の画像が表示される。図３では、領域Ａが描画領域、領域Ｂが相手方の拠点の映像を表示する領域、領域Ｃが自拠点の映像を表示する領域である表示レイアウトとなっている。

スピーカ５５は、ＣＰＵ５９から入力される音声データを音出力する。スピーカ５５としては、内蔵スピーカ、ＵＳＢやアナログタイプの外付けスピーカを用いることができる。また、複数のスピーカを有するスピーカアレイユニットを用いることもできる。

記憶装置５６は、会議端末５を動作させ、この会議端末５が備える種々の機能を実現するためのプログラムや、これらプログラムの実行中に使用されるデータ等を記録しておくためのものである。この記憶装置５６は、例えば、更新記録可能なフラッシュメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、メモリカード等の情報記録媒体およびその読み書き装置等によって実現され、用途に応じた記憶装置を適宜採用して用いることができる。

メモリ５７は、ＣＰＵ５９の作業用メモリとして用いられるものであり、ＣＰＵ５９が実行するプログラムを展開し、あるいはこのプログラムの実行中に使用されるデータ等を一時的に保持するメモリ領域を備える。例えば、ＤＤＲメモリのような揮発性のメモリを用いることができる。

ＬＡＮＩ／Ｆ部５８は、外部（例えばサーバ３）とのデータ通信を行うためのものであり、ＬＡＮを経由してネットワークＮと接続し、相手方の会議端末５との映像データ、描画データ、音声データ等の送受を、サーバ３を介して行う。このＬＡＮＩ／Ｆ部５８は、１０Ｂａｓｅ−Ｔ，１００Ｂａｓｅ−ＴＸ，１０００Ｂａｓｅ−Ｔ等に対応した制御を行いイーサネット（登録商標）に接続するもの（有線ＬＡＮ）や、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎに対応した制御を行うもの（無線ＬＡＮ）等、接続態様に応じたものを適宜採用して用いることができる。

ＣＰＵ５９は、後述する「映像優先モード」と「描画優先モード」のモード切替制御をするモード切替制御部７０（モード切替制御手段）と、映像データについての各種の処理を施す映像データ処理部７１（映像データ処理手段）と、描画データについての各種の処理を施す描画データ処理部７２（描画データ処理手段）と、音声データについての各種の処理を施す音声データ処理部７３（音声データ処理手段）と、を備えている。

また、ＣＰＵ５９は、カメラ５１から入力される映像データ、タッチパネル・ディスプレイ部５４にて書き込みがされた描画データ、マイク５２から入力される音声データ、ＬＡＮＩ／Ｆ部５８から入力される相手方の会議端末５からの映像データ、描画データ、音声データ、操作部５３から入力される入力データ、記憶装置５６に記録されるプログラムやデータ等をもとに、会議端末５を構成する各部への指示やデータの転送等を行って会議端末５の動作を統括的に制御する。

例えば、ＣＰＵ５９は、サーバ３からの呼び出しを受けてサーバ３との通信接続が確立した後、映像データ、描画データ、音声データ等をサーバ３に送信する処理と、サーバ３から転送される相手方の会議端末５からの映像データ、描画データ、音声データ等を受信する処理とを並行して繰り返し行う。

具体的には、ＣＰＵ５９は、テレビ会議中にカメラ５１から随時入力される映像データ、タッチパネル・ディスプレイ部５４から随時入力される描画データ、マイク５２から随時入力される音声データ、をエンコード（符号化）してＬＡＮＩ／Ｆ部５８に出力することで、これらをサーバ３に送信する処理を行う。ＣＰＵ５９は、例えば、Ｈ.２６４／ＡＶＣ、Ｈ.２６４／ＳＶＣ等の規格によるコーデックを行う。

また、ＣＰＵ５９は、これと並行し、相手方の会議端末５から送信されてサーバ３によって転送された映像データ、描画データ、音声データ等をＬＡＮＩ／Ｆ部５８を介して受信する。そして、ＣＰＵ５９は、受信した各データをデコード（復号化）してタッチパネル・ディスプレイ部５４、スピーカ５５に送信するコーデック機能を有している。これにより、相手方の会議端末５で入力された画像および音声の再生を行うとともに、相手方の会議端末５で書き込みがされた内容を表示させる。

なお、本実施形態では、ＣＰＵ５９内部に映像データ処理部７１、描画データ処理部７２、音声データ処理部７３が設けられる例を説明したが、各部はＣＰＵ５９外部のモジュールとして構成するものであってもよい。

（モード切替制御）
既に述べたようにインタラクティブ・ホワイトボードを用いた会議端末５では、利用シーンに応じて重要な情報が異なるといえる。例えば、相手方の拠点のユーザと議論を交わすような会議では映像、音声が重要となり、図面や書面等に説明や注記などの書き込みを入れて説明するような会議では、描画内容が重要となる。

しかしながら、これまでは、映像および音声が重要となる利用シーン、描画内容が重要となる利用シーンにおいて、各データについてのデータ量、ネットワーク帯域におけるリソース配分に特段の考慮がされておらず、各データについて予め割り当てられた配分で使用している。

したがって、例えば、映像および音声が重要となる利用シーンにおいて、表示される描画データ（書き込み内容）が要求される以上に高品位な画質となる一方で、映像データについては、要求される画質よりも低下してしまう場合があった。また、描画内容が重要となる利用シーンにおいて、映像データは高品位な画質となる一方で、表示される描画データが要求される画質よりも低下してしまう場合があった。

これに対し、利用シーンに応じて、ユーザの操作部５３の操作により、帯域の割り当てを変更する制御も考えられるが、利用シーンが変わるごとに、ユーザがモード選択などの操作をすることは煩雑であって現実的ではない。

そこで、本実施形態に係る情報処理装置は、所定範囲を撮像する撮像手段（カメラ５１）と、撮像手段から入力される映像データを処理する映像データ処理手段（映像データ処理部７１）と、接続先の情報処理装置（会議端末５）から入力される映像データおよび描画データを表示するとともに、書き込みを受け付ける入力表示手段（タッチパネル・ディスプレイ部５４）と、入力表示手段へ書き込まれた描画データを処理する描画データ処理手段（描画データ処理部７２）と、映像データ処理手段で処理された映像データおよび描画データ処理手段で処理された描画データを、接続先の情報処理装置へ送信する送信手段（ＣＰＵ５９、ＬＡＮＩ／Ｆ部５８）と、を備える情報処理装置（会議端末５）において、入力表示手段への書き込み動作の有無を検知する検知部（非接触検知部６３等）を備えるとともに、映像データ処理手段および描画データ処理手段は、検知部が検知した書き込み動作の有無に応じて、映像データと描画データの少なくとも一方のデータ量を規定量から変更する処理を実行するものである。なお、ここでいう、「書き込み動作」には、実際に入力表示手段へ書き込みがなされる動作に加え、その前後の動作（予備動作）が含まれる。また、括弧内は実施形態での符号、適用例を示す。

（映像優先モードおよび描画優先モードの設定）
図４は、「映像優先モード」および「描画優先モード」の設定の一例を示す説明図である。本実施形態では、相手方の拠点のユーザと議論を交わすような利用シーンでは「映像優先モード」（第１のモード）に設定する。また、図面や書面等に説明や注記などの書き込みを入れて説明するような利用シーンでは「描画優先モード」（第２のモード）に設定する。

「映像優先モード」および「描画優先モード」の切り替えは、モード切替制御部７０によるモード切替制御により自動実行される。

本実施形態では、「映像優先モード」では、音声データを高品位、映像データを高品位、描画データを低品位とする。また、「描画優先モード」では、音声データを高品位、映像データを低品位、描画データを高品位とする。これらの処理は、映像データ処理部７１、描画データ処理部７２、音声データ処理部７３の各部で実行される。

高品位とは、使用される符号化の規格において、高品位となる符号化パラメータを設定することをいい、低品位とは使用される符号化の規格において、低品位となる符号化パラメータを設定することをいう。

また、高品位となる符号化パラメータを設定する場合、各データについて配分されている帯域以上の帯域を使用することを含み、低品位となる符号化パラメータを設定する場合、各データについて配分されている帯域以下の帯域で送受信が可能であることを含むものである。

また、高品位、低品位とは、相対的な意味をいうものであり、例えば、高品位は、必ずしも高品位化するための特段の処理を実行することを含むものではない。例えば、低品位が通常のデータ量からデータ量を低減させる処理を実行するもの、高品位が通常のデータ量を維持するものであってもよい。反対に、低品位は、必ずしも低品位化するための特段の処理を実行することを含むものではない。例えば、低品位が通常のデータ量を維持するもの、高品位が通常のデータ量からデータ量を増加させる処理を実行するものであってもよい。

映像データおよび描画データの符号化パラメータとしては、例えば、解像度、ビットレート、Ｓ／Ｎ比、フレームレート等が挙げられる。音声データの音声の符号化パラメータの例としては、例えば、ビットレート等が挙げられる。なお、符号化パラメータの設定では、複数のパラメータを変更してもよいのは勿論である。また、映像データおよび描画データの符号化パラメータの重要度は、（１）解像度、（２）ビットレート、Ｓ／Ｎ比、（３）フレームレートの順であって、例えば、低品位化の際には、先ず、解像度を変更することが最も好適である。

「映像優先モード」において、音声データを高品位、映像データを高品位、描画データを低品位とすることで、この利用シーンで重要視される相手方の拠点の話者の声や表情を高品位に得ることができる。例えば、音声が明瞭で、映像の解像度が高いため、ブロックノイズが少なく、スムーズな動きとなることで、相手の表情がよくわかり円滑なコミュニケーションを図ることができる。

一方、「描画優先モード」において、音声データを高品位、映像データを低品位、描画データを高品位とすることで、この利用シーンで重要視される音声および描画内容を高品位に得ることができる。例えば、音声が明瞭で、描画の解像度が高いため、ブロックノイズが少なく、フレームレート遅延なしで、文字潰れやストローク遅延等を低減することができる。

なお、本実施形態では、「映像優先モード」および「描画優先モード」の双方のモードにおいて、音声データを高品位としている。これは、音声データはいずれの利用シーンでも重要であることや、音声データのデータ量は映像データや描画データに比べて少ないこと等の理由によるが、「描画優先モード」において、映像データと同様に、音声データについてもデータ量を低減する処理を実行して、さらにデータ量の低減を図るようにしてもよい。

（表示レイアウトの設定）
次に、タッチパネル・ディスプレイ部の表示レイアウトについて説明する。図５は、タッチパネル・ディスプレイ部５４の表示レイアウトの説明図であって、（Ａ）「映像優先モード」の場合の表示レイアウト、（Ｂ）「描画優先モード」の場合の表示レイアウトである。

図５（Ａ）に示す「映像優先モード」では、相手方の拠点の映像（映像Ａ）が最も大きいサイズで表示され、自拠点の映像（映像Ｂ）と描画内容（図面および描画）（映像Ｃ）とは小さいサイズで表示される。「映像優先モード」では、映像データが高品位で送信されるため、これを複合化し、大きいサイズで表示した場合もクリアな映像として表示される。

「映像優先モード」から、図５（Ｂ）に示す「描画優先モード」に切り替わると、表示レイアウトが変更され、描画内容（映像Ｃ）が最も大きいサイズで表示され、自拠点の映像（映像Ｂ）と、相手方の拠点の映像（映像Ａ）とは小さいサイズで表示される。「描画優先モード」では、描画データが高品位で送信されるため、これを複合化し、大きいサイズで表示した場合もクリアな描画内容として表示される。

ここで、「映像優先モード」および「描画優先モード」の切り替えは、モード切替制御部７０によるモード切替制御により自動実行されるが、モードの切替の際に、表示レイアウトも併せて変更することで、ユーザに描画が開始されたことを認識させて、描画を用いた説明開始時の見逃しや聴き逃しを防止することができる。

（モード切替制御）
次いで、「映像優先モード」および「描画優先モード」を切り替えるモード切替制御について説明する。

先ず、タッチパネル・ディスプレイ部５４における非接触検知部６３のホバリング検知について説明する。図６は、ユーザが電子ペン１００をタッチパネル・ディスプレイ部５４（入力表示部６０）に近づけて、これに接触した後、離間した場合におけるタッチパネル・ディスプレイ部５４と電子ペン１００との距離（縦軸）と、時間（横軸）と、の関係を示すグラフである。なお、以下の説明では、特に記載のない限り、電子ペン１００を用いた場合の書き込みについて説明するが、指による書き込みの場合も制御は同様である。

図６に示すように、電子ペン１００をタッチパネル・ディスプレイ部５４に近づけていくと（０〜ｔ０）、タッチパネル・ディスプレイ部５４と電子ペン１００との距離は小さくなっていく。そして、その距離が距離ｄとなった時点（ｔ０）で、非接触検知部６３によるホバリング検知可能な距離に到達する。

時間（０〜ｔ０）までは、「映像優先モード」に設定がされる。そして、ホバリング検知がされた時点（ｔ０）で、描画（書き込み動作）の開始（タッチパネルの利用開始）と判断し、「描画優先モード」へ切り替える。

次いで、電子ペン１００を近づけることで、電子ペン１００は、タッチパネル・ディスプレイ部５４に接触し、タッチパネル・ディスプレイ部５４と電子ペンの距離は０に近い状態で描画がなされる。

そして、描画が終了し、電子ペン１００がタッチパネル・ディスプレイ部５４から離れると、タッチパネル・ディスプレイ部５４と電子ペン１００の距離は大きくなっていき、非接触検知部６３によるホバリング検知可能が距離外となる（ｔ１）。

時間（ｔ０〜ｔ１）までは、「描画優先モード」に設定がされる。そして、ホバリング検知がされなくなる時点（ｔ１）で、描画の終了（タッチパネルの利用終了）と判断する。

実際の描画において、電子ペン１００は、継続してタッチパネル・ディスプレイ部５４と接触しているものではなく、一旦、タッチパネル・ディスプレイ部５４から離れて、また、すぐに接触（描画）が継続されることが多い。そこで、描画の一時的な停止ものであるのか、描画の終了であるのかを判断することが好ましい。本実施形態では、判断のための閾値として設定値ｔｘを設けている。

図６に示す例では、描画停止（ｔ１）から次の描画開始（ｔ２）までは、設定値ｔｘよりも短い時間となっており、この場合、タッチパネル利用の一次停止中と判断して、「描画優先モード」を維持するようにしている。

一方、描画停止（ｔ３）から次の描画開始（ｔ４）までは、設定値ｔｘよりも長い時間となっており、この場合、タッチパネル利用終了と判断して、「映像優先モード」への切替を実施する。切り替えは、ｔｘ経過時になされるものであればよい。

なお、ｔｘの値は、予め設定された所定の値であっても、ユーザが設定可能としてもよい。また、タッチパネルの利用時間を蓄積しておき、その統計情報から学習した値とすることも好ましい。この場合、ユーザの使用態様に応じた値に設定することができる。なお、ｔｘを設定せず、描画の開始／停止ごとにモードを切り替えてもよいのは勿論である。ｔｘを設定することで、モードごとに表示レイアウトを変更する場合も、頻繁にレイアウトが変更してしまうことを防ぐことができる。

このように、タッチパネル・ディスプレイ部５４に触れる前の予備動作を検知（ホバリング検知）し、この検知結果をトリガーとしてモードを切り替えることで、タッチパネル利用開始直後から相手方の拠点で高品位な描画内容を表示可能となっている。

なお、本実施形態では、ホバリング検知が可能なタッチパネル・ディスプレイ部５４を用いる例について説明したが、ホバリング検知は必須ではなく、タッチパネル・ディスプレイ部５４への接触／非接触の検知に基づいて、描画の開始／終了を判断するものであってもよい。この場合、ホバリング検知ができない方式のタッチパネルを適用することもできる。

また、描画の開始／終了の判断は、タッチパネル・ディスプレイ部５４へのホバリング検知（または接触検知）に限られるものではない。例えば、カメラ５１で撮像した撮像データに基づいてユーザの動きを検知し、ユーザがタッチパネル・ディスプレイ部５４への書き込み動作を行うことを検知してもよい。また、電子ペン１００に書き込み中に押下されるボタン等が設けられている場合は、このボタンの押下の有無を描画の開始／終了の判断に用いることもできる。

また、以下に説明する方式で電子ペン１００の利用の予備動作を検知することも好ましい。図７は、タッチパネル・ディスプレイ部５４を備えた会議端末５の他の例である。図７に示す会議端末５は、タッチパネル・ディスプレイ部５４（入力表示部６０）を備えるとともに、タッチパネル・ディスプレイ部５４の下部に、電子ペン１００を載置するためのトレイ部としての電子ペン用トレイ６４を備えている。なお、マイク５２、カメラ５１、スピーカ５５等の図示は省略している。また、電子ペン用トレイ６４を設ける位置は、図７の例に限られるものではない。

電子ペン用トレイ６４は、電子ペン１００が電子ペン用トレイ６４に載置されているか否かを検知する検知部としての機能を備えており、その結果をＣＰＵ５９に通知する。

電子ペン１００が電子ペン用トレイ６４に載置されているか否かを検知する技術として、電子ペン１００と電子ペン用トレイ６４には、例えば、ＩＳＯ／ＩＥＣ＿１４４４３＿ＴｙｐｅＡ，Ｂ、ＩＳＯ／ＩＥＣ＿１８０９２（ＮＦＣ）、Ｆｅｌｉｃａなどの非接触ＩＣカードの通信技術を適用し、電子ペン用トレイ６４をリーダ・ライタ、電子ペン１００をタグとして機能させることが好ましい。例えば、ＮＦＣを適用する場合、電子ペン１００にＮＦＣタグ、電子ペン用トレイ６４にＮＦＣタグリーダを備え、ＮＦＣタグリーダは、ＮＦＣタグを検知していることをＣＰＵ５９に通知する。これにより会議端末５は、電子ペン１００が電子ペン用トレイ６４に載置されているかを判断することができる。

このとき、電子ペン１００が電子ペン用トレイ６４に載置されているかに応じて、電子ペン１００の利用の予備動作を検知することができる。すなわち、図７（Ａ）に示すように、電子ペン１００が電子ペン用トレイ６４に載置されている場合は、ユーザによる入力表示部６０への書き込み動作がなされていないと判断することができ、「映像優先モード」が選択される。

一方、図７（Ｂ）に示すように、電子ペン１００が電子ペン用トレイ６４に載置されていない場合は、ユーザにより電子ペン１００が使用されている状態（すなわち、ユーザによる描画中およびその前後の動作中）であると判断することができ、「描画優先モード」が選択される。

このように、ユーザが電子ペン用トレイ６４から電子ペン１００を取ったり、電子ペン用トレイ６４に電子ペン１００を置いたりする動作に応じて、「映像優先モード」と「描画優先モード」を切り替えることができる。この予備動作の検知方式によれば、ユーザが電子ペン１００を用いて描画をするために必要な行動を利用して、モードの切り替えを自動で実施することができるため、ユーザは意識することなく、利用シーンに適したモードに切り替えが可能となる。

図８は、モード切替制御の一例を示すフローチャートである。ここでは、図６で説明したホバリング検知の場合を例に説明する。先ず、会議が開始される（Ｓ１０１）と、「映像優先モード」に設定される（Ｓ１０２）。次いで、ホバリング検知したか否かを判断する（Ｓ１０３）。ホバリング検知がされない場合（Ｓ１０３：Ｎｏ）は、「映像優先モード」のままである。

一方、ホバリング検知がされた場合（Ｓ１０３：Ｙｅｓ）は、「描画優先モード」に切り替える（Ｓ１０４）。

「描画優先モード」に切り替わった状態では、ホバリング検知しているか否かを判断し（Ｓ１０５）、検知している場合（Ｓ１０５：Ｙｅｓ）は、描画の継続中であることを判断する。一方、検知しない場合（Ｓ１０５：Ｎｏ）は、設定値ｔｘの経過を判断する（Ｓ１０６）。

設定値ｔｘが経過していない場合（Ｓ１０６：Ｎｏ）は、描画の一次停止中と判断する。一方、設定値ｔｘが経過した場合（Ｓ１０６：；Ｙｅｓ）は、描画の終了と判断し、再度、「映像優先モード」へ切り替える（Ｓ１０７）。以上の処理を会議の終了まで繰り返す（Ｓ１０８）。

なお、「映像優先モード」および「描画優先モード」の切り替えは、上述したモード切替制御により自動実行されるが、自動切替がされたモードをユーザの操作部５３からの操作により、ユーザ所望のモードに設定可能としてもよい。また、「映像優先モード」および「描画優先モード」のモード切替制御の実行自体のオン／オフの設定を可能とすることが好ましい。また、拠点間で相手方の端末のモード設定を変更可能とすることも好ましい。

以上説明したように、本実施形態では、インタラクティブ・ホワイトボードを用いた会議端末において、相手方の拠点（またはサーバー）に送出するデータストリームの符号化パラメータの決定に際して、ユーザのタッチパネル利用の予備動作を検知し、これをトリガーとして、映像、音声、インタラクティブ・ホワイトボード描画の符号化パラメータを変更している。

例えば、インタラクティブ・ホワイトボード利用の予備動作を検知すると、テレビ会議中の重要情報を描画と判定し、映像の圧縮率を高めて（画質やフレームレートを低下させて）、描画の圧縮率を下げる（画質やフレームレートを低下させない）ようにして、映像にかかるデータ量を抑えて、描画にかかるデータ量に割り振るので、受信拠点側で復号化した描画品質は最大限に高められる。

一方、インタラクティブ・ホワイトボード利用の予備動作が検知されない場合は、会議中の重要情報を、映像と判定し、描画の圧縮率を高めて（画質やフレームレートを低下させて）、映像の圧縮率を下げる（画質やフレームレートを低下させない）ようにして、描画にかかるデータ量を抑えて、映像にかかるデータ量に割り振るので、受信拠点側で復号化した映像品質は最大限に高められる。

したがって、ユーザが操作することなく、利用シーンに応じて、重要となるデータについての品質を高めることが可能となる。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

１ テレビ会議システム
３ サーバ
４ 会議予約サーバ
５ 会議端末
５１ カメラ
５２ マイク
５３ 操作部
５４ タッチパネル・ディスプレイ部
５５ スピーカ
５６ 記憶装置
５７ メモリ
５８ ＬＡＮＩ／Ｆ部
５９ ＣＰＵ
６０ 入力表示部
６１ 座標出力部
６２ 接触検知部
６３ 非接触検知部
６４ 電子ペン用トレイ
７０ モード切替制御部
７１ 映像データ処理部
７２ 描画データ処理部
７３ 音声データ処理部
１００ 電子ペン
Ｎ ネットワーク

特開２００２−２０４４３７号公報

Claims (11)

1. 所定範囲を撮像する撮像手段と、
   前記撮像手段から入力される映像データを処理する映像データ処理手段と、
   接続先の情報処理装置から入力される映像データおよび描画データを表示するとともに、書き込みを受け付ける入力表示手段と、
   前記入力表示手段へ書き込まれた描画データを処理する描画データ処理手段と、
   前記映像データ処理手段で処理された映像データおよび前記描画データ処理手段で処理された描画データを、前記接続先の情報処理装置へ送信する送信手段と、を備える情報処理装置において、
   前記入力表示手段への書き込み動作の有無を検知する検知部を備えるとともに、
   前記映像データ処理手段および前記描画データ処理手段は、前記検知部が検知した書き込み動作の有無に応じて、前記映像データと前記描画データの少なくとも一方のデータ量を規定量から変更する処理を実行することを特徴とする情報処理装置。
2. 前記映像データ処理手段および前記描画データ処理手段は、前記検知部が検知した書き込み動作の有無に応じて、各データに割り当てられた使用帯域を変更することを特徴とする請求項１に記載の情報処理装置。
3. 前記入力表示手段への書き込み動作がされない間を第１のモード、前記入力表示手段への書き込み動作中を第２のモードに設定するモード切替制御手段を備え、
   前記映像データ処理手段は、前記第２のモード中は、前記第１のモード中よりも、映像データのデータ量を低減させる処理を実行し、
   前記描画データ処理手段は、前記第１のモード中は、前記第２のモード中よりも、描画データのデータ量を低減させる処理を実行することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記モード切替制御手段は、前記第２のモードにおいて、書き込み動作が検知されなくなった後、所定時間の経過後に前記第１のモードに切り替えることを特徴とする請求項３に記載の情報処理装置。
5. 音声を入力する音声入力部と、
   前記音声入力部から入力される音声データを処理する音声データ処理手段と、を備え、
   前記音声データ処理手段は、
   前記第１のモードと前記第２のモードとで音声データの処理を同一とする処理、
   または、前記第２のモード中は、前記第１のモード中よりも、音声データのデータ量を低減させる処理、のいずれかを実行することを特徴とする請求項３または４に記載の情報処理装置。
6. 前記入力表示手段は、該入力表示手段へ書き込み動作をする書き込み主体を非接触で検知することを特徴とする請求項１から５までのいずれかに記載の情報処理装置。
7. 前記入力表示手段へ書き込み可能な電子書込デバイスを載置するトレイ部を有し、
   前記検知部は、前記トレイ部に前記電子書き込みデバイスが載置されているか否かに応じて、前記書き込み動作の有無を検知することを特徴とする請求項１から５までのいずれかに記載の情報処理装置。
8. 前記データ量を規定量から変更する処理は、解像度、ビットレート、Ｓ／Ｎ比、フレームレートの少なくとも１つを変更することによるものであることを特徴とする請求項１から７までのいずれかに記載の情報処理装置。
9. 前記モード切替制御手段は、前記第１のモードと前記第２のモードとで、前記入力表示手段へ表示される画面のレイアウトを変更することを特徴とする請求項３から５までのいずれかに記載の情報処理装置。
10. 請求項１から９までのいずれかに記載の情報処理装置を会議端末とし、該会議端末間で映像データおよび描画データの送受信を行うことを特徴とする会議システム。
11. 所定範囲を撮像する撮像手段と、
    前記撮像手段から入力される映像データを処理する映像データ処理手段と、
    接続先の情報処理装置から入力される映像データおよび描画データを表示するとともに、書き込みを受け付ける入力表示手段と、
    前記入力表示手段へ書き込まれた描画データを処理する描画データ処理手段と、
    前記映像データ処理手段で処理された映像データおよび前記描画データ処理手段で処理された描画データを、前記接続先の情報処理装置へ送信する送信手段と、を備える情報処理装置の制御方法において、
    前記入力表示手段への書き込み動作の有無を検知する検知処理と、
    前記検知処理で検知される書き込み動作の有無に応じて、前記映像データと前記描画データの少なくとも一方のデータ量を規定量から変更する処理と、を行うことを特徴とする情報処理装置の制御方法。