JP2011164695A - 情報処理装置、入力装置、情報処理方法及び会議システム - Google Patents

Abstract

【課題】会議システムにて文化モデルデータを用いることなく、また、画像に基づく動作解析のみに限らずに簡易な構成で画像データ及び音声データの送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる情報処理装置、該情報処理装置で用いられる入力装置、情報処理方法、及び前記情報処理装置を含む会議システムを提供する。
【解決手段】入力手段である端末用ペンから受信した状態に基づき、不適切な操作状態を検出した場合（Ｓ４：ＹＥＳ）、操作者を撮像した画像データ及び操作者が発した音声を集音した音声のデータの送信を停止する（Ｓ１０）など、操作状態に応じて送受信を制御する。
【選択図】図１１

Description

本発明は、複数の情報処理装置間でカメラによって撮像された画像又はマイクロフォンにて集音された音声を送信しあい、遠隔にあっても会議参加者間での会議を実現できる会議システムに関する。特に、情報処理装置夫々にて会議参加者の操作状態を検出し、操作状態に応じて画像又は音声の送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる情報処理装置、該情報処理装置で用いられる入力装置、情報処理方法、及び前記情報処理装置を含む会議システムに関する。

通信技術、画像処理技術等の発展に伴い、遠隔の二拠点又は三拠点以上の複数拠点に夫々設置された複数の情報処理装置間でネットワークを介して会議ができるテレビ会議システムが実現されている。大容量データの送受信が可能であることから、端末装置にて集音される音声のデータを他の端末装置へ送信して複数の端末装置にて発言者の発言を共有するのみならず、各端末装置にて会議参加者を撮影し、撮影した映像データを他の端末装置へ送信することによって、表情、身振りなどを交えた会議が実現できる会議システム（所謂Ｗｅｂ会議システム）が実用化されている。

従来の会議システムでは、各情報処理装置が電話番号又はＩＰ（Internet Protocol）アドレスを指定して他の情報処理装置と直接的に接続を確立し、２つの情報処理装置が１対１で音声データ及び画像データを交換することで実現されてきた。３つ以上の情報処理装置間での会議システムを実現する場合には、１台の情報処理装置を親機とし、他の複数の情報処理装置を子機として、複数の子機が夫々親機との接続を確立し、親機が子機間のデータ交換を中継する。

より多くの拠点間での会議システムを実現するためには、複数の情報処理装置をＭＣＵ（Multipoint Control Unit：多地点接続装置）へ、スター型に接続し、情報処理装置間のデータ交換をＭＣＵが中継する構成がある。ＭＣＵを用いた会議システムでは、会議システムに参加することが可能な情報処理装置（拠点）の数は、ＭＣＵの性能、即ち接続できる情報処理装置の数（例えば通信ポートの数）に依存する。

また、多くの拠点間での会議システムを実現するためには、ＬＡＮ（Local Area Network）又はインターネット等の通信網を介し、会議参加者が使用する情報処理装置がクライアント装置としてサーバ装置と接続する構成にて、サーバ装置にてデータ交換を中継する構成もある。このようなサーバ・クライアントシステムの構成では、サーバ装置の処理能力及びネットワークの通信速度（使用可能帯域幅）の制限があるものの、ＭＣＵを用いた構成と比較して、会議システムに参加する拠点数（情報処理装置の数）を容易に増減させることができるなどの利点がある。

このように、ＭＣＵを利用する構成でも、サーバ・クライアントシステムの構成でも、各情報処理装置を会議参加者が一人一人（又は少数人で）利用して会議を実現することができる。このとき、各情報処理装置には、共有画面を表示する液晶パネル、有機ＥＬパネルなどを利用したディスプレイ、装置を使用する会議参加者を撮影するカメラ、装置を使用する会議参加者の発言を集音するマイクロフォン及び音声を出力するスピーカ等が備えられる。そして情報処理装置は、撮影した映像（画像）のデータ及び集音した音声のデータをＭＣＵ又はサーバ装置を介して送受信する。これにより、会議参加者同士の発言、表情、身振りなどを共有して会議を行なうことができる。

特許文献１には、音声及び画像を交換する会議システムを利用し、異なる文化圏の会議参加者間で会議を実施する場合に、各会議参加者の身振りを、三次元アバター等を用いた動画像にて表現する構成とし、ある文化圏における会議参加者の身振りが、他の文化圏でも社会的に適切と捉えられるように一部変更する発明が開示されている。

特開２００９−７７３８０号公報

遠隔地にいながら、複数拠点間で相手の画像を確認しつつ会議を実現できる会議システム及びその周辺技術により、文化及び言語が異なる人々の間でのコミュニケーション向上に大きな役割を果たしている。逆に、会議参加者の画像を送受信する会議システムでは、会議参加者の動作がリアルタイムで他の会議参加者へ伝わる。これにより、他の媒体を介したコミュニケーションでは存在しなかった様々な問題及び懸念が発生する場合がある。

例えば、複数の拠点間で会議参加者の映像を送受信する会議システムでは、会議参加者の映像信号をリアルタイムに他の拠点へ送信する。この場合、会議参加者の非言語的な動作、表情が重要となる。特に、会議参加者が多様な文化及び言語を背景にする場合には問題となるときがある。その場に適切な動作、言語であるか否かの適切性は当然、文化が異なれば大きく異なる。ある文化では適切とされ、許容される動作であっても、別の文化では不適切とされ、許容されない動作と受け取られる場合が多く、誤解を招く原因となる。

国際的なやり取りが行なわれるビジネスの場では、会議システムを利用する場合ときの会議参加者の動作の適切性が重要となる。動作によっては、言語のみのコミュニケーションよりも信頼を築くことが可能である。適切なタイミングでの適度な凝視（gaze）、適切な身振り及び表情によって信頼を表すことができ、取引の成否を左右する。逆に、不適切なタイミングでの不適切な身振りは、無意識で行なっていたとしても大きく信頼を損ねる場合がある。

会議参加者は、異文化における適切な動作を予備知識として学ぶことは可能であるが、パターン化されない動作でも適切性を維持することは非常に困難である。また、会議参加者が、参加する可能性がある全ての会議の他の会議参加者の文化における習慣及び伝統の違いを全て予備知識として持つことは非現実的である。

更に、会議参加者が無意識に行なってしまう癖であって他の会議参加者を不快にさせる可能性のある動作を事前に矯正することも非現実的である。

特許文献１に開示されている技術を用いることにより、会議システムにて他の会議参加者に、文化的又は社会的に不適切な動作と受け取られる身振りが一の会議参加者が行なった場合であっても、アバターを利用して他の身振りに代替されるか、又は会議参加者の画像以外の画像、例えば会議資料などの共有画面へ切り替えられる。これにより、他の会議参加者を不快にさせることを回避することができる。

しかしながら、特許文献１に開示されている技術では、不適切な動作か否かを判断するために、会議参加者を撮影した画像データを取得し、文化モデルデータに従って動作解析を行なう必要がある。特許文献１には、動作解析にはモーションセンサ若しくは加速度センサから得られるデータ、又は音声からの情報を利用することも可能とされているが、実際の解析対象、それらの情報を利用した解析についての例は記載されていない。また、特許文献１に開示されている技術では、文化モデルデータに従った動作解析が行なわれるが、多様な文化に対応させるためには各文化の膨大な量の文化モデルデータを予めデータベース化しておく必要があり、解析処理の負荷もその分膨大となり、現実的でない。

本発明は斯かる事情に鑑みてなされたものであり、会議システムにて文化モデルデータを用いることなく、また、画像に基づく動作解析のみに限らずに簡易な構成で画像データ及び音声データの送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる情報処理装置、該情報処理装置で用いられる入力装置、情報処理方法、及び前記情報処理装置を含む会議システムを提供することを目的とする。

本発明に係る情報処理装置は、文字情報又は図形情報を入力するための一又は複数の入力手段と、画像又は音声を取得する手段と、取得した画像又は音声を送出する手段とを備える情報処理装置において、前記入力手段に対する不適切な操作状態を、前記入力手段にて発生する変化に基づき検出する検出手段と、該検出手段の検出結果に応じて前記送出手段による画像若しくは音声の送出の可否、又は送出レートの増減を制御する制御手段とを備えることを特徴とする。

本発明に係る情報処理装置は、前記入力手段は、ペン型の入力装置を含み、前記検出手段は、前記ペン型の入力装置を用いて入力動作がされている状態、入力動作間の待機状態及び使用されていない状態の別を検出する第１手段と、前記ペン型の入力装置を振動、回転若しくは衝突させる動作の内の一又は複数がされている状態、及び、前記動作の反復がされている状態を検出する第２手段とを有し、第１手段又は第２手段が検出した各状態に基づき不適切な操作状態を検出するようにしてあることを特徴とする。

本発明に係る情報処理装置は、前記ペン型の入力装置を振動、回転若しくは衝突させる動作、又は該動作の反復がされている状態を、不適切な操作状態として検出するようにしてあることを特徴とする。

本発明に係る情報処理装置は、前記入力手段は、入力される文字情報又は図形情報を表示する画面を出力するタッチパネル型の表示部を含み、前記検出手段は、前記画面以外への接触／離反が繰り返される反復動作を検出する手段を有し、前記反復動作がされている状態を不適切な操作状態として検出するようにしてあることを特徴とする。

本発明に係る情報処理装置は、前記検出手段は、前記入力手段に対する操作時に与えられる衝撃又は接触点における圧力を検出する手段と、該手段が検出した衝撃又は圧力の値を、予め記憶してある閾値と比較する手段とを備え、比較結果に基づいて不適切な操作状態を検出するようにしてあることを特徴とする。

本発明に係る情報処理装置は、前記検出手段が不適切な操作状態を検出した場合、前記制御手段は、画像又は音声の送出を禁止するようにしてあることを特徴とする。

本発明に係る情報処理装置は、前記画像は操作者を撮像した撮像画像であり、前記音声は操作者により発せられる音声を集音した集音音声であり、前記検出手段が不適切な操作状態を検出した場合、撮像方向又は集音方向の変更を指示する信号を出力する手段を備えることを特徴とする。

本発明に係る入力装置は、文字情報又は図形情報を入力するためのペン型の入力装置において、加速度検出手段、傾斜角検出手段及び衝撃検出手段の内の一又は複数を有し、各手段による検出結果に基づき、不適切な操作状態を検出する手段と、検出結果を出力する手段とを備えることを特徴とする。

本発明に係る情報処理方法は、文字情報又は図形情報を入力するための一又は複数の入力手段と、画像又は音声を取得する手段と、取得した画像又は音声を送出する送出手段とを備える情報処理装置を制御する方法において、前記入力手段に対する不適切な操作状態を、前記入力手段にて発生する変化に基づき検出し、検出結果に応じて前記送出手段による画像若しくは音声の送出の可否、又は送出レートの増減を制御することを特徴とする。

本発明に係る会議システムは、操作者を撮像する撮像装置又は操作者が発する音声を集音する集音装置と、文字情報又は図形情報を入力するための一又は複数の入力手段、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させるようにして情報を共有させ、会議を実現させる会議システムにおいて、複数の第１情報処理装置は夫々、前記入力手段に対する不適切な操作状態を、前記入力手段にて発生する変化に基づき検出する検出手段と、該検出手段の検出結果に応じて前記送受信手段による画像若しくは音声の送信の可否、又は送信レートの増減を制御する送信制御手段とを備えることを特徴とする。

本発明では、文字情報又は図形情報を入力するための入力手段にて発生する振動、回転、又は衝撃などの物理的な変化に基づき、ユーザによる入力手段への不適切な操作状態が検出され、検出結果に応じて、取得された画像又音声の送出の可否、又は送出レートの増減が制御される。

本発明では、入力手段の内の一はペン型の入力装置であり、ペン型の入力装置を用いて文字情報又は図形情報などを用いて入力動作中の状態であるか、入力装置は把持されているものの入力動作間の待機中の状態であるか、又は入力装置は把持されておらず使用されていない状態であるかの別が検出され、更に、ペン型の入力装置に対する回転、振動若しくは落下させる動作が行なわれている状態か、又はそれらの反復動作が行なわれている状態かが検出される。これらの状態に基づき、ユーザによる入力手段への不適切な操作を検出することが可能となる。

本発明では、ペン型の入力装置を振り回す行為、入力装置を落とす行為若しくは所謂ペン回しが行なわれている状態、又はペン型の入力装置で物を突き続けるなどの反復動作が行なわれている状態を不適切な操作状態として検出し、これらの場合は、取得した画像又は音声の送出を制限させる制御が可能である。

本発明では、タッチパネル型の表示部を含む場合に、本来文字情報又は図形情報の入力を受け付ける画面ではない場所への接触／離反を繰り返す反復動作が行なわれている場合、これを検出し、不適切な操作状態として画像又は音声の送出を制限させる制御が可能である。

本発明では、操作時に与えられる衝撃、又は操作時の入力手段の接触点における圧力などの操作時の力加減に対応する値と予め記憶されてある閾値との比較結果に基づき、入力手段に対して不要に大きな力が加わった操作がされているなどの場合に、会議に関係のない動作が行なわれているとして扱い、画像又は音声の送出を回避すべく制御される。状態の継続期間等をも加味して会議に関係のない動作が行なわれていると判断して送信を制御してもよい。

本発明では、検出結果に応じて、画像又は音声の送信が停止される。例えば、操作状態が、不適切とされるペンで物体を突く動作がされている状態、ペン回し、又は画面を突く動作が行なわれている状態である場合、送出が禁止される。これにより、他の会議参加者を不快と感じさせる画像又は音声の他の装置への送出の開始、又は送出の停止が可能となる。

本発明では、画像は操作者を撮像した画像であり、音声は操作者から発せられる音声であり、検出結果に応じて、撮像方向又は集音方向の変更を指示する信号が出力される。例えば、検出操作状態が、不適切とされるペンで物体を突く動作が行なわれている状態、ペン回し又は画面を突く動作が行なわれている状態である場合、ユーザ（会議参加者）を撮像しないように、又はユーザの音声を集音しないように制御することによって、他の会議参加者を不快と感じさせる画像又は音声の他の装置への送出を回避できる。

本発明による場合、情報処理装置を操作する会議参加者の操作状態が、マウス、キーボード、スタイラスペン、タッチパネル、又はタブレットなどの入力手段で発生する状態に基づき検出され、操作状態に応じて、会議システムを実現するための会議参加者を撮像した撮像画像又は会議参加者の発声を集音した集音音声の送出が制御される。

これにより、操作状態が例えばスタイラスの不要な回転、又はタブレットへの不要な衝撃などの不適切な操作状態にある場合に、画像若しくは音声、又は両方の送信を停止するか他のものを映した画像に切り替えるなどの制御が行なわれ、他の会議参加者へ与える可能性がある不快感、違和感を抑制し、快適な会議システムを実現できる。

また、他の会議参加者へ不快感、違和感を与える可能性がある撮像画像又は集音音声の送信を停止するなどの制御によって、画像又は音声による通信負荷の増大及び会議システムにて画像又は音声の送受信を中継するサーバ装置（第２情報処理装置）の処理負荷を抑制することが可能である。

実施の形態１の会議システムの構成を示す構成図である。 実施の形態１の会議システムを構成する会議サーバ装置の内部構成を示すうロック図である。 実施の形態１の会議システムを構成する端末装置の内部構成を示すブロック図である。 実施の形態１の会議システムを構成する端末装置にて用いられる端末用ペンの内部構成を示すブロック図である。 実施の形態１の会議システムにて実現される画像及び音声の送受信を模式的に示す模式図である。 実施の形態１における端末装置及び端末用ペンによる検出対象の操作状態の例を模式的に示す模式図である。 実施の形態１における端末装置及び端末用ペンによる検出対象の操作状態の例を模式的に示す模式図である。 実施の形態１における端末装置及び端末用ペンによる検出対象の操作状態の例を模式的に示す模式図である。 実施の形態１における端末装置及び端末用ペンによる検出対象の操作状態の例を模式的に示す模式図である。 実施の形態１における端末装置及び端末用ペンによる検出対象の操作状態の例を模式的に示す模式図である。 実施の形態１の端末装置の画像及び音声のデータ送信時における処理手順の一例を示すフローチャートである。 実施の形態１の端末装置の画像及び音声のデータの受信時における処理手順の一例を示すフローチャートである。 実施の形態２の会議システムを構成する端末装置の内部構成を示すブロック図である。 実施の形態２の端末装置の画像及び音声のデータ送信時における処理手順の一例を示すフローチャートである。

以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
なお、以下の実施の形態では、本発明に係る情報処理装置を端末装置に用い、複数の端末装置を用いて音声、映像及び画像の共有を実現する会議システムについて説明する。

（実施の形態１）
図１は、実施の形態１の会議システムの構成を示す構成図である。会議システムは、会議参加者が夫々用いる端末装置１，１，…と、端末装置１，１，…が接続されるネットワーク２と、端末装置１，１，…間での画像（映像）及び音声の送受信及び共有を実現する会議サーバ装置３とを含んで構成される。

端末装置１，１，…及び会議サーバ装置３が接続されるネットワーク２は、会議が行なわれる組織の組織内ＬＡＮでもよいし、インターネットなどの公衆通信網でもよい。端末装置１，１，…が会議サーバ装置３との接続の認証を受け、認証された端末装置１，１，…が会議サーバ装置３から共有の画像（映像）及び音声の情報を送受信し、受信した画像（映像）及び音声を出力することにより、他の端末装置１，…と画像（映像）及び音声を共有し、ネットワークを介した会議を実現する。

なお、会議サーバ装置３は、複数の異なる会議１及び会議２を並列的に実現させることができる。会議サーバ装置３は、端末装置１，１，…を夫々グループ会議１及び会議２に対応付けて認識し、各グループ内で端末装置１，１，…間の画像（映像）及び音声の中継を夫々で独立に行なうことが可能である。

図２は、実施の形態１の会議システムを構成する会議サーバ装置３の内部構成を示すうロック図である。

会議サーバ装置３は、サーバコンピュータを用い、制御部３０と、一時記憶部３１と、記憶部３２と、符号化・復号処理部３４と、画像処理部３５と、音声処理部３６と、通信処理部３７と、ネットワークＩ／Ｆ部３８とを備える。

制御部３０にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置を用い、記憶部３２に記憶されている会議サーバ用プログラム３Ｐを一時記憶部３１に読み出して実行することにより、サーバコンピュータを、本実施の形態１における会議サーバ装置３として動作させる。

一時記憶部３１にはＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭを用いて、上述のように読み出される会議サーバ用プログラム３Ｐが一時的に読み出されると共に、制御部３０の処理によって発生する情報が一時的に記憶される。

記憶部３２には、ハードディスク又はＳＳＤ（Solid State Drive）等の外部記憶装置を用いる。記憶部３２には、上述の会議サーバ用プログラム３Ｐが記憶されている。また記憶部３２には、会議参加者が用いる端末装置１，１，…の認証を行なうための認証データが記憶されている。更に、会議サーバ装置３の記憶部３２には、複数のドキュメントデータが共有ドキュメントデータ３３として記憶されている。ドキュメントデータは、テキストデータ、写真データ、図データなどであり、フォーマットは問わない。

符号化・復号処理部３４は、エンコーダ・デコーダチップを用い、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４又はＭＰＥＧ（Moving Picture Experts Group）等の規格に基づく画像（映像）の符号化を行なう画像符号化部、及び符号化された画像を復号する符号処理部を含む。また符号化・復号処理部３４は、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏなどの規格に基づく音声の符号化を行なう音声符号化部、及び符号化された音声を復号する音声復号処理部を含む。

画像処理部３５は、制御部３０からの指示により、複数の端末装置１，１，…から夫々送信された複数の画像データに基づき画像を合成する処理を実現する。画像処理部３５は他に、記憶部３２に記憶してある共有ドキュメントデータ３３の内、各端末装置１，１，…にて表示対象となるドキュメントデータを受け付け、該ドキュメントデータを画像に変換して出力する機能を有する。また、画像処理部３５は、画像の拡大縮小、エッジ強調又は色調整などの各種画像処理を行なうことが可能である。

音声処理部３６は、制御部３０からの指示により、複数の端末装置１，１，…から夫々送信された複数の音声データに基づき音声を合成する処理を実現する。音声処理部３６は他に、ノイズ除去又は音量調整等の各種音声処理を行なうことが可能である。

通信処理部３７は、会議サーバ装置３のネットワーク２を介した通信を実現させる。通信処理部３７は、ネットワーク２に接続されたネットワークカードを用いたネットワークＩ／Ｆ部３８と接続されており、ネットワーク２を介して端末装置１，１，…との間の画像又は音声を送受信するときのパケット化、パケットからの情報の読み取りを行なう。制御部３０は、通信処理部３７により画像（映像）及び音声の送受信を行なうことができる。実施の形態１の会議システムを実現するために、通信処理部３７による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ（Session Initiation Protocol）、又はＨＴＴＰ（Hypertext Transfer Protocol ）などのプロトコルを用いればよい。通信プロトコルはこれらに限られない。なお、ネットワークＩ／Ｆ部３８はアンテナを含み、通信処理３７は無線通信を行なうように構成されてもよい。

端末装置１には、タブレット内蔵ディスプレイを搭載した会議システム専用端末を用いる。端末装置１は、扁平な略直方体形状の筐体１３を有し、正面１３１とする１つの広面に設けられた矩形の開口部にディスプレイ１１４（タブレット１１３）が露出している（図６参照）。また、正面１３１には、カメラ１１５及びスピーカ１１７が露出するように設けられている。なお端末装置１の広面の面積は例えばＡ４サイズ程度であり、端末装置１はユーザが把持して使用することが可能な程度に軽量に構成されている。

図３は、実施の形態１の会議システムを構成する端末装置１の内部構成を示すブロック図である。

端末装置１は、制御部１００と、一時記憶部１０１と、記憶部１０２と、入力処理部１０３と、表示処理部１０４と、映像処理部１０５と、入力音声処理部１０６と、出力音声処理部１０７と、通信処理部１０８と、無線通信処理部１０９と、読取部１１０と、符号化・復号処理部１２０とを備える。端末装置１は更に、内蔵又は外部接続により、タブレット１１３と、ディスプレイ１１４と、カメラ１１５と、マイクロフォン（図中及び以下、マイクという）１１６と、スピーカ１１７と、ネットワークＩ／Ｆ部１１８と、無線通信部１１９とを備える。

制御部１００は、ＣＰＵ又はＭＰＵ等の演算処理装置を用い、記憶部１０２に記憶されている会議端末用プログラム１Ｐを一時記憶部１０１に読み出して実行することにより、会議システム専用端末を本発明に係る情報処理装置として動作させる。

一時記憶部１０１にはＳＲＡＭ又はＤＲＡＭなどのＲＡＭを用いる。一時記憶部１０１には、上述のように読み出される会議端末用プログラム１Ｐが記憶されると共に、制御部１００の処理によって発生する情報が記憶される。

記憶部１０２には、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性メモリを用いる。記憶部１０２には、会議端末用プログラム１Ｐ及び制御部１００が制御時に参照する条件例えば後述の検出された値に対する閾値等の条件など、端末装置１の機能を実現するためのプログラム及びデータが予め記憶されている。他に、端末装置１における他のアプリケーションソフトウェアプログラムが記憶されていてもよい。記憶部１０２にはハードディスク又はＳＳＤなどの外部装置を用いてもよい。

入力処理部１０３には、ディスプレイ１１４上に内蔵され、端末用ペン４による文字入力又は図形入力のための操作を受け付けるタブレット１１３が接続されている。入力処理部１０３は、端末装置１の会議参加者の操作により入力されるボタン（クリックボタン）の押下情報、ディスプレイに表示中の画面内における位置を示す座標情報などの情報を受け付け、入力操作の有無及び入力操作の内容を判断して制御部１００へ通知する。なお、入力処理部１０３には図示しないマウス、又はキーボードなどのポインティングデバイス（入力装置）が接続されており、それらのポインティングデバイスにて受け付けた操作に応じた信号を入力してもよい。

表示処理部１０４には、液晶パネル、又は有機ＥＬなどを用いるタッチパネル型のディスプレイ１１４が接続されている。制御部１００は、表示処理部１０４を介し、ディスプレイ１１４に会議端末用のアプリケーション画面を出力し、アプリケーション画面内に共有させる画像（映像）を表示させる。共有させる画像には、後述するように会議サーバ装置３から受信した他の端末装置１，１，…から送信された画像も含まれる。会議サーバ装置３から送信される画像が、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧなどの規格にて符号化されている場合、制御部１００は画像を符号化・復号処理部１２０へ与えて、復号してから表示処理部１０４に出力する。

映像処理部１０５には、ビデオカードを用いる。映像処理部１０５は、端末装置１が備えるカメラ１１５に接続され、カメラ１１５の動作の制御を行なうと共に、カメラ１１５にて撮像された映像データを取得する。カメラ１１５は、端末装置１の筐体に設けられたディスプレイ１１４の上方に、ユーザの顔又は上半身を撮像する方向へ向けて搭載されている。カメラ１１５は、１秒間に数十回又は数百回等の頻度で撮像し、それらの画像信号を連続して映像データとして映像処理部１０５へ出力する。映像処理部１０５は、カメラ１１５から取得した映像データを符号化・復号処理部１２０へ出力し、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧなどの映像規格のデータへ変換（符号化）する処理を行なってもよい。

入力音声処理部１０６は、端末装置１が備えるマイク１１６に接続され、マイク１１６によって集音された音声をサンプリングしてデジタル音声データへ変換し、制御部１００へ出力するＡ／Ｄ変換機能を有する。入力音声処理部１０６は、集音された音声の信号レベルの調整及び帯域制限等の処理を行なうミキサ、及び、エコー部分を除去するエコーキャンセラを内蔵していてもよい。なお、入力音声処理部１０６は、集音音声を符号化・復号処理部１２０へ出力し、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏなどの規格の音声データへ符号化する処理を行なってもよい。

出力音声処理部１０７は、端末装置１が備えるスピーカ１１７に接続される。出力音声処理部１０７は、制御部１００から音声データが与えられた場合に、音声としてスピーカ１１７から出力させるようにＤ／Ａ変換機能を有する。なお、会議サーバ装置３から送信される音声データがＧ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏなどの規格により符号化されている場合は、制御部１００は音声データを符号化・復号処理部１２０へ与えて復号してからスピーカ１１７へ出力する。

通信処理部１０８は、端末装置１のネットワーク２を介した通信を実現させる。詳細には、通信処理部１０８は、ネットワーク２に接続されたネットワークカードを用いたネットワークＩ／Ｆ部１１８と接続されており、ネットワーク２を介して送受信される情報のパケット化、パケットからの情報の読み取りなどを行なう。制御部１００は、通信処理部１０８により画像（映像）及び音声のデータの送受信を行なうことができる。
なお、通信プロトコルは、会議サーバ装置３の通信処理部３７における通信プロトコルに対応する。

無線通信処理部１０９は、端末装置１に備えられる無線通信部１１９と接続されており、端末用ペン４との無線通信を実現させる。無線通信処理部１０９は、端末用ペン４から発せられる無線信号を受信し、受信した信号から情報を取得して制御部１００へ通知する。無線通信処理部１０９は、制御部１００から与えられた情報を示す信号を生成し、無線通信部１１９から出力させてもよい。なお、無線通信処理部１０９及び無線通信部１１９は、赤外線通信にて信号を送受信するようにしてもよい。

符号化・復号処理部１２０は、エンコーダ・デコーダチップを用い、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４又はＭＰＥＧ等の規格に基づく映像（画像）の符号化・復号処理、及び、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏなどの規格に基づく音声の符号化・復号処理を実現する。制御部１００は、会議サーバ装置３から符号化された映像、音声、又は多重化された映像のデータを受信した場合、符号化・復号処理部１２０へ与えて復号する。なお映像（画像）及び音声の規格は上述の例以外のものであってもよい。

読取部１１０は、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク又はフレキシブルディスクなどである記録媒体１０から情報を読み取ることが可能である。制御部１００は、読取部１１０により記録媒体１０に記録されているデータを一時記憶部１０１に記憶するか、又は記憶部１０２に記録する。記録媒体１０には、コンピュータを本発明に係る情報処理装置として動作させる会議端末用プログラム１０Ｐが記録されている。記憶部１０２に記録されている会議端末用プログラム１Ｐは、記録媒体１０から制御部１００が読み出した会議端末用プログラム１０Ｐの複製であってもよい。

なお実施の形態１では、端末装置１はタッチパネル型のディスプレイ１１４を搭載した専用端末を用いる構成とした。しかしながら、これに限らず汎用的なパーソナルコンピュータに、カメラ及びスピーカを接続し、キーボードのほかにペンタブレットを接続する構成でもよい。更には、ディスプレイにカメラ、スピーカ及びネットワークカードを接続し、後述するような制御部１００の機能を実現する装置を接続する構成でも実現できる。会議システムは、構成が上述したように異なる端末装置１を含んでもよい。

図４は、実施の形態１の会議システムを構成する端末装置１にて用いられる端末用ペン４の内部構成を示すブロック図である。端末用ペン４は、ペン型の入力装置である。端末用ペン４は、制御部４０と、一時記憶部４１と、記憶部４２と、通信処理部４３と、無線通信部４４と、操作状態検出部４５とを備える。

制御部４０には、ＣＰＵ又はＭＰＵを用い、記憶部４２に記憶されている制御プログラムを一時記憶部４１に読み出して実行する。一時記憶部４１には、ＳＲＡＭ又はＤＲＡＭ等のＲＡＭを用いる。一時記憶部４１には、上述の制御プログラムが読み出されて一時的に記憶されると共に、制御部４０の処理によって発生する情報が一時的に記憶される。

記憶部４２には、フラッシュメモリ、マスクＲＯＭ、ＥＲＯＭ又はＥＥＰＲＯＭなどの不揮発性メモリを用いる。記憶部４２には上述の制御プログラムの他、制御部４０の制御処理時に参照される条件などの情報が予め記憶されている。

通信処理部４３は、無線通信部４４と接続され、端末装置１との無線通信を実現させる。通信処理部４３は、制御部４０から与えられる情報を無線通信のプロトコルに応じた信号に変換し、無線通信部４４から出力させる。また、通信処理部４３は、無線通信部４４にて受信した端末装置１から発せられた無線信号を受信し、受信した信号から情報を取得して制御部４０へ通知してもよい。なお無線に限定するものではなく、有線によって端末装置１と接続される構成としてもよい。

操作状態検出部４５は、衝撃検出部４６、速度検出部４７及び傾斜角検出部４８を含む。具体的には、例えば振子部材及び該振子の変位を検知するスイッチにて、端末用ペン４自体の回転、振動、衝撃及び静止の状態、並びに傾斜角度の変化の有無、並びにそれらの大きさを検出する。他に、モーションセンサ、加速度センサを用いて衝撃、速度、又は傾斜角度を検出するようにしてもよい。操作状態検出部４５は、変化が検知されたタイミングにて制御部４０へ通知し、制御部４０は操作状態検出部４５にて検出された情報即ち衝撃の有無、衝撃の大きさ、速度、振動の有無、振動速度、傾斜角度等の各種状態情報を通信処理部４３及び無線通信部４４を介して端末装置１へ送信する。

操作状態検出部４５は、検出された衝撃、振動若しくは回転の有無又は物理量を送信するのみならず、検出された変化の有無及びその大きさに基づき「入力中」、「待機中」、「静止状態」、「振動状態」、「回転状態」、及び「落下状態」等の状態を判定し、判定結果を夫々示す状態情報を端末装置１へ送信する。

なお、端末用ペン４は、マウスにおけるクリックボタンに対応するボタンを有し、制御部４０又は操作状態検出部４５にて当該ボタンのクリックを検出し、クリックされたことを示す信号を、通信処理部４３を介して端末装置１へ送信する構成でもよい。

ユーザは、端末用ペン４を把持して端末装置１のディスプレイ１１４上のタブレット１１３に接触させて文字若しくは図形、またはそれらの選択をすることにより、ディスプレイ１１４に表示されている画面上に手書きにて文字又は図形を入力することが可能である。

図５は、実施の形態１の会議システムにて実現される画像及び音声の送受信を模式的に示す模式図である。会議システムでは基本的に、図５に示すように、端末装置１，１，…にて夫々、制御部１００の制御により、カメラ１１５にて撮像される会議参加者の顔又は上半身の映像（又は静止画像）データを通信処理部１０８及びネットワークＩ／Ｆ部１１８を介して会議サーバ装置３へ送信し続ける。

会議サーバ装置３では、各端末装置１，１，…にて撮像及び集音されて送信される画像データ及び音声データを受信した場合、画像データと音声データとに分離して夫々符号化・復号処理部３４へ与え、夫々復号する。そして制御部３０は、図５に示すように、復号後の複数の端末装置１，１，…からの画像（映像）が、並べて表示されるように画像処理部３５にて合成すべく画像処理部３５へ指示する。制御部３０は、復号後の複数の端末装置１，１，…からの音声が重ね合わされるように音声処理部３６へ指示する。制御部３０は、合成後の画像及び音声を符号化・復号処理部３４へ与え、符号化又は多重化し、通信処理部３７を介して各端末装置１，１，…へ送信する。

各端末装置１，１，…では、会議サーバ装置３から送信される合成された画像及び音声を符号化・復号処理部１２０にて復号して表示処理部１０４及び出力音声処理部１０７へ夫々与え、各端末装置１，１，１…を使用する会議参加者の顔又は上半身を映した画像が並べて表示される。これにより、各端末装置１，１，…を用いる会議参加者は、他の会議参加者の表情、身振りを確認しながら自身を含む会議参加者の発言を聴くことが可能となる。

ただし、実施の形態１における端末装置１では、検出された会議参加者による端末用ペン４に対する操作状態が特定の状態である場合、会議参加者の顔又は上半身の映像を撮像した画像及び会議参加者から発せられる音声の会議サーバ装置３への送信を禁止する。つまり、端末装置１は、画像及び音声を送信中である場合は停止し、送信開始前である場合には送信を開始しない。

会議参加者による端末用ペン４に対する操作状態は、端末用ペン４から送信される状態情報、及び端末装置１，１，…の制御部１００における処理に基づき検出される。以下、操作状態の検出について説明する。

図６から図１０は、実施の形態１における端末装置１及び端末用ペン４による検出対象の操作状態の例を模式的に示す模式図である。図６は、端末用ペン４が操作されて図形情報が入力されている状態を示し、図７は、端末用ペン４が使用されていない状態、及び端末用ペン４が把持されているが入力動作の間の待機状態を示す。図８は、端末用ペン４を回転する動作が行なわれている状態を示し、図９は、端末用ペン４を振動させ、ディスプレイ１１４以外の箇所（机等も含む）を突く反復動作が行なわれている状態を示し、図１０は、端末用ペン４を落下させる動作が行なわれた状態を示す。

図１及び図６等に示したように、端末装置１は、扁平な略直方体形状の筐体１３を有し、正面１３１に設けられた矩形の開口部にディスプレイ１１４（タブレット１１３）が露出している。正面１３１のディスプレイ１１４のための開口部の上方には、端末装置１が備えるカメラ１１５のための開口部が設けられている。カメラ１１５は正面１１３に対し略垂直な方向を撮像方向とする。

会議参加者は、筐体１３に設けられたスタンド１３２を用いて、正面１３１即ちディスプレイ１１４が鉛直方向に略平行となるように、机上に立てた直立状態で端末装置１を使用することができる。直立状態には、正面１３１が水平面に対し４５°から１１０°程度の角度をなす状態をも含む。なお、会議参加者は端末装置１を把持し、正面１３１即ちディスプレイ１１４が鉛直方向と平行となるように使用することもできる。このとき、カメラ１１５は、端末装置１を使用する会議参加者の顔又は上半身を撮像範囲とすることができる。

また会議参加者は、端末装置１を机上に載置し、正面１３１が水平面に略平行となる平置き状態で端末装置１を使用することもできる。なお、平置き状態は、正面１３１が水平面に対し０°〜４５°程度の角度をなす状態をいう。

会議参加者は、端末装置１を平置き状態にて使用することにより、容易且つ快適に端末用ペン４を用いた入力操作を行なうことができる。ただし会議参加者は、入力操作の容易性及び快適性は平置き状態よりも損なわれる可能性があるものの、端末装置１を直立状態にて使用し、端末用ペン４を操作して文字情報又は図形情報を入力することができる。会議参加者が会議参加中、メモをとるために文字情報又は図形情報を入力している間は、図６に示すように、端末用ペン４は会議参加者に把持され、動かされて操作される。したがってこのとき、端末用ペン４では衝撃検出部４６、速度検出部４７及び傾斜角検出部４８のいずれでも変化が検知され、操作状態が「入力中」であると判断することが可能である。実施の形態１では、「入力中」の状態であるか否かの状態検出は、端末用ペン４からの衝撃、速度、傾斜角度等の状態情報に基づき、端末装置１の制御部１００が行なう。なお、端末用ペン４の操作状態検出部４５にて検出してもよい。

会議参加者は会議参加中、常に端末用ペン４を用いてメモをとるわけではない。会議参加者は、他の会議参加者の発言を聞いたり、会議テーマに関して考えたりする場合、端末用ペン４を全く使用しないか又は把持したまま集中する。このとき端末用ペン４は、図７に示すように、机上に置かれて静止しているか、又は会議参加者により把持されているが激しく動かされない状態にある。したがって、端末用ペン４では変化が検知されず、各種状態情報は端末装置１へ送信されない。傾斜角検出部４８にて傾斜角度の変化が検知される場合、傾斜角度の情報が端末装置１へ送信され、端末装置１の制御部１００は、端末用ペン４から受信した傾斜角度が例えば４５°の閾値以上であるか否か及び他の物理量に基づき操作状態を検出する。また、例えば制御部１００は、いずれの検出部でも一定時間以上変化が検知されないか、又は検知されて受信した傾斜角度が４５°の閾値以下である場合に、操作状態が「待機中」又は「静止状態」であると検出することが可能である。

一方、会議参加者が会議に興味を失って集中していない場合には、端末用ペン４は図６及び図７に示したような状態にはなく、図８から図１０に示す状態にあるときがある。

図８は、所謂ペン回しが行なわれている状態を示している。このとき端末用ペン４では、速度検出部４７及び傾斜角検出部４８にて変化が検知され、操作状態検出部４５にて「回転状態」と検出され、端末装置１へ送信される。例えば操作状態検出部４５は、速度検出部４７にて検知された速度を端末装置１へ送信し、端末装置１は受信した速度が予め記憶部１０２に記憶している回転動作に対応する速度及び向きであることに基づき「回転状態」であることを検出する。

図９は、ディスプレイ１１４に表示されている画面中の端末用ペン４を用いた入力が可能な領域以外の場所へ、端末用ペン４が接触及び離反を繰り返す反復動作が行なわれている状態を示している。つまり、会議参加者が端末用ペン４を机に突き続けるなどの動作が行なわれている。このとき端末用ペン４では、衝撃検出部４６、速度検出部４７及び傾斜角検出部４８の全て又は一部にて変化が検知され、各検出部からの状態の変化に対応する状態情報が端末装置１へ送信される。これにより、端末装置１では、受信した状態情報の内、例えば加速度の大きさが記憶部１０２に記憶してある閾値よりも大きいこと、及び振動の方向の変化に基づき「振動状態」であることを検出する。

なお、端末用ペン４を机又は端末装置１のディスプレイ１１４以外の場所へ衝突させる動作のみならず、不要に端末用ペン４を振り続ける反復動作が行なわれている場合も同様に衝撃検出部４６、速度検出部４７及び傾斜角検出部４８にて変化が検知される（図９）。変化の検知がったときに操作状態検出部４５から制御部４０へ通知された状態情報が端末装置１へ送信され、端末装置１の制御部１００は振動の大きさ、又は加速度の大きさと記憶部１０２に記憶してある閾値との比較に基づき「振動状態」であることを検出する。

また、会議参加者は会議に関心を持って集中している場合であっても、無意識にペン回しを行なったり、端末用ペン４で机をコツコツと突く動作をしたり、図１０に示すように誤って端末用ペン４を落下させる場合が有る。このとき端末用ペン４では、衝撃検出部４６、速度検出部４７及び傾斜角検出部４８のいずれでも変化が検知され、状態情報として端末装置１へ送信される。これにより、端末装置１の制御部１００は、受信した状態情報に基づき、特に衝撃検出部４６からの状態情報が示す衝撃の大きさが記憶部１０２に記憶してある閾値よりも大きいことに基づき「落下状態」であることを検出する。

図８から図１０に示した状態に対応するペン回しなどの動作は、会議参加者が会議に集中している場合であったとしても、少なくとも日本人的な感覚に従ったときには、非文化的又は非社会的な動作であって、ビジネス又は会議の場面では不適切で不作法な振舞いであるとして不快感を与えるときがある。端末用ペン４にて検出される各種状態変化は、端末装置１へ送信され、端末装置１では制御部１００にて状態情報に基づき、端末用ペン４が通常に使用されているか又は不適切な操作状態であるかが検出される。不適切な操作状態であることが検出された場合は画像及び音声の会議サーバ装置３への送信が禁止される制御が行なわれることによって、不快感を与えることを回避することが可能となる。

端末装置１の制御部１００が図６乃至図１０に示したような状態から不適切な操作状態を検出しつつ、操作者を撮像した映像（画像）及び音声の送受信制御を行なう処理について、以下、フローチャートを参照して説明する。

図１１は、実施の形態１の端末装置１の画像及び音声のデータ送信時における処理手順の一例を示すフローチャートである。端末装置１の制御部１００は、会議サーバ装置３から認証を受けて会議が開始されると、映像処理部１０５によりカメラ１１５による撮像及び入力音声処理部１０６によりマイク１１６による集音を開始し、以下に示す処理を実行する。

制御部１００は、端末用ペン４の無線通信部４４を介して送信される状態情報（速度、衝撃の有無並びに大きさ、及び傾斜角度等）を、無線通信部１１９及び無線通信処理部１０９により受信する（ステップＳ１）。状態情報は、端末用ペン４にて変化が検知されたときに送信されてもよいし、定期的に送信されてもよい。

制御部１００は、ステップＳ１にて受信した状態情報に基づき、端末用ペン４に対する操作状態を記憶部１０２に記憶してある閾値等に基づき判定する（ステップＳ２）。制御部１００は、ステップＳ２にて判定された操作状態に変化が有ったか否かを判断する（ステップＳ３）。例えば、通常の入力中は、端末用ペン４にて傾斜角度、加速度等に変化が検知されて状態情報として送信された場合でも「入力中」の操作状態から変化せず、ここで変化無しと判断される。

制御部１００は、ステップＳ３にて変化無しと判断した場合（Ｓ３：ＮＯ）、処理をステップＳ１に戻し、次に端末用ペン４から状態情報を受信するまで待機する。

制御部１００は、ステップＳ３にて変化有りと判断した場合（Ｓ３：ＹＥＳ）、不適切な操作状態か否かを判断する（ステップＳ４）。これにより、不適切な操作状態が検出される。実施の形態１における制御部１００は、「振動状態」、「回転状態」、及び「落下状態」の操作状態（図８，図９及び図１０に示したような状態）を検出した場合に、不適切な操作状態であると判断する。なおこのとき、「回転状態」が記憶部１０２に記憶してある所定の上限時間以上継続した場合に不適切な操作状態と判断するなど、各操作状態の継続時間を考慮に入れて判断してもよい。

制御部１００は、ステップＳ４にて不適切でないと判断した場合（Ｓ４：ＮＯ）、カメラ１１５による撮像を停止しているときには撮像を開始し、撮像中であるときには継続するように映像処理部１０５を制御する（ステップＳ５）。音声に関しても制御部１００は、マイク１１６による集音を停止している場合には集音を開始し、集音中であるときには継続するように入力音声処理部１０６を制御する（ステップＳ６）。更に制御部１００は、撮像した画像及び集音した音声の送信を停止しているときには、カメラ１１５により撮像された画像（映像）及びマイク１１６にて集音された音声を符号化・復号処理部１２０にて多重化して通信処理部１０８の処理により多重化後の画像及び音声のデータの送信を開始し、送信中では継続し（ステップＳ７）、処理を次のステップＳ１１へ進める。

制御部１００は、ステップＳ４にて不適切と判断した場合（Ｓ４：ＹＥＳ）、映像処理部１０５によりカメラ１１５による撮像を停止し（ステップＳ８）、入力音声処理部１０６によりマイク１１６による集音を停止する（ステップＳ９）。更に制御部１００は、カメラ１１５により撮像した画像（映像）及びマイク１１６により集音された音声の多重化及び通信処理部１０８の処理による多重化後の画像及び音声のデータの送信を停止し（ステップＳ１０）、処理を次のステップＳ１１へ進める。なお、他の会議参加者を不快にさせないためには、少なくともデータの送信を停止する（Ｓ１０）。

制御部１００は、送信を開始した後（Ｓ７）及び停止した後（Ｓ１０）のいずれでも、会議が終了したか否かを判断する（ステップＳ１１）。制御部１００は、会議が終了していないと判断した場合（Ｓ１１：ＮＯ）、処理をステップＳ１へ戻して次に端末用ペン４から状態情報を受信するまで待機する。

制御部１００は、会議が終了したと判断した場合（Ｓ１１：ＹＥＳ）、送信時の処理を終了する。

一方、端末装置１の制御部１００は、会議サーバ装置３から送信される画像及び音声のデータを受信した場合、以下のようにディスプレイ１１４及びスピーカ１１７から出力させる処理を実行する。図１２は、実施の形態１の端末装置１の画像及び音声のデータの受信時における処理手順の一例を示すフローチャートである。なお、以下に示す処理は、制御部１００により、図１１に示した処理と並行して行なわれる。

制御部１００は、会議サーバ装置３から、ネットワークＩ／Ｆ部１１８を介して画像及び音声のデータを受信したか否かを判断する（ステップＳ２１）。制御部１００は、データを受信したと判断した場合（Ｓ２１：ＹＥＳ）、受信した画像及び音声の多重化されたデータを符号化・復号処理部１２０へ与えて分離し、夫々復号して得られる画像を表示処理部１０４に与え、ディスプレイ１１４に表示させる（ステップＳ２２）。制御部１００は、同様にして符号化・復号処理部１２０にて復号して得られる音声を出力音声処理部１０７に与えてスピーカ１１７から出力させる（ステップＳ２３）。このとき制御部１００は処理を次のステップＳ２６へ進める。

一方制御部１００は、ステップＳ２１にてデータを受信していないと判断した場合（Ｓ２１：ＮＯ）、表示処理部１０４へ指示してディスプレイ１１４に所定の画像（例えばブルーバック）を表示させ（ステップＳ２４）、出力音声処理部１０７によりスピーカ１１７からの音声の出力を停止させ（ステップＳ２５）、ステップをステップＳ２６へ進める。

制御部１００は、音声を出力させた場合及び音声の出力を停止させた場合のいずれでも、会議が終了したか否かを判断する（ステップＳ２６）。制御部１００は、会議が終了していないと判断した場合（Ｓ２６：ＮＯ）、処理をステップＳ２１へ戻してデータを受信する。

制御部１００は、ステップＳ２６にて会議が終了したと判断した場合（Ｓ２６：ＹＥＳ）、受信時の処理を終了する。

このような構成により、端末用ペン４における状態に基づき、会議参加者による端末用ペン４に対する不適切な操作状態が検出でき、他の会議参加者を不快にさせるような操作状態がなされている場合にはその会議参加者を撮像した画像、及び会議参加者から発せられる音声の会議サーバ装置３への送信が禁止される。これにより、不快にさせる可能性が有る画像及び音声が他の会議参加者の端末装置１へ届かないようにすることができ、快適な会議システムを実現することができる。また、不適切な操作行為を撮像した画像、及び集音した音声のデータの送信を禁止することにより、不要なデータが送受信されることを回避することができ、ネットワーク２の通信負荷増大及び会議サーバ装置３の中継処理の負荷増大を抑制することができる。

なお実施の形態１では、端末装置１は会議参加者を撮像した画像及び集音した音声をいずれも送信し、不適切な操作状態が検出された場合には画像及び音声の両方の送信を禁止する構成とした。しかしながら本発明はこれに限らず、端末装置１は画像又は音声の一方のみを会議サーバ装置３へ送信し、不適切な操作状態が検出された場合には、送信する画像又は音声の内のいずれかの送信を禁止してもよい。また、端末装置１は通常は画像又は音声のいずれも会議サーバ装置３へ送信するとしても、不適切な操作状態が検出された場合には、画像又は音声の一方のみの送信を禁止するようにしてもよい。

また、実施の形態１では端末装置１は、不適切な操作状態が検出された場合に、画像及び音声のデータの送信を禁止する構成とした。しかしながら、本発明はこれに限らず、送信を禁止するのではなく、送信する画像のデータのデータ量を低減する構成としてもよい。具体的には、制御部１００は映像処理部１０５により取得される画像の内の一部を送信するようにする。つまり、制御部１００は、送信する画像のデータをコマ落ちに、即ちレートを低減する。又は、制御部１００は映像処理部１０５からカメラ１１５による撮像レートを低減させるようにしてもよいし、入力音声処理部１０６におけるサンプリングレートを低減させて音声のデータのデータ量を低減するようにしてもよい。

更に、端末装置１は、図１１のフローチャートに示した処理手順にて、撮像の停止、集音の停止及び送信の停止（Ｓ８、Ｓ９、及びＳ１０）を行なう場合、送信（撮像及び集音）を停止する旨のメッセージを会議サーバ装置３へ送信してもよい。会議サーバ装置３は、当該メッセージを他の端末装置１，１，…へ送信してもよい。これにより、会議サーバ装置３にて、端末装置１から画像及び音声のデータを受信できない場合でも、エラーとして検出することなく会議システムの進行を継続させることができる。

（実施の形態２）
実施の形態２では、操作者による不適切な操作状態が検出された場合、カメラの撮像方向又はマイクの集音方向を変更する制御により、他の会議参加者に不快感を覚えさせる画像又は音声の送信を回避する。

実施の形態２における会議システムは、会議参加者が夫々用いる端末装置５，５，…と、端末装置５，５，…が接続されるネットワーク２と、端末装置５，５，…間での画像（映像）及び音声の送受信及び共有を実現する会議サーバ装置３とを含んで構成される。つまり、端末装置５を含むことが実施の形態１と異なり、ネットワーク２、会議サーバ装置３及び端末用ペン４を含むことは実施の形態１の構成と同様である。したがって、以下の説明では実施の形態１の構成と共通する装置及び内部構成については同一の符号を付して詳細な説明を省略する。

端末装置５は、実施の形態１における端末装置１同様、タブレット内蔵ディスプレイを搭載した会議システム専用端末を用い、外観も同様である。

図１３は、実施の形態２の会議システムを構成する端末装置５の内部構成を示すブロック図である。

端末装置５は、制御部５００と、一時記憶部５０１と、記憶部５０２と、入力処理部５０３と、表示処理部５０４と、映像処理部５０５と、入力音声処理部５０６と、出力音声処理部５０７と、通信処理部５０８と、無線通信処理部５０９と、読取部５１０と、符号化・復号処理部５２０とを備える。端末装置５は更に、内蔵又は外部接続により、タブレット５１３と、ディスプレイ５１４と、カメラ５１５と、マイク５１６と、スピーカ５１７と、ネットワークＩ／Ｆ部５１８と、無線通信部５１９とに加え、駆動部５３０及び角度調整部５３１とを備える。

端末装置５が備える各構成部の内、駆動部５３０及び角度調整部５３１の構成、並びに制御部５００による処理の詳細以外は、実施の形態１の端末装置１の各構成部と同様である。したがって、それらの詳細な説明は省略する。

駆動部５３０は、制御部５００からの指示に基づき、角度調整部５３１へ制御信号を出力する。また、角度調整部５３１の現状を示す信号を取得して制御部５００へ通知する機能を有していてもよい。

実施の形態２におけるカメラ５１５は、端末装置１の筐体１３内部にて動かされること可能に支持されている。角度調整部５３１は、筐体１３の内部におけるカメラ５１５の支持部に、接するように配置され、ステッピングモータなどの機構を含み、駆動部５３０からの制御信号に従ってカメラ５１５の支持部の向きを変更してカメラ５１５の撮像方向を変更する。

制御部５００は、記憶部５０２に記憶してある会議端末用プログラム５Ｐを読み出して実行することにより、会議開始時には、カメラ１１５の撮像方向を、端末装置５を使用する会議参加者へ向くようにする。そして、制御部５００は、会議参加者による端末用ペン４に対する操作が不適切であると検出できた場合には、会議参加者が映らないようにカメラ５１５の撮像方向を変更させる。

図１４は、実施の形態２の端末装置５の画像及び音声のデータ送信時における処理手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態１の図１１に示した処理手順と共通する手順には同一のステップ番号を付して詳細な説明を省略する。

制御部５００は、ステップＳ４にて不適切でないと判断した場合（Ｓ４：ＮＯ）、カメラ５１５の撮像方向を、端末装置５を使用する会議参加者を撮像するように、駆動部５３０及び角度調整部５３１によって調整する（ステップＳ１２）。なお、会議参加者へ向ける撮像方向は、初期的に設定してある筐体１３の正面１３１に鉛直な方向である。駆動部５３０は会議参加者の顔を検知する機構を内蔵し、顔を捉える方向へ自動的に変更すべく制御信号を角度調整部５３１へ出力するようにしてもよい。

制御部５００は、撮像方向を調整した後、カメラ５１５による撮像を停止しているときには撮像を開始し、撮像中であるときには継続するように映像処理部５０５を制御する（Ｓ５）。制御部５００は、その後、集音の開始又は集音の継続を行なうべく入力音声処理部５０６を制御し（Ｓ６）、データの送信を開始又は継続させる（Ｓ７）。

制御部５００は、ステップＳ４にて不適切であると判断した場合（Ｓ４：ＹＥＳ）、カメラ５１５の撮像方向を、端末装置５を使用する会議参加者を撮像することで会議の場に相応しくない映像を映さないように、駆動部５３０及び角度調整部５３１によって調整する（ステップＳ１３）。

制御部５００は、撮像方向を調整した後、更に、映像処理部５０５によりカメラ５１５による撮像を停止し（Ｓ８）、入力音声処理部５０６によりマイク５１６による集音を停止する（Ｓ９）。また、制御部５００は、多重化後の画像及び音声のデータの送信を停止する（Ｓ１０）。

このような構成により、会議参加者による端末用ペン４に対する不適切な操作状態を検出した場合、つまり他の会議参加者を不快にさせるような操作状態がなされる場合には、その会議参加者を撮像した画像、及び会議参加者から発せられる音声の会議サーバ装置３への送信が禁止される。これにより、不快にさせる可能性が有る画像及び音声が他の会議参加者の端末装置５へ届かないようにすることができ、快適な会議システムを実現することができる。また、不適切な操作行為を撮像した画像、及び集音した音声のデータの送信を禁止することにより、不要なデータが送受信されることを回避することができ、ネットワーク２の通信負荷増大及び会議サーバ装置３の中継処理の負荷増大を抑制することができる。

図１４のフローチャートに示した処理手順では、制御部５００は不適切な操作状態を検出した場合には（Ｓ４：ＹＥＳ）、撮像方向を変更するのみならず、撮像及び集音の停止並びに多重化後のデータの送信の禁止をも行なう構成とした。しかしながら、本発明はこれに限らず、撮像及び集音は継続したまま、撮像方向のみを変更するようにしてもよい。ただし、ネットワーク２における通信負荷を考慮した場合、送信するデータの量を削減するために多重化後のデータの送信を禁止して不快感、違和感を抑制することができる。これにより、画像又は音声による通信負荷の増大及び会議システムにて画像又は音声の送受信を中継する会議サーバ装置３の処理負荷を抑制することが可能である。

実施の形態２では、端末装置５の制御部５００は、会議参加者の不適切な操作状態を検出した場合、カメラ５１５の撮像方向を変更させる制御を行なう構成とした。しかしながら本発明はこれに限らず、指向性の高いマイク５１６を用い、入力音声処理部５０６にてマイク５１６の集音方向を変えるか、又は、特定の方向からの音声を事後的に除去するかの処理を行なってもよい。これにより、他の会議参加者を不快にするような音声が会議サーバ装置３を介して他の端末装置１，１，…へ送信されることを回避することができる。

実施の形態１及び実施の形態２では、端末装置１又は５は、端末用ペン４に対する操作が不適切な操作状態であると検出された場合に、画像及び音声のデータの送信又は撮像方向若しくは集音方向を変更する構成とした。このとき、制御部１００（制御部５００）は、不適切な操作状態か否かのみならず、端末装置１が直立状態であるときには映像処理部１０５（５０５）により、１秒間における撮像頻度を高くし、平置き状態のときには１秒間における撮像頻度を低減するなどの制御を行なってもよい。

なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１ 端末装置（情報処理装置、第１情報処理装置）
１００ 制御部（検出手段、送信制御手段）
１０１ 一時記憶部
１０２ 記憶部
１０３ 入力処理部
１０５ 映像処理部（取得する手段）
１０６ 入力音声処理部（取得する手段）
１０８ 通信処理部（送信手段、送受信手段）
１１３ タブレット（入力手段）
１１４ ディスプレイ（表示部）
１１５ カメラ
１１６ マイク
２ ネットワーク
３ 会議サーバ装置（第２情報処理装置）
３０ 制御部
３１ 一時記憶部
３２ 記憶部
３７ 通信処理部
４ 端末用ペン（入力手段）
４５ 操作状態検出部
４６ 衝撃検出部
４７ 速度検出部
４８ 傾斜角検出部

Claims (10)

1. 文字情報又は図形情報を入力するための一又は複数の入力手段と、画像又は音声を取得する手段と、取得した画像又は音声を送出する手段とを備える情報処理装置において、
   前記入力手段に対する不適切な操作状態を、前記入力手段にて発生する変化に基づき検出する検出手段と、
   該検出手段の検出結果に応じて前記送出手段による画像若しくは音声の送出の可否、又は送出レートの増減を制御する制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記入力手段は、ペン型の入力装置を含み、
   前記検出手段は、
   前記ペン型の入力装置を用いて入力動作がされている状態、入力動作間の待機状態及び使用されていない状態の別を検出する第１手段と、
   前記ペン型の入力装置を振動、回転若しくは衝突させる動作の内の一又は複数がされている状態、及び、前記動作の反復がされている状態を検出する第２手段と
   を有し、
   第１手段又は第２手段が検出した各状態に基づき不適切な操作状態を検出するようにしてあること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記ペン型の入力装置を振動、回転若しくは衝突させる動作、又は該動作の反復がされている状態を、不適切な操作状態として検出するようにしてあること
   を特徴とする請求項２に記載の情報処理装置。
4. 前記入力手段は、入力される文字情報又は図形情報を表示する画面を出力するタッチパネル型の表示部を含み、
   前記検出手段は、前記画面以外への接触／離反が繰り返される反復動作を検出する手段を有し、
   前記反復動作がされている状態を不適切な操作状態として検出するようにしてあること
   を特徴とする請求項１から３のいずれか１つに記載の情報処理装置。
5. 前記検出手段は、
   前記入力手段に対する操作時に与えられる衝撃又は接触点における圧力を検出する手段と、
   該手段が検出した衝撃又は圧力の値を、予め記憶してある閾値と比較する手段と
   を備え、
   比較結果に基づいて不適切な操作状態を検出するようにしてあること
   を特徴とする請求項１から４のいずれか１つに記載の情報処理装置。
6. 前記検出手段が不適切な操作状態を検出した場合、前記制御手段は、画像又は音声の送出を禁止するようにしてあること
   を特徴とする請求項１から５のいずれか１つに記載の情報処理装置。
7. 前記画像は操作者を撮像した撮像画像であり、前記音声は操作者により発せられる音声を集音した集音音声であり、
   前記検出手段が不適切な操作状態を検出した場合、撮像方向又は集音方向の変更を指示する信号を出力する手段を備えること
   を特徴とする請求項１から６のいずれか１つに記載の情報処理装置。
8. 文字情報又は図形情報を入力するためのペン型の入力装置において、
   加速度検出手段、傾斜角検出手段及び衝撃検出手段の内の一又は複数を有し、
   各手段による検出結果に基づき、不適切な操作状態を検出する手段と、
   検出結果を出力する手段と
   を備えることを特徴とする入力装置。
9. 文字情報又は図形情報を入力するための一又は複数の入力手段と、画像又は音声を取得する手段と、取得した画像又は音声を送出する送出手段とを備える情報処理装置を制御する方法において、
   前記入力手段に対する不適切な操作状態を、前記入力手段にて発生する変化に基づき検出し、
   検出結果に応じて前記送出手段による画像若しくは音声の送出の可否、又は送出レートの増減を制御する
   ことを特徴とする情報処理方法。
10. 操作者を撮像する撮像装置又は操作者が発する音声を集音する集音装置と、文字情報又は図形情報を入力するための一又は複数の入力手段、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させるようにして情報を共有させ、会議を実現させる会議システムにおいて、
    複数の第１情報処理装置は夫々、
    前記入力手段に対する不適切な操作状態を、前記入力手段にて発生する変化に基づき検出する検出手段と、
    該検出手段の検出結果に応じて前記送受信手段による画像若しくは音声の送信の可否、又は送信レートの増減を制御する送信制御手段と
    を備えることを特徴とする会議システム。

Images