JP2013258580A - 情報処理装置、会議システムおよびプログラム - Google Patents

Abstract

【課題】 帯域利用効率を向上させることができる情報処理装置、会議システムおよびプログラムを提供する。
【解決手段】 情報処理装置１０は、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報の少なくとも１つを送受信する送受信部２０と、情報処理装置１０の状態を検出し、検出結果に応じて音声情報、映像情報および画面情報の送受信の必要性の有無を識別するための必要性識別情報を割り当てる必要性識別情報定義部２１と、必要性識別情報に基づき、送受信すべき音声情報、映像情報および画面情報の各々に割り当てる帯域幅を決定する帯域幅制御部２２とを含む。送受信部２０は、決定された帯域幅に従って音声情報、映像情報および画面情報の送受信を行う。
【選択図】 図２

Description

本発明は、情報の送受信を制御する情報処理装置、２以上の情報処理装置を含む会議システム、および情報処理装置により可読な当該制御を実現するためのプログラムに関する。

遠隔地にいる相手と会議を行うためのツールとして、テレビ会議システムが使用されている。テレビ会議システムは、ネットワークに接続された複数の情報処理装置と、情報処理装置間の通信を中継し、管理するためのサーバとを含んで構成される。各情報処理装置は、各種情報を表示するための表示装置としてのモニタと、音声を入力するためのマイクと、撮像するためのカメラとを備えている。なお、モニタには、音声を出力するためのスピーカが設けられている。

会議の参加者は、自分が利用する情報処理装置のマイクにより入力された音声、およびカメラにより撮像された映像を音声情報および映像情報として相手が利用する情報処理装置へ送信する。そして、相手が利用する情報処理装置から相手の音声情報および映像情報を受信する。互いが受信した映像情報は、それぞれのモニタに表示され、互いが受信した音声情報は、それぞれのモニタが備えるスピーカから出力される。これにより、相手とのコミュニケーションを図ることができるようになっている。

情報処理装置は、モニタの画面に、任意のアプリケーションを使用して作成した図や表等の会議資料を表示することができる。その表示された会議資料は、画面情報として相手が利用する情報処理装置へ送信することができ、モニタに表示させることができる。そのモニタがタッチパネルを備える場合、スタイラス等を使用して、表示されている会議資料の上に文字や図等を描画することができ、その描画情報も画面情報に含めて送受信することができる。

このようにテレビ会議システムでは、音声情報、映像情報および画面情報といった複数の情報を、ネットワークを介して送受信することができる。近年、これらの情報の高品質化に伴い、相手の表情や資料等が見やすく、音声も聞き取りやすくなっている。その一方で、送受信する情報量が増大し、ネットワークに負荷がかかり、音声や映像等が途中で途切れる等、会議に支障を来たすという問題が生じている。相手の映像や資料の内容については途中で途切れたとしても、それが短時間であれば大きな問題にはならない。しかしながら、音声については、短時間であっても内容がわからなくなってしまうので、問題が生じる。

この問題に鑑み、音声情報、モニタ映像情報に加えて、情報量の多いディスプレイ表示情報を送受信しても、音声情報が十分に送受信され使用者の音声が途切れることなく、会議を円滑に進めることができるネットワーク会議システムが提案されている（例えば、特許文献１参照）。

このネットワーク会議システムは、帯域幅制御装置を備え、この帯域幅制御装置が、各情報の送受信に利用されている帯域幅を監視し、情報量が一定値以上のとき、優先度定義ファイルの処理内容コードを参照し、各情報に対する適正帯域幅を設定し、それに基づき各情報の帯域幅を制御する。優先度定義ファイルは、送受信中、音声情報、描画情報、モニタ映像情報の順に処理優先度を下げるように定義され、音声情報が最優先されるため、音声が途切れるのを防止することができ、会議を円滑に進めることができる。

しかしながら、会議に参加している参加者全員が、音声情報、映像情報、画面情報のすべてを必要としているとは限らない。情報処理装置として携帯電話を使用する参加者の場合、耳に近接させて使用し、画面を見ないので、音声情報のみを送受信できればよい。また、マイクやカメラ機能をＯＦＦにしているとき、音声情報や映像情報が得られないため、これらを送信することはできない。このような不要な情報の送受信のために帯域を割り当ててしまうことは、帯域利用効率を低下させ、ネットワークに無駄に負荷をかけることになり、音声が途切れる等、会議に支障を来たすおそれがある。

また、優先度定義ファイルが、音声情報、映像情報、画面情報の順に処理優先度を下げるように定義され、その優先度が固定されているため、スピーカ機能がＯＦＦにされ、音声情報の受信が不要であっても、音声情報を最も低い処理優先度に下げるように定義を変更することはできない。したがって、スピーカ機能がＯＦＦであっても、音声情報の受信に対して最優先に帯域が割り当てられることになる。これもまた、帯域利用効率を低下させる。

情報処理装置は、情報の送受信の際に多くの電力を消費するが、この情報処理装置のうち、バッテリを使用する携帯電話、スマートフォン、タブレット端末、ノートＰＣは、こういった不要な情報の送受信によりバッテリが早く減少し、会議途中でバッテリ切れになる可能性がある。これでは、バッテリ消費効率が低く、充分な会議を行うことができなくなってしまう。

そこで、情報の送受信を制御し、不要な情報の送受信を行わないようにして、帯域利用効率やバッテリ消費効率を向上させることができる装置等の提供が望まれていた。

本発明は、上記課題に鑑み、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報の少なくとも１つを送受信する送受信部と、情報処理装置の状態を検出し、検出結果に応じて音声情報、映像情報および画面情報を送受信する必要性の有無を識別するための必要性識別情報を割り当てる必要性識別情報定義部と、必要性識別情報に基づき、送受信する音声情報、映像情報および画面情報の各々に割り当てる帯域幅を決定する帯域幅制御部とを含み、送受信部は、決定された帯域幅に従って音声情報、映像情報および画面情報の送受信を行う、情報処理装置が提供される。

本発明の情報処理装置を提供することにより、不要な情報の送受信を防止して同一装置上で他のアプリケーションに使用できる帯域を増加させることができるため、帯域利用効率を向上させることができる。また、不要な情報の送受信を防止できるため、ネットワーク負荷を軽減することができ、消費電力を低減させることができる。情報処理装置がバッテリを搭載する装置である場合には、バッテリ消費効率を向上させることができる。

本実施形態の会議システムの構成例を示した図。 図１に示す会議システムが備える情報処理装置の一例を示した機能ブロック図。 図１に示す会議システムが備える会議サーバの一例を示した機能ブロック図。 送受信する各情報に対して割り当てる帯域幅を決定する処理の流れを示したフローチャート。 各情報と、必要帯域幅、必要性識別子、優先度、フィルタリング後の帯域幅との関係を示した図。 音声情報の受信を観測し、観測結果に応じて受信する音声情報に対して必要性識別子を割り当てる処理の流れを示したフローチャート。 音声情報の入力を観測し、観測結果に応じて送信する音声情報に対して必要性識別子を割り当てる処理の流れを示したフローチャート。 カメラ機能のＯＮ／ＯＦＦを検出し、検出結果に応じて送信する映像情報に対して必要性識別子を割り当てる処理の流れを示したフローチャート。 近接センサにより近接の有無を検出し、検出結果に応じて送受信する映像情報および画面情報に対して必要性識別子を割り当てる処理の流れを示したフローチャート。 スピーカ機能のＯＮ／ＯＦＦを検出し、検出結果に応じて送受信する映像情報および画面情報に対して必要性識別子を割り当てる処理の流れを示したフローチャート。 バックグラウンド動作の有無を検出し、検出結果に応じて送受信する映像情報および画面情報に対して必要性識別子を割り当てる処理の流れを示したフローチャート。 振動センサにより振動を検出し、その検出を受けて映像情報の優先度を調整する処理の流れを示したフローチャート。 照度センサにより照度を測定し、その測定結果が一定基準以上か否かを判断して映像情報の優先度を調整する処理の流れを示したフローチャート。

図１は、本実施形態の会議システムの構成例を示した図である。この会議システムは、遠隔地間で会議を行うために採用されるシステムで、複数の情報処理装置１０〜１２と、会議サーバ１３とを含んで構成される。各情報処理装置１０〜１２は、それぞれが地理的に遠く離れた地域に設置されている。図１では、各情報処理装置１０〜１２が、ネットワーク１４を介して会議サーバ１３へアクセスし、会議サーバ１３を介して互いに情報のやりとりを行うように構成されている。

図１では、情報処理装置１０〜１２の各々が地理的に遠く離れた地域に設置されているが、例えば、２つの情報処理装置１０、１１が同じ地域内にあり、情報処理装置１２が遠く離れた地域に設置されていてもよい。また、情報処理装置１０〜１２は、３つに限られるものではなく、２つあるいは４つ以上であってもよい。

各情報処理装置１０〜１２としては、汎用の端末である、ＰＣ、スマートフォン、携帯電話、タブレット端末等を用いることができる。図１では、情報処理装置１０は、ノートＰＣとされ、通信ケーブルによりネットワーク１４に接続されている。情報処理装置１１は、スマートフォンとされ、ネットワーク１４に接続された基地局１５と無線通信を行うように構成されている。情報処理装置１２は、タブレット端末とされ、ネットワーク１４に接続されたアクセスポイント１６と無線通信を行うように構成されている。

各情報処理装置１０〜１２は、会議を行うために必要とされるハードウェアとして、会議に参加する参加者であるユーザが発した音声を入力するためのマイク（音声入力部）、相手の音声を出力するためのスピーカ（音声出力部）を備えている。また、各情報処理装置１０〜１２は、ユーザ自身を撮影し、それを映像として出力するカメラ（撮像部）、相手の顔や共有すべき画面等を表示するためのディスプレイまたはプロジェクタ（表示部）を備えている。

各情報処理装置１０〜１２は、各種処理を実行するＣＰＵ、各種アプリケーションおよびデータ等を記憶するＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置、ネットワーク１４に接続するためのネットワークＩ／Ｆを備える。なお、撮像部としては、光を電荷に変換して被写体の映像を電子化する固体撮像素子であるＣＣＤ(Charged Coupled Device)を用いることができ、被写体を撮像するものであれば、このＣＣＤ以外にＣＭＯＳ(Complementary Metal Oxide Semiconductor)等を用いることもできる。

各情報処理装置１０〜１２は、音声入力部から入力された音声の音声情報、撮像部により撮像された映像の映像情報、表示部に表示された共有すべき画面の画面情報を送信し、また、会議の相手からそれらの情報を受信する。音声情報は、音声のデジタル情報である。映像情報は、映像のデジタル情報であり、映像は、動画であってもよいし、静止画像であってもよい。また、その映像は、動画と静止画の両方を含んでいてもよい。音声情報および映像情報は、映像および音声のデジタル情報を受信すると同時に再生するようにストリーミング配信することができる。

映像のデジタル情報は、圧縮符号化して送受信することができるが、その圧縮符号化技術として、H.264/SVCを採用することができる。H.264/SVCでは、デジタル情報を２つのチャネルに分けて符号化し、相手方へ送信するので、相手方がネットワークの状態や再生機器の能力に応じて２つのチャネルを組み合わせてデコードすることにより、不具合のない適切なデジタル情報として取り出し、再生することができる。

画面情報は、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用される文書、表、画像、動画等の会議資料として表示するためのデジタル情報である。この画面情報は、例えば、情報処理装置１０の表示部に表示された資料を一定時間間隔で取り込む（キャプチャする）ことにより生成され、他の情報処理装置１１、１２に対して一定時間間隔で送信される。

情報処理装置１０は、他の情報処理装置１１、１２から送信された音声情報、映像情報、画面情報の少なくとも１つを、予め設定された配置情報に従って表示部の画面内の１以上の領域に表示することができる。なお、配置情報は、映像情報および画面情報の表示に関する情報である。

情報処理装置１０〜１２間の送受信は、会議サーバ１３を経由して行われる。会議サーバ１３は、会議を行うに際して、情報処理装置１０〜１２を認証し、情報処理装置１０〜１２間の通信を管理する。

会議サーバ１３は、この認証処理および管理を実行するためにＨＤＤ等の記憶装置およびＣＰＵ、ネットワーク１４に接続するためのネットワークＩ／Ｆをハードウェアとして備え、必要に応じて、入力装置としてのキーボードやマウス、表示装置としてのディスプレイ等を備える。

会議サーバ１３が備える記憶装置には、例えば、認証管理テーブルが記憶される。この認証管理テーブルは、すべての情報処理装置１０〜１２に割り当てられた装置ＩＤに対して、各パスワードを関連付けて管理する。この装置ＩＤおよびパスワードは、会議を行うために会議システムにログインする際の認証に使用されるものである。

そのほか、記憶装置には、会議の開始を要求する要求元の情報処理装置の装置ＩＤに対して、宛先となる情報処理装置の候補として登録されている情報処理装置の装置ＩＤのすべてを関連付け、会議を識別するための会議ＩＤとともに記憶、管理する宛先リスト管理テーブル等が記憶される。

情報処理装置１０〜１２を利用するユーザが会議を行う場合、ログイン画面を開き、パスワードを入力して装置ＩＤとともに会議サーバ１３へ送信する。ここでは、パスワードと装置ＩＤのみを送信しているが、ユーザＩＤも入力して送信し、ユーザＩＤも利用して認証を行うことが可能である。ユーザＩＤおよびパスワードは、いかなる文字、数字、記号等を含むものであってもよい。

会議サーバ１３は、装置ＩＤおよびパスワードを受信すると、認証管理テーブルを参照し、認証管理テーブル内に同じ装置ＩＤがあるかどうかを検索し、ある場合に、それに関連付けられたパスワードが同じであるかどうかを判断する。パスワードが同じである場合には認証処理を行い、会議を開始することができる。装置ＩＤおよびパスワードのいずれか、またはいずれもが異なる場合は、認証不可となり、ログイン画面に戻る。

情報処理装置１０〜１２は、ログイン後、会議の参加者であるユーザによって会議が選択されると、会議サーバ１３へ会議ＩＤを送信して、会議の開始を要求する。そして、各情報処理装置１０〜１２は、音声情報、映像情報、画面情報を送信し、会議サーバ１３は、それを受けて、宛先リスト管理テーブルを参照し、情報のやりとりを開始させる。以下、単に情報とした場合は、特に断りがない限り、音声情報、映像情報、画面情報のいずれか、またはこれらの組み合わせを表すものとする。

ネットワーク１４は、例えばインターネットであり、その通信は、ＴＣＰ／ＩＰ等の適切な通信プロトコルを使用して行われる。基地局１５は、情報処理装置１１のスマートフォンとの間で電波を送受信するためのアンテナ、スマートフォンをネットワーク１４で使用可能にするためにプロトコル変換等を行う変換装置、情報を適切に送受信するためにルーティングを行うルータ、ネットワーク１４に接続するためのネットワークＩ／Ｆ等を含んで構成される。

アクセスポイント１６は、無線ＬＡＮのアクセスポイントとしての機能を有し、無線ＬＡＮ規格としては、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎとが採用される。アクセスポイント１６は、ネットワーク１４に接続するためのネットワークＩ／Ｆ、無線通信を行うためのアンテナ、情報を適切に送受信するためにルーティングを行うルータ等を含んで構成される。

図２は、図１に示す会議システムが備える情報処理装置の一例を示した機能ブロック図である。情報処理装置１０〜１２のいずれも、同じ機能を有することから、ここでは、情報処理装置１０のみについて説明する。情報処理装置１０は、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報の少なくとも１つを送受信する送受信部２０を備える。この送受信部２０は、ネットワークＩ／Ｆにより実現される。

情報処理装置１０は、この情報処理装置１０の状態を検出し、検出結果に応じて音声情報、映像情報および画面情報の送受信の必要性の有無を識別するための必要性識別情報を割り当てる必要性識別情報定義部２１を備える。また、情報処理装置１０は、その必要性識別情報に基づき、送受信すべき音声情報、映像情報および画面情報の各々に割り当てる帯域幅を決定する帯域幅制御部２２と、利用できる帯域幅をリアルタイムで監視する帯域利用情報監視部２３とを備える。必要性識別情報定義部２１、帯域幅制御部２２および帯域利用情報監視部２３は、これらの処理を実行するためのプログラムが記録された記憶装置からＣＰＵが読み出し、実行することにより実現される。

帯域幅は、帯域ともいい、伝送路を介して確実に伝送することができる情報量の上限である伝送路容量をいう。帯域利用情報監視部２３は、利用可能なこの伝送路容量をリアルタイムで監視する。なお、伝送路容量は、転送可能なビットレート(bps)としても表される。

情報処理装置１０の状態については後述するが、一例として、音声情報を一定時間受信しない状態等が挙げられる。必要性識別情報は、一例では、必要性識別子とされ、必要性ありの場合は「１」、必要性なしの場合は「０」を割り当てることができる。必要性識別情報定義部２１は、各情報に対して必要性識別子を割り当てた結果を帯域幅制御部２２へ送る。

帯域幅制御部２２へは、上記の結果のほか、帯域利用情報監視部２３によりリアルタイムで取得される利用できる帯域幅の情報が入力される。帯域幅制御部２２は、この利用できる帯域幅を基に、必要性識別子「１」が割り当てられた情報に対して割り当てる帯域幅を決定する。帯域幅制御部２２は、必要性識別子「１」が割り当てられたすべての情報に対して帯域幅を決定すると、決定した帯域幅の情報を送受信部２０へ送る。送受信部２０は、決定された帯域幅に従って、必要性識別子「１」が割り当てられた情報の送受信を行う。

上記の例で言えば、必要性識別情報定義部２１は、音声情報を一定時間受信していないことを検出すると、受信する音声情報に対して必要性識別子「０」を割り当て、帯域幅制御部２２がその音声情報に対して帯域幅を確保しないようにして、その音声情報の受信を行わないように制御する。このように、不要な情報を受信しないようにすることで、不要な情報のために帯域幅を確保する事態を回避することができる。また、情報処理装置１０の機能の状態、通信状態、現在実行している処理の状態等から特定されるユーザの利用形態に応じて、帯域幅を最適化させることができる。

図２では、上記各機能部のほか、優先度定義部２４が設けられている。優先度定義部２４は、各情報につき予め定義された優先度情報を保持し、帯域幅制御部２２にその優先度情報を提供する。帯域幅制御部２２は、与えられた優先度情報を参照し、必要性識別子「０」を割り当てた情報を除き、優先度が高い順に帯域幅を割り当てていく。

帯域幅制御部２２が行う帯域幅制御の時間間隔、帯域幅、優先度定義部２４が保持する優先度情報は、予め定義あるいは設定しておくことができるが、必要に応じてユーザがカスタマイズすることも可能である。なお、帯域幅制御の時間間隔は、その時間間隔が小さいほど、ユーザの利用形態への追従性が高くなり、その時間間隔が大きくなるほど、制御に要するＣＰＵ負担が減少する。

図３は、図１に示す会議システムが備える会議サーバ１３の一例を示した機能ブロック図である。会議サーバ１３は、各情報処理装置１０〜１２から送信された情報を受信し、その情報を、宛先リスト管理テーブルを参照して、その宛先となる各情報処理装置１０〜１２へ送信する。このため、情報を送受信する送受信部３０を備える。この送受信部３０は、ネットワークＩ／Ｆにより実現され、宛先を判断する処理については記憶装置に記憶されるプログラムをＣＰＵが読み出し実行することにより実現される。

会議サーバ１３は、受信した情報を宛先へ送信する処理を実行するのみであるが、必要な帯域幅を割り当て、その帯域幅に従って送受信部３０が情報の送受信を行うため、帯域幅制御部３１を備える。したがって、会議サーバ１３は、送受信部３０が情報を受信すると、宛先リスト管理テーブルを参照して、宛先を決定し、帯域幅制御部３１が、その情報に帯域幅を割り当て、その結果を送受信部３０へ送り、送受信部３０がその結果に従って送信を行う。

実際に情報処理装置１０が行う処理について、図４を参照して詳細に説明する。この図４は、送受信する各情報に対して割り当てる帯域幅を決定する処理の流れを示したフローチャートである。情報処理装置１０は、既にログインされ、会議システムに使用されているものとする。また、必要性識別情報定義部２１が各情報につき、必要性の有無を識別するための必要性識別子を割り当て、その結果を帯域幅制御部２２に送っているものとする。

ステップ４００からこの処理を開始し、帯域幅制御部２２は、ステップ４１０において、受け取った結果から各情報の必要性識別子を抽出する。そして、ステップ４２０において、帯域幅制御部２２が、抽出した必要性識別子に基づき情報のフィルタリングを行う。フィルタリングは、不要な情報に対して帯域幅を割り当てないようにするため、不要な情報を、帯域幅を割り当てる対象から外す処理である。

帯域幅制御部２２には、帯域利用情報監視部２３からリアルタイムで利用できる帯域幅の情報が送られている。帯域幅制御部２２は、ステップ４３０において、必要な情報に対して予め定義された帯域幅を割り当てていき、その帯域幅の合計を計算し、送られてきた利用できる帯域幅の情報を参照し、その合計の帯域幅が利用できる帯域幅より大きいかどうかを判断する。

大きいと判断した場合、ステップ４４０へ進み、帯域幅制御部２２は、優先度定義部２４から与えられた優先度情報を基に、各情報の優先度を抽出する。そして、ステップ４５０へ進む。これに対し、小さいと判断した場合は、直接ステップ４５０へ進む。

ステップ４５０では、合計の帯域幅が利用できる帯域幅より小さければ、必要な情報のいずれに対しても帯域幅を割り当てることができるため、帯域幅制御部２２は、実際に使用する帯域幅を各情報に対して順に割り当て、その結果を送受信部２０へ送り、送受信部２０は、その結果に従って送受信を行う。

合計の帯域幅が利用できる帯域幅より大きい場合、予め定義された帯域幅を割り当てることができない情報が出てくるため、帯域幅制御部２２は、優先度の高い情報から順に帯域幅を割り当てていく。そして、帯域幅制御部２２は、残った帯域幅を、残った情報に割り当てる。帯域幅制御部２２は、割り当てた結果を送受信部２０へ送り、ステップ４６０でｔ秒経過するまで待つ。ｔ秒経過した後、ステップ４１０へ戻り、帯域幅制御部２２は、再び各情報の必要性識別子を抽出する処理を行う。

なお、上記ｔ秒は、任意の時間であり、ユーザが、必要に応じてカスタマイズすることができる。この処理は、会議が終了し、ユーザによってログオフするまで繰り返される。

図４に示した帯域幅の決定フローにつき、具体的な例を示して説明すると次のようになる。例えば、帯域幅制御部２２は、図５に示すようなテーブルを作成する。このテーブルは、各情報の送信を定義するテーブルである。このテーブルにおいて、各情報につき必要とされる必要帯域幅は予め設定されており、優先度は優先度定義部２４から取得したものである。帯域利用情報監視部２３から利用可能な帯域幅として６００(kbps)が入力され、カメラがＯＦＦにされたとする。

必要性識別情報定義部２１では、カメラがＯＦＦにされたという検出情報から、映像情報の入力がなくなり、その映像情報の送信は不要と判断する。そして、必要性識別情報定義部２１は、映像情報に対して必要性識別子「０」を割り当て、その他の音声情報および画面情報に対しては必要性識別子「１」を割り当て、その結果をテーブルに入力する。

帯域幅制御部２２は、必要性識別子「０」の映像情報をフィルタリングして取り除き、テーブル内の音声情報と画面情報の必要帯域幅を加算して、それらの情報に必要帯域幅を割り当てたときの合計の帯域幅を計算する。図５では、音声情報が１３０(kbps)であり、画面情報が４２８(kbps)である。このため、帯域幅制御部２２は、合計の帯域幅を５５８(kbps)と計算する。

帯域幅制御部２２は、帯域利用情報監視部２３から取得した利用できる帯域幅より合計の帯域幅が大きいかどうかを判断する。利用できる帯域幅が６００(kbps)である場合、合計の帯域幅は小さいので、小さいと判断する。そして、この判断結果から、帯域幅制御部２２は、音声情報に対してそのまま１３０(kbps)を割り当て、画面情報に対してもそのまま４２８(kbps)を割り当てる。この結果は、テーブル内に入力されて情報と割り当てた帯域幅とが関連付けられる。フィルタリングされた情報に対しては、帯域幅０が入力される。帯域幅制御部２２は、この関連付けられた情報と帯域幅とを送受信部２０へ送る。

従来においては、優先度が高い順に帯域幅を割り当て、不要な情報に対しても帯域幅を割り当てていたので、最も高い優先度をもつ音声情報に対して１３０(kbps)を、次に高い優先度をもつ映像情報に対して４２８(kbps)を、最も低い優先度をもつ画面情報に対して、利用できる帯域幅６００(kbps)のうち残った４２(kbps)を割り当てていた。このため、不要な映像情報に対して帯域幅を割り当て、しかも利用できる帯域幅のすべてを使用していた。このように、利用できる帯域幅６００(kbps)のすべてを使用することは、帯域幅の利用効率が低く、また、必要な画面情報に対して少ない帯域幅しか割り当てることができないため、画面が途中で途切れる可能性が高く、円滑な会議の妨げになっていた。

これに対し、本発明では、必要な情報にのみ帯域幅を割り当てるので、利用できる帯域幅６００(kbps)に対し、必要な帯域幅が５５８(kbps)と小さく、残りの帯域幅を他のアプリケーションに使用できるので帯域幅の利用効率が向上し、また、必要な情報に必要な帯域幅を割り当てることができるので、画面が途中で途切れるようなことはなく、円滑な会議を行うことができる。

これまで、各情報に対して割り当てる帯域幅を決定する処理について説明してきたが、以下、各情報に対して必要性識別子を割り当てる方法について具体的な例を挙げて詳細に説明する。なお、必要性識別子は、各情報につき、送信と受信の２つが用意される。また、必要性識別子は、ユーザの利用形態に応じてリアルタイムに決定され、割り当てられる。

第１の実施形態は、上記の例で示したものであり、この実施形態では、必要性識別情報定義部２１が、他の情報処理装置１１、１２から音声情報を受信しているかどうかを観測する。必要性識別情報定義部２１は、一定時間、例えばｔ秒間観測する。そして、その結果として受信していないことを観測した場合、必要性識別情報定義部２１は、音声情報の受信が必要ないと判断し、受信する音声情報に対して必要性識別子「０」を割り当てる。一方、受信していることを観測した場合は、必要性識別子「１」を割り当てる。

なお、この音声情報の受信の観測には、帯域幅を確保する必要があるが、この帯域幅は、通常の音声情報の受信に必要な帯域幅より充分に小さいものである。観測する時間間隔は、任意に設定することができるが、一例として、上記の帯域幅制御の時間間隔と同様のものとすることができる。

第２の実施形態では、必要性識別情報定義部２１は、情報処理装置１０が備える音声入力部から音声情報が入力されているかどうかを観測する。必要性識別情報定義部２１が、一定時間、例えばｔ秒間、音声情報の入力を観測しない場合、送信する音声情報がないので、音声情報の送信が必要ないと判断し、送信する音声情報に対して必要性識別子「０」を割り当てる。一方、入力されていることを観測した場合は、必要性識別子「１」を割り当てる。観測する時間間隔は、上記と同様、帯域幅制御の時間間隔と同様のものとすることができる。

これらの処理について、図６および図７に示すフローチャートを参照して説明する。図６は、第１実施形態の、他の情報処理装置１１、１２から音声情報を受信しているかどうかを観測し、観測した結果に応じて、受信する音声情報に対して必要性識別子「０」または「１」を割り当てる処理の流れを示した図である。ステップ６００からこの処理を開始し、ステップ６１０で、必要性識別情報定義部２１は、送受信部２０を介して音声情報の受信の観測を開始する。ステップ６２０で、必要性識別情報定義部２１は、タイマ等を利用して、ｔ秒間経過するまで観測を行い、ｔ秒間経過したところで観測を終了する。

ステップ６３０で、必要性識別情報定義部２１は、他の情報処理装置１１、１２から音声情報を受信したかどうかを判断する。ｔ秒間、音声情報の受信がなく、ノイズのみを受信している場合は、音声情報を受信していないと判断し、相手が発した何らかの音声の音声情報の受信があった場合は、それが一言であっても、音声情報を受信したと判断する。

音声情報を受信していないと判断した場合、ステップ６４０へ進み、必要性識別情報定義部２１は、受信する音声情報に対して必要性識別子「０」を割り当てる。そして、ステップ６５０において、必要性識別情報定義部２１は、音声観測用の帯域幅を確保し、ステップ６１０へ戻る。その一方、音声情報を受信したと判断した場合、ステップ６６０へ進み、必要性識別情報定義部２１は、受信する音声情報に対して必要性識別子「１」を割り当て、ステップ６１０へ戻る。そして、再び音声情報の受信の観測を開始する。これは、会議が終了し、ユーザによってログオフされるまで続けられる。

図７は、第２実施形態の、音声入力部から音声情報が入力されているかどうかを観測し、観測した結果に応じて、送信する音声情報に対して必要性識別子「０」または「１」を割り当てる処理の流れを示した図である。ステップ７００からこの処理を開始し、ステップ７１０で、音声情報の入力の観測を開始する。ステップ７２０で、必要性識別情報定義部２１は、タイマ等を利用して、ｔ秒間経過するまで観測を行い、ｔ秒間経過したところで観測を終了する。

ステップ７３０で、必要性識別情報定義部２１は、音声入力部から音声情報が入力されたかどうかを判断する。ｔ秒間、音声情報の入力がなく、ノイズのみを受信している場合は、音声情報が入力されていないと判断し、ユーザが発した何らかの音声の音声情報の入力があった場合は、それが一言であっても、音声情報が入力されたと判断する。

音声情報が入力されていないと判断した場合、ステップ７４０へ進み、必要性識別情報定義部２１は、送信する音声情報に対して必要性識別子「０」を割り当て、ステップ７１０へ戻る。その一方、音声情報が入力されたと判断した場合、ステップ７５０へ進み、必要性識別情報定義部２１は、送信する音声情報に対して必要性識別子「１」を割り当て、ステップ７１０へ戻る。そして、再び音声情報の入力の観測を開始する。これは、会議が終了し、ユーザによってログオフされるまで続けられる。

上記では、送受信する音声情報に対して必要性識別子を割り当てる方法について説明してきたが、それ以外の送受信する映像情報および画面情報に対して必要性識別子を割り当てる方法について以下に実施形態をもって詳細に説明する。

第３の実施形態では、必要性識別情報定義部２１は、カメラ機能がＯＮまたはＯＦＦにされたかを検出する。必要性識別情報定義部２１が、カメラ機能がＯＮまたはＯＦＦにされたかを検出し、その検出結果に応じて送信する映像情報に対して必要性識別子「０」または「１」を割り当てる。カメラ機能がＯＮにされた場合、映像情報を送信する必要があるので、必要性識別子「１」を割り当て、ＯＦＦにされた場合、映像情報を送信する必要がないので、必要性識別子「０」を割り当てる。

この処理について、図８を参照して詳細に説明する。ステップ８００からこの処理を開始し、ステップ８１０で、必要性識別情報定義部２１は、カメラ機能のＯＮまたはＯＦＦを検出する。ステップ８２０で、必要性識別情報定義部２１は、検出結果がカメラ機能ＯＮになっているかを判断する。カメラ機能がＯＮである場合、ステップ８３０へ進み、送信する映像情報に対して必要性識別子「１」を割り当てる。これに対して、ＯＦＦである場合にはステップ８４０へ進み、必要性識別情報定義部２１は、送信する映像情報に対して必要性識別子「０」を割り当てる。その後、いずれもステップ８１０へ戻り、ユーザによってログオフされるまでこの処理が繰り返される。

第４の実施形態では、情報処理装置１０が携帯電話やスマートフォンで、近接センサ（近接検出部）を備える構成とされる。近接センサは、非接触で検出物体が一定距離以内に近づいたことを検出するセンサである。携帯電話やスマートフォンは、通話する際、耳に近づけて使用する。このとき、ユーザは自分自身を撮影することはできず、相手の表情を見たり、資料を参照することもできない。したがって、映像情報や画面情報の送受信は不要である。そこで、近接センサで、耳に近づいたかどうかを検出し、近づいたことを検出した場合に、不要な映像情報や画面情報の送受信を停止する。

このときに実行される処理を、図９を参照して詳細に説明する。ステップ９００からこの処理を開始し、ステップ９１０において、近接センサが作動する。近接センサは、検出物体が一定距離以内に近づいたときに作動し、その検出を実行する。ステップ９２０において、近接センサが作動したことに伴い、対象物を検出したかを判断する。

対象物を検出した場合、耳に近接しているので、ステップ９３０へ進み、必要性識別情報定義部２１は、その結果から、送受信する映像情報に対して必要性識別子「０」を割り当てる。次に、ステップ９４０で、必要性識別情報定義部２１は、送受信する画面情報に対して必要性識別子「０」を割り当てる。これらを決定した後、ステップ９１０へ戻り、再び近接センサが作動するのを待つ。

検出物体を検出しない場合は、耳に近接していないので、ステップ９５０へ進み、必要性識別情報定義部２１は、その結果から、送受信する映像情報に対して必要性識別子「１」を割り当てる。次に、ステップ９６０で、必要性識別情報定義部２１は、送受信する画面情報に対して必要性識別子「１」を割り当てる。割り当てた後は、上記と同様に、ステップ９１０へ戻り、再び近接センサが作動するのを待つ。この実施形態も、ユーザによってログオフされるまで、この処理が繰り返される。

第５の実施形態では、必要性識別情報定義部２１は、スピーカ機能がＯＮまたはＯＦＦにされたかを検出する。必要性識別情報定義部２１が、スピーカ機能がＯＮまたはＯＦＦにされたかを検出し、その検出結果に応じて送受信する映像情報および画面情報に対して必要性識別子を「０」または「１」を割り当てる。スピーカは、表示画面を見ながら会話する際に利用されるが、通話するときにはＯＦＦにされる。このため、スピーカ機能がＯＦＦになった場合、通話していると想定される。通話中は、上述したように、映像や資料を見ることはできないため、映像情報や画面情報の送受信は必要ない。そこで、スピーカ機能がＯＦＦになったとき、映像情報や画面情報の送受信を停止する。

このときに実行される処理について図１０を参照して詳細に説明する。ステップ１０００からこの処理を開始し、ステップ１０１０では、必要性識別情報定義部２１が、スピーカ機能のＯＮまたはＯＦＦを検出する。そして、ステップ１０２０において、必要性識別情報定義部２１は、検出結果がスピーカ機能ＯＮである場合、ステップ１０３０へ進む。

ステップ１０３０では、通話していないと想定されることから、映像情報の送受信を行うべく、必要性識別情報定義部２１は、送受信する映像情報に対して必要性識別子「１」を割り当てる。また、画面情報の送受信も行うべく、ステップ１０４０において必要性識別情報定義部２１は、送受信する画面情報に対して必要性識別子「１」を割り当てる。割り当てた後、ステップ１０１０へ戻り、スピーカ機能がＯＦＦにされるまで待つ。

ステップ１０２０において検出結果がスピーカ機能ＯＦＦである場合、ステップ１０５０へ進み、通話していると想定されることから、映像情報の送受信を停止するべく、必要性識別情報定義部２１は、送受信する映像情報に対して必要性識別子「０」を割り当てる。また、画面情報の送受信も停止するべく、ステップ１０６０において必要性識別情報定義部２１は、送受信する画面情報に対して必要性識別子「０」を割り当てる。割り当てた後、ステップ１０１０へ戻り、スピーカ機能がＯＮにされるまで待つ。この処理も、ユーザによってログオフされるまで繰り返される。

第６の実施形態では、ユーザは会議中にその他の画面を閲覧する等、映像や会議資料の再生がバックグラウンドで行われることも多いため、バックグラウンド動作中であるかどうかを検出する。ここで、その他の画面としては、他の文書、表、図、Ｗｅｂページ等が挙げられる。バックグラウンド動作は、ユーザが操作対象としていないプロセスで、優先順位が低い処理である。必要性識別情報定義部２１が、バックグラウンド動作中か否かを検出し、その検出結果に応じて受信する映像情報および画面情報に対して必要性識別子「０」または「１」を割り当てる。バックグラウンド動作中である場合、ユーザは映像の映像情報や画面の画面情報を見ていないので、映像情報および画面情報を受信しないようにする。

このときに実行される処理について図１１（ａ）を参照して詳細に説明する。ステップ１１００からこの処理を開始し、必要性識別情報定義部２１は、バックグラウンド動作へ移行したどうかを監視し、ステップ１１１０で、実際に移行したことを検出する。ステップ１１２０では、必要性識別情報定義部２１は、受信する映像情報に対して必要性識別子「０」を割り当てる。次に、ステップ１１３０において、必要性識別情報定義部２１は、受信する画面情報に対して必要性識別子「０」を割り当て、ステップ１１４０でこの処理を終了する。この割り当てによって映像情報および画面情報が受信されないように制御することができる。

バックグラウンド動作へ移行した後、バックグラウンド動作を解除する場合があり、その処理の流れを、図１１（ｂ）に示す。ステップ１１５０から処理を開始し、ステップ１１６０で、必要性識別情報定義部２１は、実際に解除したことを検出する。ステップ１１７０では、必要性識別情報定義部２１が、受信する映像情報に対して必要性識別子「１」を割り当てる。映像情報を受信し、画面上に表示させるためである。続いて、ステップ１１８０では、必要性識別情報定義部２１が、受信する画面情報に対して必要性識別子「１」を割り当て、ステップ１１９０でこの処理を終了する。

これまで実施形態をもって必要性識別子を割り当てる方法について説明してきたが、情報処理装置１０の状態を検出し、検出結果に応じて必要性識別子「０」または「１」を割り当てることができれば、これらの実施形態に限定されるものではなく、例えばマイクのＯＮ／ＯＦＦを検出し、その検出結果に応じて必要性識別子を割り当てることができる。ちなみに、マイクがＯＮであれば、音声情報が入力されるので、送信する音声情報に対して必要性識別子「１」を割当て、ＯＦＦであれば、音声情報が入力されないので、送信する音声情報に対して必要性識別子「０」を割り当てる。

また、情報処理装置１０が携帯電話、スマートフォン、タブレット端末、ノートＰＣ等とされ、スピーカ機能がＯＦＦになっても、イヤフォンジャックにヘッドフォンが差し込まれているかどうかを検出し、それに応じて必要性識別子を割り当てることもできる。スピーカ機能がＯＦＦになったとき、すべてが通話しているとは限らず、ヘッドフォンが差し込まれた場合もあるためである。ヘッドフォンが差し込まれた場合、画面を見ることができるので、音声情報、映像情報、画面情報のすべてを送受信する必要があり、すべての情報に対して必要性識別子「１」を割り当てる。

次に、優先度を調整する処理について図１２および図１３を参照して詳細に説明する。優先度を調整する１つの実施形態では、情報処理装置１０がスマートフォンやタブレット端末で、振動センサ（振動検出部）を備える構成とされる。振動センサは、装置が振動しているかどうかを検出するセンサであり、その１つに加速度を検出する加速度センサが挙げられる。装置が振動している状態では、撮像するカメラにぶれを生じ、きれいな映像を撮ることはできない。このような映像を映像情報として送信しても、相手方は、どのような表情であるのか、また、人物を認識できない場合もあるからである。

会議システムにおいては、会議を行う上で、相手の声は聞き取れることが前提で、次に相手の表情を見ることができることを特徴としている。それに付加して、資料等の画面も参照できるようにしている。このため、送受信すべき情報の優先順位は、これに限定されるものではないが、一般的に音声情報、映像情報、画面情報の順となる。

しかしながら、上記のように振動によって映像が悪くなる場合、送信する映像情報の優先順位を下げることが望ましい。図１２は、振動を検出し、その結果を受けて優先順位を下げる処理の流れを示したフローチャートである。ステップ１２００からこの処理を開始し、ステップ１２１０では、振動センサにより振動を検出する。それを受けて、ステップ１２２０で、帯域幅制御部２２が、優先度定義部２４から与えられた優先度情報に含まれる映像情報の優先順位を下げ、ステップ１２３０でこの処理を終了する。帯域幅制御部２２は、優先度を変更することにより、優先順位を下げることができ、変更後の優先順位は、音声情報、画面情報、映像情報の順となる。

優先順位は、装置の振動のほか、周囲の照度によっても変更することが望ましい。照度が一定基準値以上であるかどうかによって撮像される映像の品質に影響を及ぼし、一定基準値未満であると、表情もさることながら、誰を撮像しているかわからない場合もあるからである。また、このような映像情報に対して帯域幅を割り当てて送信しても、充分な品質を確保することができないからである。そこで、情報処理装置１０は、照度センサ（照度測定部）を備えることができる。照度センサは、光源の明るさを検出するセンサで、照射された光の明るさを表す照度の値を出力する。

図１３は、照度に応じて優先度を調整する処理の流れを示したフローチャートである。ステップ１３００からこの処理を開始し、ステップ１３１０において、照度センサにより照度を検出する。この照度の検出は、一定時間間隔で行うことができる。一例としては、上記の帯域幅制御の時間間隔と同じ間隔で実施することができる。

ステップ１３２０では、帯域幅制御部２２が、検出された照度が一定基準値以上であるかを判断する。一定基準値未満と判断した場合、ステップ１３３０へ進み、映像情報の優先度を低くし、ステップ１３５０でこの処理を終了する。一定基準値以上と判断した場合、ステップ１３４０へ進み、映像情報の優先度をデフォルト値へ戻し、ステップ１３５０でこの処理を終了する。

以上のようにして、ユーザの利用形態に応じて必要な情報のみを送受信し、不要な情報は送受信しないようにすることで、他のアプリケーションに使用できる帯域幅を増加させることができ、これにより、帯域幅の利用効率を向上させることができる。また、不要な情報の送受信がなくなるので、ネットワーク負荷を軽減し、情報処理装置の消費電力を低減させることができる。情報処理装置がバッテリにより駆動する場合には、バッテリ消費効率を向上させることができる。

また、振動を検出したときや、照度が一定基準値未満であるときのように、映像の品質が悪い場合、それを送受信しても充分な品質の映像を表示させることができないので、優先度を低くし、振動がなくなったときや、照度が一定基準値以上になったときに、予め定義されたデフォルトの優先度へ戻すことができる。映像情報の優先度を低くすることで、他の音声情報や画面情報の品質を向上させることができ、映像情報について一定以上の品質が確保できるようになった場合に元の優先度に戻すことで、一定以上の品質の映像情報を提供することができる。

優先度の調整は、上記の振動を検出することにより、または照度を測定することにより行うことができるが、これに限られるものではなく、例えば、現在いる場所をＧＰＳ(Grobal Positioning System)および地図情報から検出し、その場所が、騒音が激しい場所であるかどうかを判断し、また、騒音を測定するセンサを備え、そのセンサにより測定し、一定の値以上であるかどうかを判断し、その判断結果に応じて、送信する音声情報の優先度を調整することも可能である。

これまで本発明を、情報処理装置および会議システム、情報処理装置により実行されるプログラムとして上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０〜１２…情報処理装置、１３…会議サーバ、１４…ネットワーク、１５…基地局、１６…アクセスポイント、２０…送受信部、２１…必要性識別情報定義部、２２…帯域幅制御部、２３…帯域利用情報監視部、２４…優先度定義部、３０…送受信部、３１…帯域幅制御部

特許第３８５２７５２号公報

Claims (12)

1. 情報の送受信を制御する情報処理装置であって、
   前記情報として、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報の少なくとも１つを送受信する送受信部と、
   前記情報処理装置の状態を検出し、検出結果に応じて前記音声情報、前記映像情報および前記画面情報を送受信する必要性の有無を識別するための必要性識別情報を割り当てる必要性識別情報定義部と、
   前記必要性識別情報に基づき、送受信する前記音声情報、前記映像情報および前記画面情報の各々に割り当てる帯域幅を決定する帯域幅制御部とを含み、
   前記送受信部は、決定された前記帯域幅に従って前記音声情報、前記映像情報および前記画面情報の送受信を行う、情報処理装置。
2. 前記必要性識別情報定義部は、一定時間内に前記音声情報を受信したかどうかを検出し、前記音声情報を受信していない場合、受信する前記音声情報に対して、受信する必要性が無いことを示す前記必要性識別情報を割り当て、前記帯域幅制御部は、前記受信する音声情報に対して前記帯域幅を確保しないと決定する、請求項１に記載の情報処理装置。
3. 前記音声を入力するための音声入力部を含み、
   前記必要性識別情報定義部は、一定時間内に前記音声入力部から前記音声が入力されたかどうかを検出し、前記音声情報が入力されていない場合、送信する前記音声情報に対して、送信する必要性が無いことを示す前記必要性識別情報を割り当て、前記帯域幅制御部は、前記送信する音声情報に対して前記帯域幅を確保しないと決定する、請求項１または２に記載の情報処理装置。
4. 前記映像を撮像するための撮像部を含み、
   前記必要性識別情報定義部は、前記撮像部により実現される撮像機能がＯＮまたはＯＦＦにされたかどうかを検出し、前記撮像機能がＯＦＦにされた場合、送信する前記映像情報に対して、送信する必要性が無いことを示す前記必要性識別情報を割り当て、前記帯域幅制御部は、前記送信する映像情報に対して前記帯域幅を確保しないと決定する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. ユーザとの距離が一定以内であるかどうかを検出する近接検出部を含み、
   前記必要性識別情報定義部は、前記近接検出部を使用して前記距離が前記一定以内であることを検出した場合、送受信する前記映像情報および前記画面情報の少なくとも一方に対して、送受信する必要性が無いことを示す前記必要性識別情報を割り当て、前記帯域幅制御部は、前記送受信する映像情報および画面情報の少なくとも一方に対して前記帯域幅を確保しないと決定する、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記音声を出力するための音声出力部を含み、
   前記必要性識別情報定義部は、前記音声出力部により実現される音声出力機能がＯＦＦにされたかどうかを検出し、前記音声出力機能がＯＦＦにされた場合、送受信する前記映像情報および前記画面情報の少なくとも一方に対して、送受信する必要性が無いことを示す前記必要性識別情報を割り当て、前記帯域幅制御部は、前記送受信する映像情報および画面情報の少なくとも一方に対して前記帯域幅を確保しないと決定する、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記必要性識別情報定義部は、前記音声情報、前記映像情報および前記画面情報の送受信がバックグラウンドで動作しているかどうかを検出し、前記バックグラウンドで動作している場合、受信する前記映像情報および前記画面情報の少なくとも一方に対して、受信する必要性が無いことを示す前記必要性識別情報を割り当て、前記帯域幅制御部は、前記受信する映像情報および画面情報の少なくとも一方に対して前記帯域幅を確保しないと決定する、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 送信する前記音声情報、前記映像情報および前記画面情報に対して前記帯域幅を割り当てる順番を定義する優先度情報を保持し、前記帯域幅制御部に前記優先度情報を提供する優先度定義部を含み、
   前記帯域幅制御部は、前記帯域幅を確保しないと決定した情報を除き、前記優先度情報に従って各前記情報に割り当てる前記帯域幅を決定する、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記情報処理装置が振動しているかどうかを検出するための振動検出部を含み、前記優先度定義部は、前記振動検出部が振動を検出したことを受けて前記優先度情報を変更する、請求項８に記載の情報処理装置。
10. 前記情報処理装置の周辺の照度を測定するための照度測定部を含み、前記優先度定義部は、前記照度測定部により測定された照度に応じて前記優先度情報を変更する、請求項８に記載の情報処理装置。
11. 請求項１〜１０のいずれか１項に記載の２以上の情報処理装置と、前記２以上の情報処理装置間の情報の送受信を中継する会議サーバとを含む、会議システム。
12. 情報の送受信を制御する方法を実行するための情報処理装置により読み取り可能なプログラムであって、
    前記情報処理装置の状態を検出し、検出結果に応じて、前記情報として入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報を送受信する必要性の有無を識別するための必要性識別情報を割り当てるステップと、
    前記必要性識別情報に基づき、送受信する前記音声情報、前記映像情報および前記画面情報の各々に割り当てる帯域幅を決定するステップと、
    決定された前記帯域幅に従って前記音声情報、前記映像情報および前記画面情報を送受信するステップと
    を前記情報処理装置に実行させる、プログラム。