JP2018078628A - 情報処理端末、会議システム、映像データ送信方法及びプログラム - Google Patents

Abstract

【課題】送信先にとって適切な品質の画像データを送信可能な情報処理端末、会議システム、映像データ送信方法及びプログラムを提供する。【解決手段】映像データを取得する撮像部１１０と、映像データの送信先の情報処理端末に適した映像品質を予測するための予測品質情報をサーバから取得する予測品質情報取得部１３５と、予測品質情報が送信先の情報処理装置における文書の表示が有ることを示している場合、映像データを加工し、映像データのデータ量を減少させる加工部１４３と、加工された映像データを送信先の情報処理端末に送信する送信部１４５と、を備える。【選択図】図２

Description

本発明は、情報処理端末、会議システム、映像データ送信方法及びプログラムに関する。

ネットワークを介して画像データなど大容量のデータをリアルタイムに送受信するテレビ（ＴＶ）会議システム（ビデオ会議システムやテレビジョン会議システム等と称される場合もある）において、送信対象の画像データのデータ量をネットワーク帯域内に抑えるため、当該画像データの解像度やフレームレートを調整する技術が知られている（例えば、特許文献１参照）。

上述したような従来技術では、送信対象の画像データに人物がいるか否かに応じて解像度やフレームレートを調整しているが、このような方式で送信された画像データは、送信先にとって期待以上の品質の場合もあれば期待以下の品質の場合もある。つまり、送信された画像データが、送信先にとって適切な品質の画像データであるとは限らない。

本発明は、上記事情に鑑みてなされたものであり、送信先にとって適切な品質の画像データを送信可能な情報処理端末、会議システム、映像データ送信方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる情報処理装置は、複数の情報処理端末間のデータの送受信を中継するサーバと前記複数の情報処理端末とで構成される会議システムで使用される前記複数の情報処理端末の中の一つの情報処理端末であって、映像データを取得する撮像部と、前記映像データの送信先の情報処理端末に適した映像品質を予測するための予測品質情報を前記サーバから取得する情報取得部と、前記予測品質情報が前記送信先の情報処理端末における文書の表示が有ることを示している場合、前記映像データを加工し、前記映像データのデータ量を減少させる加工部と、加工された前記映像データを前記送信先の情報処理端末に送信する送信部と、を備える。

本発明によれば、送信先にとって適切な品質の画像データを送信可能という効果を奏する。

図１は、本実施形態のＴＶ会議システムの構成の一例を示すブロック図である。 図２は、本実施形態の端末装置の構成の一例を示すブロック図である。 図３は、本実施形態の画面表示状態の一例を示す図である。 図４は、本実施形態の画面表示状態の他の例を示す図である。 図５は、本実施形態の画面表示状態の他の例を示す図である。 図６は、本実施形態の端末装置の構成の一例を示すブロック図である。 図７は、本実施形態の端末装置で実行される映像データ送信処理の一例を示すフローチャート図である。 図８は、本実施形態の端末装置で実行される映像データ受信処理の一例を示すフローチャート図である。

以下、添付図面を参照しながら、本発明の実施形態にかかる情報処理端末、会議システム、映像データ送信方法及びプログラムを詳細に説明する。以下の実施形態では、本発明をＴＶ会議システムに適用した場合を例に取り説明するが、これに限定されるものではない。

図１は、本実施形態のＴＶ会議システム１の構成の一例を示すブロック図である。図１に示すように、ＴＶ会議システム１は、サーバ装置１０と、端末装置２０−１〜２０−Ｎ（Ｎ≧２、但し、本実施形態ではＮ＝９を想定）とを、備える。サーバ装置１０及び端末装置２０−１〜２０−Ｎは、ネットワーク２を介して接続されている。ネットワーク２は、例えば、インターネットやＬＡＮ（Local Area Network）などにより実現できる。

サーバ装置１０は、端末装置２０−１〜２０−Ｎ間での映像データや音声データなど（以下、「会議データ」と称する場合がある）の送受信を中継する。

端末装置２０−１〜２０−Ｎは、会議データの送受信を行うが、以下では、映像データの送受信に特化して説明する。なお、端末装置２０−１〜２０−Ｎは、それぞれ異なる拠点に配されているものとする。また以下では、端末装置２０−１による映像データの送信、及び端末装置２０−２による映像データの受信を例に取り、端末装置２０−１〜２０−Ｎによる映像データの送受信を説明する。このため、端末装置２０−１の構成については、映像データの送信に特化して説明し、端末装置２０−２の構成については、映像データの受信に特化して説明する。但し、実際には、端末装置２０−１〜２０−Ｎは、いずれも、端末装置２０−１で説明する構成及び端末装置２０−２で説明する構成の双方を備えており、映像データの送受信が可能となっている。

図２は、本実施形態の端末装置２０−１（情報処理装置の一例）の構成の一例を示すブロック図である。図２に示すように、端末装置２０−１は、通信部１００と、撮像部１１０と、音声入力部１２０と、制御部１３０とを、備える。

通信部１００は、ネットワーク２を介してサーバ装置１０などの外部機器と通信するものであり、ＮＩＣ（Network Interface Card）などの通信装置により、有線、無線を問わずに実現できる。

撮像部１１０は、端末装置２０−１を使用するユーザを撮像するものであり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子、及びレンズなどにより構成される撮像装置により実現できる。

音声入力部１２０は、端末装置２０−１を使用するユーザが発話する音声を入力するものであり、マイクなどの音声入力装置により実現できる。

制御部１３０は、端末装置２０−１の各部を制御するものであり、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。制御部１３０は、ネットワーク検知部１３１と、映像データ取得部１３３と、予測品質情報取得部１３５と、音声検知部１３７と、特定部１３９と、決定部１４１と、加工部１４３と、送信部１４５とを、備える。

ネットワーク検知部１３１は、ネットワーク２を介して送信可能なデータ量を検知する。例えば、ネットワーク検知部１３１は、サーバ装置１０との間で、ネットワーク２における通信パケットの損失率や通信遅延時間などの情報を交換することで、ネットワーク２における使用可能な帯域を特定する。そして特定部１３９は、ネットワーク検知部１３１で特定した使用可能な帯域と、後述の予測品質情報取得部１３５から得られた予測品質情報とから送信可能なデータ量を特定する。

映像データ取得部１３３は、映像データを取得する。具体的には、映像データ取得部１３３は、撮像部１１０により撮像された撮像データを順次取得する。

予測品質情報取得部１３５は、映像データ取得部１３３により取得された映像データの送信先から、当該送信先で必要と予測される当該映像データの予測品質に関する予測品質情報を取得する。映像データの送信先は、映像データの送信先となる端末装置であり、実際には、端末装置２０−２〜２０−Ｎそれぞれであるが、ここでは、端末装置２０−２に特化して説明を行う。ここで、予測品質とは、映像データの品質として映像のサイズが例に挙げられる。その他に、映像の解像度や、映像のサイズ及び解像度の双方を映像データの品質としてもよい。

具体的には、予測品質情報取得部１３５は、端末装置２０−２からサーバ１０を介して端末装置２０−２の画面表示状態を示す予測品質情報を取得する。

図３は、本実施形態の画面表示状態の一例を示す図であり、各拠点の端末装置から送信された映像を均等に表示した画面表示状態を示している。図３に示す例の場合、端末装置２０−２で必要と予測される映像データのサイズは、Ａ１×Ｂ１となる。

図４は、本実施形態の画面表示状態の他の例を示す図であり、各拠点の端末装置から送信された映像のうち発話者の映像を他よりも大きく表示し、残りを均等に表示した画面表示状態を示している。図４に示す例の場合、端末装置２０−２で必要と予測される映像データのサイズは、端末装置２０−１のユーザが発話者である場合、Ａ２×Ｂ２となり、端末装置２０−１のユーザが発話者でない場合、Ａ３×Ｂ３となる。なお本実施形態では、図４に示す画面状態は、いずれかの拠点のユーザが発話を開始すれば、自動的に遷移するものとする。自動的に遷移するとは、例えば、多拠点間で接続を開始した段階では、図３のように表示されている。つぎに、いずれかの拠点のユーザが発話を開始すると、図３から図４の画面に遷移する。さらに、図４の画面においても、発話をする拠点が異なると、Ａ２×Ｂ２のサイズとなる拠点は変更される。つまり、図４の画面内でも遷移が行われる。具体的には、拠点９のユーザが発話を終了し、拠点５のユーザが発話すると、拠点９のサイズはＡ３×Ｂ３となり、拠点５のサイズはＡ２×Ｂ２となる。

図５は、本実施形態の画面表示状態の他の例を示す図であり、各拠点で共有されている共有文書を、拠点の画像よりも大きく表示し、各拠点の端末装置から送信された映像を均等に表示した画面表示状態を示している。図５に示す例の場合、端末装置２０−２で必要と予測される映像データのサイズは、Ａ４×Ｂ４となる。

音声検知部１３７は、音声の入力の有無を検知する。具体的には、音声検知部１３７は、音声入力部１２０からの音声の入力の有無を検知する。

特定部１３９は、映像データ取得部１３３により取得された映像データの予測品質を特定する。具体的には、特定部１３９は、予測品質情報取得部１３５により取得された予測品質情報に基づいて、映像データ取得部１３３により取得された映像データの予測品質を特定したり、音声検知部１３７の検知結果に基づいて、映像データ取得部１３３により取得された映像データの予測品質を特定したりする。

例えば、特定部１３９は、音声検知部１３７により音声の入力が検知された場合、映像データ取得部１３３により取得された映像データの予測品質を音声の入力に基づく品質に特定する。本実施形態では、音声検知部１３７により音声の入力が検知された場合、当該音声の音声データは、サーバ装置１０を介して端末装置２０−２〜２０−Ｎそれぞれに送信される。つまり、端末装置２０−１のユーザが発話者となり、端末装置２０−２の画面状態は、図４に示す画面状態となるため、特定部１３９は、映像データ取得部１３３により取得された映像データが端末装置２０−２で必要と予測されるサイズを、Ａ２×Ｂ２に特定する。

また例えば、特定部１３９は、音声検知部１３７により音声の入力が検知されなかった場合、映像データ取得部１３３により取得された映像データの予測品質を、予測品質情報取得部１３５により取得された予測品質情報に基づく品質に特定する。つまり、特定部１３９は、予測品質情報が図３に示す画面表示状態を示していれば、映像データ取得部１３３により取得された映像データが端末装置２０−２で必要と予測されるサイズを、Ａ１×Ｂ１に特定する。また、特定部１３９は、予測品質情報が図４に示す画面表示状態を示していれば、映像データ取得部１３３により取得された映像データが端末装置２０−２で必要と予測されるサイズを、Ａ３×Ｂ３に特定する。また、特定部１３９は、予測品質情報が図５に示す画面表示状態を示していれば、映像データ取得部１３３により取得された映像データが端末装置２０−２で必要と予測されるサイズを、Ａ４×Ｂ４に特定する。

決定部１４１は、ネットワーク検知部１３１により検知されたデータ量と予測品質情報取得部１３５により取得された予測品質情報とに基づいて、映像データ取得部１３３により取得された映像データの品質を決定する。

具体的には、決定部１４１は、映像データの品質を特定部１３９により特定された予測品質とした場合に、当該映像データがネットワーク検知部１３１により検知されたデータ量に基づく値に収まるか否かを判定し、当該値に収まる場合、当該映像データの品質を当該予測品質に決定する。一方、当該値に収まらない場合、決定部１４１は、当該映像データの品質を当該値に収まる品質に決定する。ネットワーク検知部１３１により検知されたデータ量に基づく値とは、例えば、ネットワーク２を介して送信可能なデータ量から、映像データ以外のデータの送信に必要なデータ量を減じたデータ量などが該当する。

つまり、決定部１４１は、映像データ取得部１３３により取得された映像データのサイズを特定部１３９により特定されたサイズとしても、映像データのデータ量がネットワーク検知部１３１により検知されたデータ量に基づく値に収まれば、当該サイズに決定し、収まらなければ、当該値に収まるサイズに決定する。

加工部１４３は、映像データ取得部１３３により取得された映像データを決定部１４１により決定された品質に加工する。具体的には、加工部１４３は、映像データ取得部１３３により取得された映像データを決定部１４１により決定されたサイズにスケーリングし、符号化処理などのエンコード処理を行う。

送信部１４５は、加工部１４３により加工された映像データを送信先に送信する。具体的には、送信部１４５は、加工部１４３により加工された映像データを含む会議データを、サーバ１０を介して端末装置２０−２〜２０−Ｎそれぞれに送信する。

図６は、本実施形態の端末装置２０−２の構成の一例を示すブロック図である。図６に示すように、端末装置２０−２は、通信部２００と、表示部２４０と、制御部２５０とを、備える。

通信部２００は、ネットワーク２を介してサーバ装置１０などの外部機器と通信するものであり、ＮＩＣ（Network Interface Card）などの通信装置により、有線、無線を問わずに実現できる。

表示部２４０は、各種画面を表示するものであり、液晶ディスプレイやタッチパネル式ディスプレイなどの表示装置により実現できる。

制御部２５０は、端末装置２０−２の各部を制御するものであり、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。制御部２５０は、受信部２５１と、復元部２５３と、表示制御部２５５とを、備える。

受信部２５１は、端末装置２０−１及び端末装置２０−３〜２０−Ｎそれぞれから送信された会議データを、サーバ１０を介して受信する。

復元部２５３は、受信部２５１により受信された会議データに含まれる映像データを復元する。具体的には、復元処理などのデコード処理を行う。

表示制御部２５５は、復元部２５３により復元された映像データを表示部２４０に表示させる。具体的には、表示制御部２５５は、会議の状態に応じて、図３〜図５で説明した画面表示態様で映像データを表示部２４０に表示させる。

図７は、本実施形態の端末装置２０−１で実行される映像データ送信処理の一例を示すフローチャート図である。なお、図７に示す例では、映像データを端末装置２０−２に送信する場合に特化して説明している。

まず、ネットワーク検知部１３１は、ネットワーク２を介して送信可能なデータ量を検知する（ステップＳ１００）。

続いて、映像データ取得部１３３は、撮像部１１０により撮像された映像データを順次取得する（ステップＳ１０２）。

続いて、予測品質情報取得部１３５は、端末装置２０−２から、映像データ取得部１３３により取得された映像データの予測品質情報を取得する（ステップＳ１０４）。

続いて、音声検知部１３７は、音声入力部１２０からの音声の入力の有無を検知する（ステップＳ１０６）。

続いて、特定部１３９は、音声検知部１３７により音声の入力が検知された場合（ステップＳ１０６でＹｅｓ）、映像データ取得部１３３により取得された映像データの予測品質を音声の入力に基づく品質に特定する（ステップＳ１０８）。

一方、特定部１３９は、音声検知部１３７により音声の入力が検知されなかった場合（ステップＳ１０６でＮｏ）、映像データ取得部１３３により取得された映像データの予測品質を、予測品質情報取得部１３５により取得された予測品質情報に基づく品質に特定する（ステップＳ１１０）。

続いて、決定部１４１は、映像データの品質を特定部１３９により特定された予測品質とした場合に、当該映像データがネットワーク検知部１３１により検知されたデータ量に基づく値に収まるか否かを判定する（ステップＳ１１２）。

そして決定部１４１は、当該値に収まる場合（ステップＳ１１２でＹｅｓ）、当該映像データの品質を当該予測品質に決定し（ステップＳ１１４）、当該値に収まらない場合（ステップＳ１１２でＮｏ）、当該映像データの品質を当該値に収まる品質に決定する（ステップＳ１１６）。

続いて、加工部１４３は、映像データ取得部１３３により取得された映像データを決定部１４１により決定された品質に加工する（ステップＳ１１８）。

続いて、送信部１４５は、加工部１４３により加工された映像データを含む会議データを、サーバ１０を介して端末装置２０−２に送信する（ステップＳ１２０）。

図８は、本実施形態の端末装置２０−２で実行される映像データ受信処理の一例を示すフローチャート図である。なお、図８に示す例では、映像データを端末装置２０−１から受信する場合に特化して説明している。

まず、受信部２５１は、端末装置２０−１から送信された会議データを、サーバ１０を介して受信する（ステップＳ２００）。

続いて、復元部２５３は、受信部２５１により受信された会議データに含まれる映像データを復元する（ステップＳ２０２）。

続いて、表示制御部２５５は、復元部２５３により復元された映像データを会議の状態に応じて、表示部２４０に表示させる（ステップＳ２０４）。

以上のように本実施形態では、映像データの送信先での当該映像データに基づく映像の表示サイズを予測し、予測した表示サイズに映像データを加工して送信する。このため、本実施形態によれば、送信先にとって適切な品質の画像データを送信でき、ネットワーク帯域を必要以上に占有したり、送信側の端末装置に必要以上の処理負荷がかかってしまったりすることを防止できる。

また本実施形態では、映像データを予測した表示サイズとした場合に、当該映像データのデータ量がネットワーク帯域内に収まらないようであれば、ネットワーク帯域に収まる範囲内の表示サイズに映像データを加工して送信する。このため本実施形態によれば、通信遅延を防ぎつつ映像データの品質を出来るだけ送信先にとって適切な品質に保つことができる。

（変形例）
なお、本発明は、上記各実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施形態では、映像データの品質としてサイズを例に取り説明したが、解像度や、サイズ及び解像度の双方を映像データの品質としてもよい。

（ハードウェア構成）
本実施形態の端末装置２０−１〜２０−Ｎのハードウェア構成について説明する。本実施形態の端末装置２０−１〜２０−Ｎは、ＣＰＵなどの制御装置、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置、ディスプレイなどの表示装置、マウスやキーボードなどの入力装置、ＮＩＣなどの通信装置、デジタルカメラなどの撮像装置、及びマイクなどの音声入力装置を備えており、通常のコンピュータを利用したハードウェア構成で実現できる。

本実施形態の端末装置２０−１〜２０−Ｎで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、本実施形態の端末装置２０−１〜２０−Ｎで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、本実施形態の端末装置２０−１〜２０−Ｎで実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、本実施形態の端末装置２０−１〜２０−Ｎで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

本実施形態の端末装置２０−１〜２０−Ｎで実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、制御装置が外部記憶装置からプログラムを記憶装置上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

１ ＴＶ会議システム
２ ネットワーク
１０ サーバ装置
２０−１〜２０−Ｎ 端末装置
１００ 通信部
１１０ 撮像部
１２０ 音声入力部
１３０ 制御部
１３１ ネットワーク検知部
１３３ 映像データ取得部
１３５ 予測品質情報取得部
１３７ 音声検知部
１３９ 特定部
１４１ 決定部
１４３ 加工部
１４５ 送信部
２００ 通信部
２４０ 表示部
２５０ 制御部
２５１ 受信部
２５３ 復元部
２５５ 表示制御部

特開２０１２−８０５１８号公報

Claims (5)

1. 複数の情報処理端末間のデータの送受信を中継するサーバと前記複数の情報処理端末とで構成される会議システムで使用される前記複数の情報処理端末の中の一つの情報処理端末であって、
   映像データを取得する撮像部と、
   前記映像データの送信先の情報処理端末に適した映像品質を予測するための予測品質情報を前記サーバから取得する情報取得部と、
   前記予測品質情報が前記送信先の情報処理端末における文書の表示が有ることを示している場合、前記映像データを加工し、前記映像データのデータ量を減少させる加工部と、
   加工された前記映像データを前記送信先の情報処理端末に送信する送信部と、
   を備える情報処理端末。
2. 音声データを取得するマイクをさらに備え、
   前記加工部は、前記マイクによる前記音声データの取得が無く且つ前記送信先の情報処理端末における文書の表示が有る場合、前記マイクによる前記音声データの取得が無く且つ前記送信先の情報処理端末における文書の表示も無い場合、前記マイクによる前記音声データの取得が有る場合、の順に、前記映像データのデータ量が小さくなるように前記映像データを加工する請求項１に記載の情報処理端末。
3. 複数の情報処理端末間のデータの送受信を中継するサーバと前記複数の情報処理端末とで構成される会議システムであって、
   前記複数の情報処理端末の中の一つの第一の情報処理端末は、
   映像データを取得する撮像部と、
   前記映像データの送信先の情報処理端末に適した映像品質を予測するための予測品質情報を前記サーバから取得する情報取得部と、
   前記予測品質情報が前記送信先の情報処理端末における文書の表示が有ることを示している場合、前記映像データを加工し、前記映像データのデータ量を減少させる加工部と、
   加工された前記映像データを前記送信先の情報処理端末に送信する送信部と、
   を備え、
   前記サーバは、前記送信先の情報処理端末から前記予測品質情報を受信し、前記第一の情報処理端末へ前記予測品質情報を送信するサーバ側送信部を備える会議システム。
4. 複数の情報処理端末間のデータの送受信を中継するサーバと前記複数の情報処理端末とで構成される会議システムで使用される前記複数の情報処理端末の中の一つの情報処理端末の映像データ送信方法であって、
   映像データを撮像部により取得する撮像工程と、
   前記映像データの送信先の情報処理端末に適した映像品質を予測するための予測品質情報を前記サーバから取得する情報取得工程と、
   前記予測品質情報が前記送信先の情報処理端末における文書の表示が有ることを示している場合、前記映像データを加工し、前記映像データのデータ量を減少させる加工工程と、
   加工された前記映像データを前記送信先の情報処理端末に送信する送信工程と、
   を含む映像データ送信方法。
5. 複数のコンピュータ間のデータの送受信を中継するサーバと前記複数のコンピュータとで構成される会議システムで使用される前記複数のコンピュータの中の一つのコンピュータに、
   映像データを撮像部により取得する撮像ステップと、
   前記映像データの送信先のコンピュータに適した映像品質を予測するための予測品質情報を前記サーバから取得する情報取得ステップと、
   前記予測品質情報が前記送信先のコンピュータにおける文書の表示が有ることを示している場合、前記映像データを加工し、前記映像データのデータ量を減少させる加工ステップと、
   加工された前記映像データを前記送信先のコンピュータに送信する送信ステップと、
   を実行させるためのプログラム。

Images