JP2010171876A - 通信装置及び通信システム - Google Patents

Abstract

【課題】画像データの送信に際して、通信サービスの品質を向上させる。
【解決手段】通信端末は、時間軸上で先行する画像データに対して、時間軸上で後続する画像データにおいて階調値の変化が閾値Ｔｈ１以上の画素を差分画素として、これらを差分領域として検出する。通信端末は、差分領域を更新領域として、送信画像Ｔを表す画像データを生成する。このとき、通信端末は、非更新領域を透過領域にする等して、圧縮効率を高めるよう画像データを生成する。また、通信端末は、通信経路の通信帯域の大きさに応じた閾値Ｔｈ１を設定する。具体的には通信端末は、通信帯域が大きい場合には、送信先側で高品質な画像が表示されるよう差異が比較的小さな画像領域も更新領域に含めるようにし、通信帯域が小さい場合には、画像データの送信量を抑制するために更新領域を少なくして、差分の小さな画像領域の劣化を許容する。
【選択図】図８

Description

本発明は、通信装置及び通信システムに関する。

画像の品質を低下させずに、その画像に係る画像データの送信量を低減させる技術がある。引用文献１には、先行フレームの画像データに対して、それに後続する後続フレームの画像データにおいて変化量が閾値以上の画像領域（ブロック）を検出し、検出したブロックの画像データを通信経路に対して決められた伝送容量の範囲内で送信できるよう、画像データの符号化に係るＤＣＴ係数の送信量を制御することが開示されている。引用文献２には、表示画面を複数の画素からなるタイル毎に分割し、先行フレームの画像データに対する後続フレームの画像データの変化をタイル毎に評価して、変化の大きいタイルの画素データを更新することが開示されている。

特開２００６−０２０３５４号公報 特表２００６−５１１１０９号公報

ところで、画像の品質の向上と画像データの送信量の抑制とは互いに相反するから、条件に応じて両者のバランスの調整を行って更新対象とする画像領域を求めることができれば、通信サービスの品質をさらに向上させることができる。
本発明は、上述した課題に鑑みてなされたものであり、その目的は、画像データの送信に際して、通信サービスの品質を向上させる仕組みを提供することである。

上述した課題を解決するために、本発明の通信装置は、各画素の階調値を含む画像データであって、時間軸上で先行する第１の画像データと、時間軸上で前記第１の画像データに後続する第２の画像データとを取得する取得手段と、前記第１の画像データに含まれる画素に対して、当該画素の位置に対応する位置にある前記第２の画像データに含まれる画素のうち階調値が変化した画素の数及びその階調値の少なくとも一方に基づき、前記第１の画像データから前記第２の画像データへの変化量を特定し、その変化量が閾値以上である場合には、前記第２の画像データにおいて前記階調値が変化した画素を少なくとも含む画像領域を差分領域として検出する差分領域検出手段と、前記差分領域検出手段により検出された差分領域に含まれる画素の階調値を含む画像データを生成して、外部端末へ送信する送信手段と、予め決められた条件に応じた前記閾値を設定する閾値設定手段とを備えることを特徴とする。

本発明の好ましい態様において、前記送信手段により画像データが送信される外部端末への通信経路の通信帯域を特定する帯域特定手段を備え、前記閾値設定手段は、前記帯域特定手段により特定された通信帯域を前記条件とし、前記通信帯域が大きくなるほど前記閾値が小さくなるように当該閾値を変更する変更範囲を有することを特徴とする。

また、本発明の通信システムは、通信装置と、前記通信装置とネットワークを介して接続された外部端末とを備え、前記通信装置は、各画素の階調値を含む画像データであって、時間軸上で先行する第１の画像データと、時間軸上で前記第１の画像データに後続する第２の画像データとを取得する取得手段と、前記第１の画像データに含まれる画素に対して、当該画素の位置に対応する位置にある前記第２の画像データに含まれる画素のうち階調値が変化した画素の数及びその階調値の少なくとも一方に基づき、前記第１の画像データから前記第２の画像データへの変化量を特定し、その変化量が閾値以上である場合には、前記第２の画像データにおいて前記階調値が変化した画素を少なくとも含む画像領域を差分領域として検出する差分領域検出手段と、前記差分領域検出手段により検出された差分領域に含まれる画素の階調値を含む画像データを生成して、外部端末へ送信する送信手段と、予め決められた条件に応じた前記閾値を設定する閾値設定手段とを備え、前記外部端末は、前記送信手段によって送信された画像データを受信する受信手段と、前記受信手段により受信した画像データに基づいて、表示手段に画像を表示する表示制御手段であって、前記受信した前記差分領域を表す画像データと、前記受信した当該画像データに時間的に先行する画像データとを合成した合成画像データに基づいて画像を表示する表示制御手段とを備えることを特徴とする。

本発明によれば、画像データの送信に際して、通信サービスの品質を向上させることができる。

本発明の第１実施形態に係る通信システムの構成を示した図である。 同実施形態に係る通信端末の構成を示すブロック図である。 同実施形態に係る外部端末の構成を示すブロック図である。 同実施形態に係る通信端末の機能的構成の一例を示す図である。 キャプチャ画像を表した図である。 同実施形態に係る閾値管理テーブルの構成を説明する図である。 同実施形態に係る差分領域の検出方法を説明する図である。 送信画像を説明する図である。 送信画像を説明する図である。 本発明の第２実施形態に通信端末の機能的構成の一例を示す図である。 キャプチャ画像の分割の態様を説明する図である。 同実施形態に係る閾値管理テーブルの構成を説明する図である。 同実施形態に係る差分領域の検出の態様を説明する図である。 変形例５に係る差分領域の検出の態様を説明する図である。 変形例５に係る差分領域の検出の態様を説明する図である。

［第１実施形態］
本発明の実施形態に係る通信システムの一態様である会議システム１は、図１に示すように、通信端末１０と、複数の外部端末２０−１，２０−２（以下、それぞれを区別しないときには「外部端末２０」と称する）とを備える。
通信端末１０は本発明の通信装置の一例であり、ネットワーク１００を介して外部端末２０−１，２０−２と通信可能に接続されている。ネットワーク１００は、ここではインターネット回線である。通信端末１０、外部端末２０−１，２０−２は、それぞれ異なる拠点に設置されており、通信端末１０と外部端末２０との間で映像データ及び音声データが相互に送受信されて、遠隔地にいるものどうしで会議が行われる。

次に、通信端末１０及び外部端末２０の構成について説明する。
図２は、通信端末１０の構成の一例を示すブロック図である。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、通信端末１０の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。記憶部１２は、閾値管理テーブルＴＢ１を記憶するが、その構成について詳しくは後述する。表示部１３は、液晶ディスプレイなどの表示モニタを有し、複数の画素からなる表示手段であり、制御部１１による制御の下で各種の画像を表示する。表示部１３は、各画素についてレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の３色の各色成分の階調値を含む画像データを取得し、それに基づいて画像を表示する。以下では、各画素の階調値を表すデータを「画素データ」と称し、画素データは、Ｒ、Ｇ、Ｂの各色について８ビット（２５６階調）の階調値を表す。

操作部１４は、例えばマウスやキーボードであり、通信端末１０の利用者による操作に応じた信号を出力する。マイクロホン１５は、収音し、収音した音声を表す音声信号（アナログ信号）を出力する。音声処理部１６は、マイクロホン１５が出力する音声信号（アナログ信号）をＡ／Ｄ変換によりデジタルデータに変換する。また、音声処理部１６は、供給されるデジタルデータをＤ／Ａ変換によりアナログ信号に変換してスピーカ１７に供給する。スピーカ１７は、音声処理部１６から出力されるアナログ信号に応じた強度で放音する。通信部１８は、外部端末２０との間でネットワーク１００を介して通信を行うための通信手段である。撮影部１９は、撮像素子を有するデジタルビデオカメラなどの撮影手段であって、撮影した映像（動画像）を表す映像データを生成して出力する。撮影部１９の撮像素子は、例えば横１１５２画素、縦８６４画素（１１５２×８６４画素）の画素数（ＸＧＡ＋）による撮影が可能である。

続いて、外部端末２０の構成について説明する。
図３は、外部端末２０の構成の一例を示すブロック図である。同図に示すように、外部端末２０は、制御部２１、記憶部２２、表示部２３、操作部２４、マイクロホン２５、音声処理部２６、スピーカ２７、通信部２８及び撮影部２９を有する。これらの各構成が実現する機能は、通信端末１０のそれと同じであり、その説明を省略する。以下では、通信端末１０が送信側となってデータを送信し、外部端末２０がこのデータを受信する場合について説明するから、説明の便宜上、これらを区別する。

次に、通信端末１０の機能について説明する。
図４は、通信端末１０の機能的構成の一例を示す図である。映像送信部１１５及び映像受信部１２１は、通信部１８により実現される。映像送信部１１５及び映像受信部１２１、並びに図１に示す各構成以外の機能は、制御部１１により実現される。なお、ここで、映像データの送受信に係る説明をするが、音声データについても映像データに同期して送受信がなされる。
撮影部１９は、会議の参加者等を撮影すると、その撮影内容を示す画像データをキャプチャ画像生成部１１１および合成部１２３に出力する。映像受信部１２１は、外部端末２０を生成元とするパケットデータから画像データを取り出してこれを受信し、受信した画像データをデコード部１２２に出力する。なお、映像受信部１２１が受信する各外部端末２０からの映像データの各々と、その生成元である外部端末２０との対応関係については、各映像データに付加された端末情報から特定可能である。デコード部１２２は、映像受信部１２１からの各画像データを復号して、合成部１２３に出力する。合成部１２３は、本発明の表示制御手段の一例であり、ＶＲＡＭ（Video RAM）等を有し、デコード部１２２からの画像データ、及び撮影部１９からの各画像データをそこに記憶する。合成部１２３は、供給された各画像データに基づいて表示部１３に画像を表示する。表示部１３は、合成部１２３から画像データが供給されると、その画像データに応じて表示領域に画像を表示する。

キャプチャ画像生成部１１１は、撮影部１９からの映像データが表す動画像を決められたフレームレート（ここでは、５ｆｐｓ（flames per second））でキャプチャして、動画像のフレーム単位の画像を表すキャプチャ画像データを生成する。キャプチャ画像データは複数の画素データの集合からなり、画素データは各画素の階調値を表す。キャプチャ画像生成部１１１は、時間軸上で連続するキャプチャ画像データを順次生成し、生成したキャプチャ画像データを差分領域検出部１１２に出力する。

図５は、キャプチャ画像データが表す画像の一例として、キャプチャ画像ＩＭＧを表した図である。キャプチャ画像ＩＭＧにおいて、画像領域の中央付近に参加者５００を表す画像が含まれており、その周囲には壁面等の背景６００を表す画像が含まれている。図５に示すように、キャプチャ画像ＩＭＧにおいて、画素が並べて配置される一方向を「ｘ方向」とし、それと直交して画素が並べられる方向を「ｙ方向」とする。つまり、キャプチャ画像の画像領域は、ｘ方向に１１５２画素、ｙ方向に８６４画素の複数の画素からなる。キャプチャ画像にあっては、左上隅点を原点Ｏ（ｘ，ｙ）＝（０，０）として、各画素に対してｘｙ直交座標系に従って座標値が割り当てられている。

帯域特定部１１７は、映像送信部１１５により映像データが送信される外部端末２０への通信経路となる、ネットワーク１００の通信帯域を特定し、特定した通信帯域を示す帯域データを閾値設定部１１６に出力する。閾値設定部１１６は、帯域特定部１１７からの帯域データが表す通信帯域を条件として、記憶部１２から取得した閾値管理テーブルＴＢ１に基づいて閾値Ｔｈ１を設定し、設定した閾値Ｔｈ１を差分領域検出部１１２に出力する。

図６は、閾値管理テーブルＴＢ１を説明するグラフである。
図６に示すように、閾値管理テーブルＴＢ１は、ネットワーク１００の通信帯域の大きさと閾値Ｔｈ１との対応関係を規定する。図６に示すように、横軸は通信帯域の大きさ［ｂｐｓ］（bit per second）を表し、図中の矢印方向に通信帯域が大きくなる。縦軸は、階調値に対する閾値Ｔｈ１の値を表し、図中の矢印方向にその値が大きくなる。図６に示すように、閾値管理テーブルＴＢ１において、通信帯域がｆ１以上で、且つｆ２以下の場合には、通信帯域が大きくなるほど閾値Ｔｈ１の値が線形的に小さくなっている。このように、閾値設定部１１６は、通信帯域が大きくなるほど閾値Ｔｈ１が小さくなるよう閾値Ｔｈ１を変更する変更範囲を有する。

図４の説明に戻る。
差分領域検出部１１２は、キャプチャ画像生成部１１１からのキャプチャ画像データと、閾値設定部１１６からの閾値Ｔｈ１とに基づいて、キャプチャ画像データから差分領域を検出する。まず、差分領域検出部１１２は、時間軸上で連続する２つの画像データとして、時間軸上で先行する画像データ（以下、「先行フレームデータ」という。）と、送信の対象とする画像データであって、この先行フレームに時間軸上で後続する画像データ（以下、「後続フレームデータ」という。）とを取得する。差分領域検出部１１２は、先行フレームデータに含まれる画素の階調値に対して、その各画素の位置に対応する位置にある後続フレームデータに含まれる画素のうち階調値が閾値Ｔｈ１以上変化した画素を「差分画素」として検出する。差分領域検出部１１２は、差分画素からなる画像領域を「差分領域」として検出する。このように、差分領域検出部１１２は、先行フレームデータから後続フレームデータへの変化量として、変化後の画素の階調値（変化前後の階調値の差分）を用いている。なお、先行フレームデータと後続フレームデータとで位置が対応する画素とは、両者の画像データにおいて割り当てられた座標値が互いに同じ画素のことであり、以下の説明においても同じである。

図７は、後続フレームデータを構成する画素データからなる画素群の一部を表している。この後続フレームデータの一部を構成し、格子状に配置された９×６の画素群において、ここでは便宜上、列をＡ〜Ｉ列、行を１〜６行と表現し、例えばＣ列２行に配置された画素を「画素Ｃ２」と表現する。また、図７の各セルに示す値は、後続フレームデータの、先行フレームデータの対応する画素に対する階調値の差分を表す値である。例えば、ここでは、階調値の差分を表す値として、Ｒ，Ｇ，Ｂの各色の階調値の差分のうち最大のものとする。閾値設定部１１６が閾値Ｔｈ１として「２０」を設定したとすると、差分領域検出部１１２は、「画素Ｄ３」、「画素Ｄ４」、「画素Ｅ３」、「画素Ｅ４」及び「画素Ｈ２」を差分領域として検出する。

送信画像生成部１１３は、差分領域検出部１１２により検出された差分領域に含まれる画素の階調値を含む画像データを、送信用の画像データ（以下、「送信画像データ」という。）として生成する。送信画像生成部１１３は、生成した送信画像データをエンコード部１１４に出力する。
図８は、キャプチャ画像ＩＭＧに基づいて生成される送信画像データが表す画像（以下、「送信画像」という。）Ｔのうち、図７に示す画素の位置に対応する画素群を表したものである。同図に示すように、差分領域として検出された「画素Ｄ３」、「画素Ｄ４」、「画素Ｅ３」、「画素Ｅ４」及び「画素Ｈ２」に対応する画素は、送信画像Ｔにおいて「更新領域」となっている。更新領域は、更新の対象となる画像領域であり、各画素の各色の階調値は、後続フレームデータが表す画像の同じ座標値の画素の階調値に等しい。一方、送信画像Ｔの画像領域において、更新領域以外は「非更新領域」である。非更新領域は、先行フレームデータが表す画像に対して、後続フレームデータが表す画像において階調値が変化していない画像領域であり、更新の対象とならない画像領域である。先行フレームデータと後続フレームデータとで階調値が完全一致する画素のほか、階調値の差分が閾値Ｔｈ１以下の画素が非更新領域に含まれる。送信画像生成部１１３は、非更新領域の全体を、各画素が予め決められた一定の階調値を有する「透過領域」となるよう加工する。或る階調値を表す画素からなる画像領域に、透過領域が合成されて画像データが生成されると、各画素は合成前後で同じ階調値（色）を表す。

エンコード部１１４は、送信画像生成部１１３からの送信画像データを符号化して、映像送信部１１５に出力する。映像送信部１１５は、エンコード部１１４からの符号化された画像データにパケット処理を行い、宛先となる外部端末２０を示す端末情報、シーケンス番号及びタイムスタンプとをパケットデータのヘッダ部分に付加して、これを映像データとして外部端末２０に送信する。ここで、シーケンス番号はパケットデータ毎に別々のものが割り宛てられ、タイムスタンプが表す時刻は画像データ毎に（フレーム単位で）異なる。

以上のようにして、映像送信部１１５により送信された映像データを受信した外部端末２０は、受信した送信画像データと、その１フレーム前に表示した画像を表す画像データとを合成した合成画像データを合成部１２３にて生成し、その合成画像データに基づいて表示部２３に画像を表示する。なお、この１フレーム前の画像データも、それよりもさらに時間軸上で先行する画像データを含み得るから、合成部１２３は、受信した差分領域を表す画像データと、その画像データに時間的に先行する画像データとを合成した合成画像データに基づいて画像を表示することになる。
また、パケットロス等を原因として、外部端末２０が受信する画素データの一部が欠損した場合には、外部端末２０は、欠損したパケットデータのシーケンス番号に基づいて画素データの位置を特定し、また、タイムスタンプに基づいて画像データを特定して、欠損した画素データの再送を要求する。通信端末１０は、この要求に応じた画素データを外部端末２０に再送信する。なお、欠損した画素データの量（画素の数）が閾値を超えた場合には、外部端末２０は、画像データに含まれるすべての画素データの再送信を要求する。

ところで、図８は閾値Ｔｈ１＝２０とした場合の更新領域を示したものであるが、例えばネットワーク１００のトラフィックが増大する等して通信帯域が小さくなることがある。このとき、閾値設定部１１６は、図６に示す閾値管理テーブルＴＢ１に基づき、「２０」よりも大きい閾値Ｔｈ１を設定する。例えば、閾値設定部１１６が閾値Ｔｈ１＝「２５」と設定した場合、送信画像Ｔの更新領域は図９に示すようになる。図９に示すように、差分領域検出部１１２は、「画素Ｄ４」、「画素Ｅ３」及び「画素Ｅ４」を差分領域として検出し、「画素Ｄ３」及び「画素Ｈ２」を差分領域として検出しない。すなわち、通信帯域が小さくなると、更新領域が減少して非更新領域が増大する。これにより、送信画像データのデータ量は減少する。上述したように、非更新領域は同一の階調値の画素からなる透過領域であるから、空間周波数の低い画像領域が増えるので、エンコード部１１４による符号化において圧縮率が高くなるからである。なお、ここでは、非更新領域を透過領域としたが、空間周波数が小さい単色とされれば、データ量の削減の効果を奏する。

このように通信帯域が大きい場合には、通信端末１０は、閾値を小さくするよう設定し、先行フレームデータから後続フレームデータへの階調値の変化が比較的小さな画素をも差分領域として検出し、更新する。これにより、通信端末１０は、キャプチャ画像の内容により近い、高品質な画像を外部端末２０に提供することができる。一方、通信帯域が小さい場合には、通信端末１０は閾値を大きくするよう設定し、先行フレームデータに対して、後続フレームデータにおいて階調値の変化が特に大きな画素のみを差分領域として検出し、更新する。これにより、通信帯域が小さく、単位時間当たりに送信可能なデータ量の制約が大きい場合には、変化が目立つ画像領域のみを差分領域として検出し、更新する。これにより、外部端末２０側で表示される画像が音声に対して遅延するようなことがなく、会議システム１におけるリアルタイム性が確保される。遠隔会議システムにあっては、図５に示すように、参加者５００の背後に、壁面等の単一色に近い色からなる背景６００が映し出されている場合も多い。また、背景６００のような画像領域は会議の進行に当たって忠実に再現されていなくても、会議システム１の利用に支障を来たすことはほとんどない。このような事情があるから、通信端末１０は、背景６００のように階調値の変化が生じにくい画像領域に、非更新による画像ボケや色むら等の画像欠陥が生じてしまうことを許容して、映像データを配信する。

以上説明した第１実施形態によれば、通信端末１０は、先行フレームデータに対して、後続フレームデータにおいて階調値の変化が閾値Ｔｈ１以上の画素を差分画素とし、差分画素からなる画像領域を差分領域として検出する。また、閾値設定部１１６は、ネットワーク１００の通信帯域を条件として、その大きさに応じた閾値Ｔｈ１を設定する。これにより、通信端末１０は、通信帯域が大きい場合には、画像データの送信量が大きくなっても、外部端末２０側で高品質な画像が表示されるようにし、通信帯域が小さい場合には、画像データの送信量を抑制し、差分の小さい画像領域の劣化を許容する。このような会議システム１によれば、画像の品質の向上と画像データの送信量の抑制という両者のバランスを通信帯域の大きさに応じて調整して、通信サービスの品質を向上させることができる。

［第２実施形態］
続いて、本発明の第２実施形態について説明する。
上述した第１実施形態の会議システム１では、先行フレームデータから後続フレームデータへの変化量として、対応する位置にある画素どうしの階調値の差分を用いていたが、本実施形態では、階調値が変化した画素（差分画素）の数を変化量として用いる。本実施形態の通信端末や外部端末のハードウェア構成は、第１実施形態で述べたものと同じである。以下の説明において、上述した第１実施形態と同じ構成については同一の符号を付して表すとともに、対応する構成には末尾に「ａ」という符号を付して表し、その説明を省略する。

図１０は、通信端末１０ａの機能的構成の一例を示す図である。通信端末１０ａの構成は、通信端末１０とほぼ同じであるが、分割部１１８を有している点で異なる。分割部１１８は、キャプチャ画像生成部１１１と差分領域検出部１１２ａとの間に設けられている。分割部１１８は、キャプチャ画像生成部１１１からのキャプチャ画像データが表す画像を複数の部分画像に分割して、分割後のキャプチャ画像データを差分領域検出部１１２ａに出力する。

図１１は、分割部１１８による分割の態様を説明する図であり、後続フレームデータが表す部分画像Ｐの各画素を表している。同図に示すように、分割部１１８は、各部分画像が９×６画素の計５４の画素からなる画素群となるように、キャプチャ画像の画像領域を格子状の部分画像に分割する。なお、ここでは便宜上、列をａ〜ｉ列、行を１〜６行と表現し、例えばｃ列２行に配置された画素を「画素ｃ２」と表現する。

閾値設定部１１６ａは、帯域特定部１１７からの帯域データが表す通信帯域と、記憶部１２から取得した閾値管理テーブルＴＢ２とに基づいて閾値Ｔｈ２を設定し、設定した閾値Ｔｈ２を差分領域検出部１１２ａに出力する。

図１２は、閾値管理テーブルＴＢ２を説明するグラフである。
図１２に示すように、閾値管理テーブルＴＢ２は、ネットワーク１００の通信帯域の大きさと閾値Ｔｈ２との対応関係を規定する。図１２に示すように、横軸は通信帯域の大きさ［ｂｐｓ］を表し、図中の矢印方向に通信帯域が大きくなる。縦軸は、画素数に対する閾値Ｔｈ２の値を表し、図中の矢印方向にその値が大きくなる。図１２に示すように、閾値管理テーブルＴＢ２において、通信帯域がｆ３以上で、且つｆ４以下の場合には、通信帯域が大きくなるほど閾値Ｔｈ２が線形的に小さくなっている。このように、閾値設定部１１６ａは、通信帯域が大きくなるほど閾値Ｔｈ２が小さくなるよう閾値Ｔｈ２を変更する変更範囲を有する。

差分領域検出部１１２ａは、分割部１１８からのキャプチャ画像データと、閾値設定部１１６ａからの閾値Ｔｈ２とに基づいて、差分領域を検出する。具体的には、差分領域検出部１１２ａは、先行フレームデータと、この先行フレームに時間軸上で後続する後続フレームデータとを取得する。そして、差分領域検出部１１２ａは、先行フレームデータに含まれる画素の階調値と、各画素の位置に対応する位置にある後続フレームデータに含まれる画素の階調値とを比較して、階調値が変化した画素を差分画素として、差分画素の画素数を部分画像毎に算出する。ここでは、例えば、いずれかの色成分の階調値が「１５」以上異なっていれば、対応する位置どうしの画素の階調値に差異が生じているものとする。差分領域検出部１１２ａは、算出した画素数が閾値Ｔｈ２以上である部分画像があった場合には、その部分画像内の差分画素を差分領域として検出する。すなわち、差分領域検出部１１２ａは、差分画素が密集して存在する場合に、それらの差分画素からなる画像領域を差分領域として検出する。

図１３は、部分画像Ｐを構成する各画素を示した図である。閾値設定部１１６ａが閾値Ｔｈ２として「３」を設定したとき、図１３に示すように、部分画像Ｐには差分画素として「画素ｅ４」、「画素ｅ５」、「画素ｆ４」、「画素ｆ５」という４つが存在するものとする。この場合、差分領域検出部１１２ａは、部分画像Ｐ内の差分画素の画素数が閾値Ｔｈ２を超えているので、これらを差分領域として検出する。一方、部分画像に含まれる差分画素の画素数が閾値Ｔｈ２以下の場合には、差分領域検出部１１２ａは、その部分画像に含まれる差分画素を差分領域として検出しない。このとき、送信画像生成部１１３は、この部分画像を構成する全画素を「非更新領域」として送信画像データを生成する。

ここで、ネットワーク１００の通信帯域がさらに小さくなったとすると、閾値設定部１１６ａは、図１２に示す閾値管理テーブルＴＢ２に基づき、「３」よりも大きい閾値Ｔｈ２を設定する。例えば、閾値Ｔｈ２が「５」に設定されたとすると、差分領域検出部１１２ａは、部分画像Ｐの差分画素を差分領域として検出しない。これにより、通信帯域が小さくなった場合には、更新領域が減少して非更新領域が増大するので、上述した第１実施形態と同じ理由により、通信端末１０ａが送信する画像データのデータ量は減少する。このような第２実施形態の会議システムにおいても、画像の品質の向上と画像データの送信量の抑制という両者のバランスを通信帯域の大きさに応じて調整して、通信サービスの品質を向上させることができる。

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
［変形例１］
上述した第１及び第２実施形態では、本発明の通信システムを用いて遠隔会議を行う場合について説明したが、例えば、通信ネットワークを介して講義や講演を行う場合等においても本発明を適用することができる。また、ストリーム配信で映像配信するシステムに適用してもよく、映像通信を用いるシステムであればよい。また、会議システムにおいては、参加者等を撮影した映像の他に、資料等の画像（静止画像）を送信することがある。この場合も、通信端末は、静止画像の内容が変わるときには、時間軸上で連続する２つの画像データを送信することになるので、動画像の配信に限らず、静止画像を配信する場合であっても、実施形態と同等の作用効果を得られる。

［変形例２］
上述した第１及び第２実施形態の構成を以下のように変形してもよい。
通信端末１０，１０ａは、送信画像データに基づいて外部端末２０側で表示される画像の画像領域の寸法を条件として、閾値を設定してもよい。例えば、表示部２３の表示領域の寸法が、１１５２×８６４画素（ＸＧＡ＋）のように大きい場合と、例えば２４０×３２０画素（ＱＶＧＡ）のように小さい場合とでは、表示領域の寸法に応じて画像領域の寸法も異なる。この場合、先行フレームデータから後続フレームデータへの変化量が同じであっても、表示領域が小さく、画像領域の寸法が小さい場合の方がその変化は目立ちにくい。そこで、閾値設定部１１６，１１６ａは、外部端末２０の表示部２３が表示する画像の画像領域の寸法（或いは、表示領域の寸法）を表す情報を取得して、取得した情報により特定される寸法に基づいて閾値を設定する。具体的には、閾値設定部１１６，１１６ａは、寸法が小さくなるほど閾値が大きくなるように閾値を変更（設定）する。なお、通信端末１０，１０ａは、会議参加者等により操作部１４が操作されて入力された上記寸法を表す情報を取得してもよいし、外部端末２０から通信部１８を介して取得してもよく、その取得の態様はどのようなものであってもよい。

［変形例３］
上述した第１及び第２実施形態において、通信端末１０，１０ａの通信部１８は、画素データの他に、画素データ以外のデータとして音声データ等のデータ（以下、「非画素データ」と総称する。）を送信する。そこで、閾値設定部１１６，１１６ａは、通信部１８により非画素データが送信されている場合には閾値を大きくし、非画素データが送信されていない場合には、それよりも閾値を小さくする。非画素データが送信されないときには、通信帯域が大きいと推測でき、非画素データが送信されているときには、通信帯域が小さいと推測できるからである。

［変形例４］
上述した第１及び第２実施形態において、通信端末１０，１０ａは、音声通信及び映像通信を行う前に、通信に予め与えられた帯域について音声信号と映像信号の帯域配分を決定する機能を有していてもよい。例えば、通信端末１０，１０ａは、遠隔会議が行われている最中（すなわち、音声通信及び映像通信を行っている最中）において、帯域の配分を動的に変更する。このとき、通信端末１０，１０ａは、画像データ及び音声データの少なくともいずれか一方を解析し、解析結果に応じて帯域配分を決定する。通信端末１０，１０ａは、例えば、音声データの音圧及びマイクロホン１５によって収音された音声を表す音声データの音圧の少なくともいずれか一方を検出し、検出した音圧が大きいほど音声通信用の帯域幅が大きくなるように、帯域配分を決定する。音圧が大きいということは、会議参加者の発話音等に対応する音声データの送信が行われていることを意味するからである。この場合、閾値設定部１１６，１１６ａは、決定された帯域配分に応じて、画像データの通信帯域が大きくなるほど閾値が小さくなるよう、帯域配分に基づいて閾値を設定する。

［変形例５］
上述した第２実施形態において、通信端末１０ａは、以下のようにして差分領域を検出してもよい。なお、この変形例５では、分割部１１８は設けられないものとし、差分領域検出部１１２ａは、キャプチャ画像生成部１１１からのキャプチャ画像データに基づき、キャプチャ画像の画像領域全体を対象として差分領域を検出する。

図１４は、この変形例５に係る差分領域の検出の態様を説明する図である。図１４に示す矩形領域はキャプチャ画像の一部の画像領域を表し、ドットで示したｐｉｘ１〜ｐｉｘ４は差分画素の位置を表す。
差分領域検出部１１２ａは、差分画素を検出すると、キャプチャ画像ＩＭＧ２に含まれる或る１つの差分画素（ここでは、差分画素ｐｉｘ１）に注目する。そして、差分領域検出部１１２ａは、差分画素ｐｉｘ１を中心として、決められた大きさの半径（例えば、５画素分）の円領域ｒ１を特定する。そして、差分領域検出部１１２ａは、円領域ｒ１内に別の差分画素が含まれているか否かを判断する。ここでは、円領域ｒ１には差分画素ｐｉｘ２、ｐｉｘ３が含まれている。続いて、差分領域検出部１１２ａは、円領域ｒ１に含まれるいずれかの差分画素を中心として、円領域ｒ１と同じ寸法の円領域を特定する。ここで、差分領域検出部１１２は、差分画素ｐｉｘ２を中心とした円領域ｒ２を特定し、円領域ｒ２内に別の差分画素が存在するか否かを判断する。ここで、差分領域検出部１１２ａが差分画素ｐｉｘ４を検出すると、円領域ｒ４を特定し、円領域ｒ４内に別の差分画素が存在するか否かを判断する。円領域ｒ４内には別の差分画素はないので、差分領域検出部１１２ａは、続いて差分画素ｐｉｘ３を中心とした円領域ｒ３を特定する。円領域ｒ３内にも別の差分画素はないので、差分領域検出部１１２ａは、ここで差分画素の検出を終了する。

次に、差分領域検出部１１２ａは、検出した差分画素の画素数が閾値（例えば、「３」）を超えているか否かを判断する。ここでは、差分画素の画素数が閾値を超えているので、差分領域検出部１１２ａは、差分画素ｐｉｘ１〜ｐｉｘ４を含む外接矩形領域を特定し、この領域を差分領域として検出する。このように、差分領域検出部１１２ａは、後続フレームデータに含まれる差分画素を中心（基準）として、そこから決められた範囲の画像領域内にある別の差分画素を検出し、別の差分画素が存在すれば、その画素を中心（基準）とした領域内でさらに別の差分画素を検出する。差分領域検出部１１２ａは、このような差分画素の検出を繰り返していき、閾値以上の数の差分画素を検出した場合には、検出したすべての画素を含む画像領域を特定して、この画像領域を差分領域として検出する。一方、差分領域検出部１１２ａは、閾値以上の差分画素を検出しなかった場合には、検出した差分画素を差分領域に含めない。なお、ここでは、検出したすべての差分画素を含む外接矩形領域を差分領域としたが、例えば差分画素どうしを直線で結んで形成される多角形の内部の領域を差分領域としてもよいし、差分画素のみからなる差分領域としてもよく、少なくとも検出した差分画素がすべて含まれる画像領域が特定されればよい。

差分領域の検出の態様を以下のようにしてもよい。
差分領域検出部１１２ａは、図１５に示すように、決められた領域（形状及び寸法）を有する検出領域Ｄを特定し、キャプチャ画像ＩＭＧ３において検出領域Ｄに含まれる差分画素の画素数が閾値以上（例えば、「４」）である場合には、その検出領域Ｄに含まれる差分画素を差分領域として検出する。差分領域検出部１１２ａは、キャプチャ画像ＩＭＧ３内で検出領域Ｄを順次移動させながら差分領域を検出していく。この場合も、差分領域検出部１１２ａは、少なくとも検出した差分画素がすべて含まれる画像領域を差分領域として検出すればよい。
変形例５に係る構成によれば、通信端末１０ａは、キャプチャ画像において差分画素が密集している領域を特定して、差分領域を検出することができる。

［変形例６］
上述した第１及び第２実施形態において、通信端末１０，１０ａは、外部端末２０における映像の表示に係る遅延の程度や、パケットロスの発生の程度を特定することにより、通信経路の通信帯域を特定してもよい。遅延の程度を特定する場合、通信端末１０，１０ａは、例えば往復遅延時間を特定すればよい。往復遅延時間が長いほど、ネットワーク１００に生じるトラフィックが増大していることを意味するので、これを通信帯域の小さい場合に対応させる。パケットロスの発生の程度を特定する場合、通信端末１０，１０ａは、パケットロス発生率（受信されなかったパケット数／送信したパケット数）を特定すればよい。パケットロス発生率が高い場合には、ネットワーク１００のトラフィックにより破棄されたパケットデータが高いことを意味するから、これを通信帯域の小さい場合に対応させるとよい。また、通信端末１０，１０ａは、これらを併用して制御を行ってもよい。なお、往復遅延時間やパケットロス発生率の測定（特定）については、公知の手法を用いればよい。

［変形例７］
上述した第１実施形態では、通信端末１０は、先行フレームデータから後続フレームデータへの変化量として、対応する位置にある画素どうしの階調値の差分を用い、上述した第２実施形態では、通信端末１０ａは、先行フレームデータから後続フレームデータへの変化量として、差分画素の画素数を用いていた。これらを組み合わせて、通信端末は、階調値の差異及び部分画像毎の差分画素の画素数に基づいて、変化が生じた度合いを表す変化量を求めてもよい。この場合、通信端末は、階調値の差異が大きく、且つ差分画素の画素数が多い部分画像の変化量を大きくし、階調値の差異が小さく、且つ差分画素の画素数が少ない部分画像の変化量を小さくするよう変化量を特定する。この構成において、閾値設定部は、階調値の差異及び部分画像毎の差分画素の画素数に基づく変化量に対する閾値を設定することになる。
また、上述した第１及び第２実施形態では、通信端末１０，１０ａは、差分画素のみからなる画像領域を差分領域として検出して更新していたが、例えば、人物の顔を認識し、その顔画像領域を基準に差分領域を決定する等、差分画素を基準として決められた範囲にある画素を差分領域としてもよく、差分画素を含む画像領域を差分領域として検出すればよい。

［変形例８］
上述した第１及び第２実施形態において、通信端末１０，１０ａは、いわゆるルーティング機能を備えたルータであってもよい。この場合、通信端末１０，１０ａは外部のコンピュータ装置等から画像データが入力される入力端子と、映像送信部１１５からの映像データ（画像データ）を出力する出力端子とを備え、通信端末１０，１０ａは、入力端子に入力された画像データとして、先行フレームデータ及び後続フレームデータを取得して、後続フレームデータに基づいて生成した送信画像データをルーティングして送信する。

［変形例９］
上述した第１及び第２実施形態の制御部１１，２１が実現する各機能は、１又は複数のハードウェアによって実現されてもよいし、１又は複数のプログラムの実行により実現されてもよい。

１…会議システム、１０，１０ａ…通信端末、１００…ネットワーク、１１，２１…制御部、１１１…キャプチャ画像生成部、１１２，１１２ａ…差分領域検出部、１１３…送信画像生成部、１１４…エンコード部、１１５…映像送信部、１１６，１１６ａ…閾値設定部、１１７…帯域特定部、１１８…分割部、１２，２２…記憶部、１２１…映像受信部、１２２…デコード部、１２３…合成部、１３，２３…表示部、１４，２４…操作部、１５，２５…マイクロホン、１６，２６…音声処理部、１７，２７…スピーカ、１８，２８…通信部、１９，２９…撮影部、２０…外部端末。

Claims (3)

1. 各画素の階調値を含む画像データであって、時間軸上で先行する第１の画像データと、時間軸上で前記第１の画像データに後続する第２の画像データとを取得する取得手段と、
   前記第１の画像データに含まれる画素に対して、当該画素の位置に対応する位置にある前記第２の画像データに含まれる画素のうち階調値が変化した画素の数及びその階調値の少なくとも一方に基づき、前記第１の画像データから前記第２の画像データへの変化量を特定し、その変化量が閾値以上である場合には、前記第２の画像データにおいて前記階調値が変化した画素を少なくとも含む画像領域を差分領域として検出する差分領域検出手段と、
   前記差分領域検出手段により検出された差分領域に含まれる画素の階調値を含む画像データを生成して、外部端末へ送信する送信手段と、
   予め決められた条件に応じた前記閾値を設定する閾値設定手段と
   を備えることを特徴とする通信装置。
2. 前記送信手段により画像データが送信される外部端末への通信経路の通信帯域を特定する帯域特定手段を備え、
   前記閾値設定手段は、前記帯域特定手段により特定された通信帯域を前記条件とし、前記通信帯域が大きくなるほど前記閾値が小さくなるように当該閾値を変更する変更範囲を有する
   ことを特徴とする請求項１に記載の通信装置。
3. 通信装置と、前記通信装置とネットワークを介して接続された外部端末とを備え、
   前記通信装置は、
   各画素の階調値を含む画像データであって、時間軸上で先行する第１の画像データと、時間軸上で前記第１の画像データに後続する第２の画像データとを取得する取得手段と、
   前記第１の画像データに含まれる画素に対して、当該画素の位置に対応する位置にある前記第２の画像データに含まれる画素のうち階調値が変化した画素の数及びその階調値の少なくとも一方に基づき、前記第１の画像データから前記第２の画像データへの変化量を特定し、その変化量が閾値以上である場合には、前記第２の画像データにおいて前記階調値が変化した画素を少なくとも含む画像領域を差分領域として検出する差分領域検出手段と、
   前記差分領域検出手段により検出された差分領域に含まれる画素の階調値を含む画像データを生成して、外部端末へ送信する送信手段と、
   予め決められた条件に応じた前記閾値を設定する閾値設定手段と
   を備え、
   前記外部端末は、
   前記送信手段によって送信された画像データを受信する受信手段と、
   前記受信手段により受信した画像データに基づいて、表示手段に画像を表示する表示制御手段であって、前記受信した前記差分領域を表す画像データと、前記受信した当該画像データに時間的に先行する画像データとを合成した合成画像データに基づいて画像を表示する表示制御手段と
   を備えることを特徴とする通信システム。

Images