JP2015061108A - 通信システム、通信装置および方法 - Google Patents

Abstract

【課題】ネットワークの状態に応じて、最も高画質な拡大画像を表示可能な通信システム、通信装置および方法を提供すること。【解決手段】本発明の通信装置は、ネットワークの状態に応じた送信対象の撮影画像のデータ量の上限値を特定し、当該データ量の上限値と、自拠点の撮影画像のデータ量とに応じて、送信対象の自拠点の撮影画像の解像度を変換して拡大し、ネットワークを介して他拠点の通信装置に送信する。また、本発明の通信装置は、他拠点の通信装置から撮影画像を受信すると、他拠点の撮影画像を拡大する必要が有るか否か判断し、他拠点の撮影画像を拡大する必要が有る場合に、当該撮影画像の解像度を目標解像度に変換して拡大する。【選択図】図２

Description

本発明は、映像および音声の通信を行う通信システムに関し、より詳細には、複数の拠点間で映像および音声の通信を行う通信システム、通信装置および方法に関する。

従来、インターネット等の高速データ通信が可能なネットワークの普及に伴い、遠隔地の複数の拠点間で映像や音声を相互に配信して会議等を行うテレビ会議システムが利用されている。

従来のテレビ会議システムの一例として、特許文献１は、送信側で拡大領域と符号化された画像データを多重化して送信し、受信側で当該データを分離して画像データを拡大し、表示部に表示する画像処理装置を開示する。

しかしながら、特許文献１が開示する画像処理装置は、ネットワークのデータ転送レートが高い場合でも、送信側で画像を拡大せず、受信側で一律に画像を拡大するため、送信側で画像を拡大した場合に比べて画質が劣化するという問題があった。例えば、画像拡大方法として超解像度処理を採用する場合、超解像度処理によって撮影の際に失われた高周波成分を復元するため、送信側で画像を拡大せずに受信側で画像を拡大すると、高画質の拡大画像を提供することができないという問題があった。

本発明は上述した課題を解決するものであり、ネットワークの状態に応じて、最も高画質な拡大画像を表示可能な通信システム、通信装置および方法を提供することを目的とする。

本発明の通信装置は、ネットワークの状態に応じた送信対象の撮影画像のデータ量の上限値を特定し、当該データ量の上限値と、自拠点の撮影画像のデータ量とに応じて、送信対象の自拠点の撮影画像の解像度を変換して拡大し、ネットワークを介して他拠点の通信装置に送信する。また、本発明の通信装置は、他拠点の通信装置から撮影画像を受信すると、他拠点の撮影画像を拡大する必要が有るか否か判断し、他拠点の撮影画像を拡大する必要が有る場合に、当該撮影画像の解像度を目標解像度に変換して拡大する。

本発明の情報処理装置は、上記手段を採用することにより、ネットワークの状態に応じて、最も高画質な拡大画像を表示することができる。

本発明の通信システムの一実施形態を示す図。 本発明の通信端末のハードウェア構成および機能構成の一実施形態を示す図。 送信側の通信端末が実行する処理の一実施形態を示すフローチャート。 受信側の通信端末が実行する処理の一実施形態を示すフローチャート。 撮影画像の一実施形態を示す図。 送信側の通信端末が実行する処理の別の実施形態を示すフローチャート。 受信側の通信端末が実行する処理の別の実施形態を示すフローチャート。 送信側の通信端末が実行する処理の他の実施形態を示すフローチャート。

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。

図１は、本発明の通信システムの一実施形態を示す図である。本発明の通信システムは、複数の拠点間で画像および音声を相互に通信するシステムである。図１に示す通信システム１００は、２つの拠点間で画像および音声を通信する通信システムであり、通信端末１２０ａと、通信端末１２０ｂと、中継装置１３０とがネットワーク１１０を介して接続されている。

通信端末１２０ａ，１２０ｂは、中継装置１３０を介して、他拠点の通信端末との間で撮影画像および音声を通信して処理する通信装置である。通信端末１２０ａ，１２０ｂは、自拠点の撮影画像および音声を他拠点の通信端末に提供すると共に、他拠点の撮影画像および音声を表示および再生する。

通信端末１２０ａは、自拠点の様子を撮影可能な撮影装置を備えている。通信端末１２０ｂは、当該撮影装置が撮影および集音した自拠点の撮影画像および音声を、ネットワーク１１０を介して中継装置１３０に送信する。

通信端末１２０ａには、表示装置１２４ａが接続されている。表示装置１２４ａは、通信端末１２０ａが提供する画像を表示する表示装置である。通信端末１２０ａは、中継装置１３０からネットワーク１１０を介して他拠点の撮影画像を受信すると、当該撮影画像を表示装置１２４ａに表示する。

通信端末１２０ｂには、撮影装置１２２ｂと、表示装置１２４ｂとが接続されている。撮影装置１２２ｂは、自拠点の様子を撮影可能なデジタルビデオカメラ等の撮影装置である。撮影装置１２２ｂが、自拠点の撮影画像および音声を生成して通信端末１２０ｂに提供すると、通信端末１２０ｂは、ネットワーク１１０を介して、これらの撮影画像および音声を中継装置１３０に送信する。

表示装置１２４ｂは、通信端末１２０ｂが提供する画像を表示する表示装置である。通信端末１２０ｂは、ネットワーク１１０を介して中継装置１３０から他拠点の撮影画像および音声を受信すると、当該撮影画像を表示装置１２４ｂに表示すると共に、当該音声を再生する。

図１に示す実施形態では、通信端末１２０ｂとしてデスクトップ型のパーソナルコンピュータを示しているが、撮影装置および表示装置が一体的に組み込まれたノート型ＰＣやタブレット型ＰＣ、スマートフォンを通信端末１２０ｂとして使用してもよい。

中継装置１３０は、通信端末１２０ａ，１２０ｂとの間で画像を中継する装置である。中継装置１３０は、送信側の通信端末が提供する撮影画像を受信側の通信端末に中継する。また、中継装置１３０は、通信システム１００に含まれる通信端末１２０ａ，１２０ｂおよび当該通信端末に接続された表示装置に関する情報（以下、「接続先端末情報」とする。）を保持しており、通信端末１２０ａ，１２０ｂの要求に応じて接続先端末情報を提供する。

本実施形態では、接続先端末情報として、表示装置１２４ａ，１２４ｂが有するＥＤＩＤ（Extended Display Identification Data）を使用することができる。ＥＤＩＤは、表示装置のパネルの解像度や表示装置が処理可能な解像度、クロック周波数、メーカー名、型名、シリアル番号などの情報で構成される。また、接続先端末情報には、通信システム１００を構成する各通信端末が画像拡大機能を有するか否かを示す情報が含まれている。

図２は、本発明の通信端末のハードウェア構成および機能構成の一実施形態を示す図である。以下、図２を参照して、通信端末１２０ａのハードウェア構成および機能構成について説明する。なお、通信端末１２０ｂは、通信端末１２０ａと同様のハードウェア構成および機能構成を備えるため、通信端末１２０ｂについては、通信端末１２０ａとの相違点のみを説明する。

通信端末１２０ａは、制御部２００と、操作部２０１と、撮影装置２０２と、画像加工部２０３と、ネットワーク・インタフェース（Ｉ／Ｆ）２０４と、通信情報処理部２０５と、エンコーダ２０６と、デコーダ２０７と、画像加工部２０８と、表示装置Ｉ／Ｆ２０９とを含んで構成される。

制御部２００は、通信端末１２０ａの動作を制御する手段である。制御部２００は、後述する機能手段を用いて、種々の処理を実行する。

操作部２０１は、通信端末１２０ａに対するユーザの指示を受け付ける手段である。具体的には、操作部２０１は、通信端末１２０ａに設置される操作ボタンや操作画面などの手段であり、撮影画像内の領域の指定や撮影画像の拡大、拡大率の指定、接続先の通信端末の指定などの種々の指示が可能である。

本実施形態では、ユーザが、通信端末の備える操作部２０１を用いて種々の指示を行うが、通信端末としてデスクトップ型ＰＣを採用する場合には、ユーザは、操作部２０１の代わりに、マウス等の入力装置を用いて指示することができる。

撮影装置２０２は、自拠点の様子を撮影可能な撮影装置である。撮影装置２０２は、撮影画像を生成すると、当該撮影画像を画像加工部２０３に提供する。図２に示すように、通信端末１２０ａは撮影装置２０２を備えているが、通信端末１２０ｂは、撮影装置２０２の代わりに、外部装置である撮影装置１２２ｂを接続可能な外部装置Ｉ／Ｆを備えている。通信端末１２０ｂの外部装置Ｉ／Ｆは、撮影装置１２２ｂから撮影画像を受信すると、当該撮影画像を画像加工部２０３に提供する。

画像加工部２０３は、制御部２００の制御下で自拠点の撮影画像および他拠点の撮影画像を加工する手段である。画像加工部２０３は、撮影装置２０２から自拠点の撮影画像を受信すると、ネットワーク１１０の状態に応じて、自拠点の撮影画像のうちユーザが指定した領域（以下、「指定領域」とする。）を所定の解像度に変換して拡大し、または自拠点の撮影画像にクリップ処理を施して当該指定領域をトリミングする。

本実施形態では、自拠点の撮影画像の解像度の変換方法として、例えば、最近傍法、バイニリア法、１フレームベースの超解像処理、複数フレームの超解像度処理などを採用することができる。超解像度処理は、ＭＬ法、ＭＡＰ法、ＰＯＣＳ法、ＩＢＰ法の種々の手法が提案されており、いずれの方法も採用することができる。超解像度処理では、撮影の際に失われた高周波成分が復元されるため、エンコーダによる符号化処理の前に撮影画像に超解像度処理を施して拡大することにより、高画質の画像を提供することができる。画像加工部２０３は、画像加工時のＣＰＵの使用率に応じて、上述した解像度の変換方法を採用してもよい。

また、画像加工部２０３は、他拠点の撮影画像を受信すると、拡大処理が必要な場合には、当該撮影画像を所定の解像度に変換して拡大する。

ネットワークＩ／Ｆ２０４は、ネットワーク１１０と通信端末１２０ａとの物理インタフェースであり、ネットワーク１１０を介して、種々のデータを中継装置１３０および他拠点の通信端末１２０ｂと通信する。

通信情報処理部２０５は、ネットワーク１１０を介したデータ通信に関する情報を処理する手段である。通信情報処理部２０５は、ネットワーク１１０の状態を監視し、その状態に応じて許容されるデータ転送レートを特定し、当該データ転送レートによるデータ転送が許容される撮影画像のデータ量の上限値を特定する。

具体的には、通信情報処理部２０５は、ネットワーク１１０を介して、接続先の通信端末にｐｉｎｇ等のネットワーク状態確認信号を送信し、ネットワーク状態情報であるＲＴＴ（Round Trip Time）やパケットロス率を導出する。通信端末１２０ａ，１２０ｂの記憶装置（図示せず）には、データ転送レートと、ＲＴＴおよびパケットロス率の少なくとも一方とが関連付けて保存されており、通信情報処理部２０５は、当該記憶装置を参照し、導出したＲＴＴやパケットロス率に関連付けられているデータ転送レートを特定する。管理者は、ＲＴＴやパケットロス率を考慮して最適なデータ転送レートを関連付けることができる。

また、通信端末１２０ａ，１２０ｂの記憶装置には、データ転送レートと、当該データ転送レートによるデータ転送が許容される撮影画像のデータ量の上限値とが関連付けて登録されており、通信情報処理部２０５は、当該記憶装置を参照し、特定したデータ転送レートに関連付けられている撮影画像のデータ量の上限値を特定する。通信情報処理部２０５は、撮影画像のデータ量の上限値を特定すると、当該データ量の上限値を制御部２００に通知する。

また、通信情報処理部２０５は、中継装置１３０に他拠点の接続先端末情報を要求する。通信情報処理部２０５は、中継装置１３０から接続先端末情報を受信すると、制御部２００に当該接続先端末情報を提供する。

エンコーダ２０６は、自拠点の撮影画像を符号化して他拠点の通信端末に送信する手段である。エンコーダ２０６は、画像加工部２０３が提供する加工された撮影画像を符号化し、ネットワークＩ／Ｆ２０４を介して、通信情報処理部２０５が特定したネットワーク１１０の状態に応じて許容されるデータ転送レートで、当該符号化した撮影画像を送信する。

エンコーダ２０６は、符号化した撮影画像と共に、当該撮影画像を受信側の表示装置で表示する際の解像度（以下、「目標解像度」とする。）を記述したヘッダ情報を送信する。ユーザが撮影画像の指定領域を指定し、拡大率を指定しない場合は、加工前の撮影画像の解像度を目標解像度とすることができる。ユーザが撮影画像の指定領域および拡大率を指定した場合は、当該指定領域の解像度を当該拡大率によって拡大して得られる解像度を目標解像度とすることができる。

デコーダ２０７は、他拠点の撮影画像を復号化する手段である。デコーダ２０７は、ネットワークＩ／Ｆ２０４を介して中継装置１３０から他拠点の撮影画像を受信すると、当該撮影画像を復号化し、画像加工部２０８に提供する。

画像加工部２０８は、制御部２００の制御下で、復号化された他拠点の撮影画像を加工する手段である。画像加工部２０８は、他拠点の撮影画像を取得すると、当該撮影画像の拡大が必要な場合には、制御部２００の指示により、当該撮影画像の解像度を目標解像度に変換して拡大し、表示装置Ｉ／Ｆ２０９に提供する。

表示装置Ｉ／Ｆ２０９は、表示装置１２４ａと通信端末１２０ａとの物理インタフェースである。表示装置Ｉ／Ｆ２０９は、画像加工部２０８から他拠点の撮影画像を受信すると、当該撮影画像を表示装置１２４ａに出力して表示させる。

図３は、送信側の通信端末が実行する処理の一実施形態を示すフローチャートである。以下、図３を参照して、通信端末１２０ａ，１２０ｂが自拠点の撮影画像を送信する際に実行する処理の一実施形態について説明する。

図３の処理は、ステップＳ３００から開始し、ステップＳ３０１では、通信情報処理部２０５が、接続先の通信端末にネットワーク状態確認信号を送信してネットワーク状態情報を取得する。ステップＳ３０２では、通信情報処理部２０５は、ネットワーク状態情報を使用して、ネットワークの状態に応じて許容されるデータ転送レートおよび撮影画像のデータ量の上限値を特定し、制御部２００に通知する。ステップＳ３０３では、制御部２００が、撮影画像のデータ量の上限値が閾値Ａよりも大きいか否か判断する。

本実施形態では、撮影画像のオリジナルの解像度と同一の解像度を有する複数の撮影画像をエンコーダ２０６で符号化し、その符号化された撮影画像のデータ量の平均値を、閾値Ａとして採用することができる。

当該データ量の上限値が閾値Ａよりも大きい場合には（ｙｅｓ）、ステップＳ３０４に処理が分岐する。ステップＳ３０４では、画像加工部２０３が、撮影画像の指定領域の解像度を第１の解像度である目標解像度に変換して拡大する。本実施形態では、画像加工部２０３は、当該指定領域の解像度をオリジナルの撮影画像の解像度に変換する。

一方、当該データ量の上限値が閾値Ａ以下である場合には（ｎｏ）、ステップＳ３０５に処理が分岐する。ステップＳ３０５では、制御部２００が、当該データ量の上限値が閾値Ｂよりも大きいか否か判断する。

本実施形態では、指定領域の解像度よりも大きく、かつ、オリジナルの撮影画像よりも小さい解像度を有する複数の撮影画像をエンコーダ２０６で符号化し、その符号化された撮影画像のデータ量の平均値を、閾値Ｂとして採用することができる。例えば、指定領域の１．５倍の解像度を有する複数の撮影画像をエンコーダ２０６で符号化したデータ量の平均値を閾値Ｂとして採用する場合、指定領域の解像度が６４０ピクセル×３６０ピクセルであれば、その１．５倍の解像度（９６０ピクセル×５４０ピクセル）の複数の撮影画像を符号化したデータ量の平均値を閾値Ｂとすることができる。

当該データ量の上限値が閾値Ｂよりも大きい場合には（ｙｅｓ）、ステップＳ３０６に処理が分岐する。ステップＳ３０６では、画像加工部２０３が、撮影画像の指定領域の解像度を第２の解像度に変換して拡大する。本実施形態では、第２の解像度は、指定領域の解像度よりも大きく、かつ、オリジナルの撮影画像よりも小さい解像度である。例えば、指定領域の１．５倍の解像度を有する複数の撮影画像を符号化したデータ量の平均値を閾値Ｂとして採用する場合、画像加工部２０３は、当該倍率と同一の倍率で指定領域の解像度を変換して拡大する。

一方、当該データ量の上限値が閾値Ｂ以下である場合には（ｎｏ）、ステップＳ３０７に処理が分岐する。ステップＳ３０７では、画像加工部２０３が、撮影画像にクリップ処理を施して指定領域をトリミングする。

ステップＳ３０８では、エンコーダ２０６が、画像加工部２０３によって加工された撮影画像を符号化し、ステップＳ３０２で特定したネットワークの状態に応じたデータ転送レートで、符号化した撮影画像およびヘッダ情報を接続先の通信端末に送信し、ステップＳ３０９で処理が終了する。

図４は、受信側の通信端末が実行する処理の一実施形態を示すフローチャートである。以下、図４を参照して、通信端末１２０ａ，１２０ｂが他拠点の撮影画像を受信した際に実行する処理について説明する。

図４の処理は、通信端末１２０ａ，１２０ｂが、中継装置１３０の送信した他拠点の撮影画像を受信することにより、ステップＳ４００から開始する。ステップＳ４０１では、デコーダ２０７が、他拠点の撮影画像を復号化し、復号化した撮影画像を画像加工部２０８に提供する。ステップＳ４０２では、制御部２００が、復号化した撮影画像に対して拡大処理が必要であるか否か判断する。

本実施形態では、制御部２００は、符号化した他拠点の撮影画像の解像度と、当該撮影画像に付加されているヘッダ情報に記述されている目標解像度とを比較して、拡大処理が必要か判断することができる。撮影画像の解像度と目標解像度とが同じ場合は、拡大処理が必要ではないと判断し、これらの解像度が異なる場合は、拡大処理が必要であると判断する。

拡大処理が不要な場合には（ｎｏ）、ステップＳ４０４に処理が分岐する。一方、拡大処理が必要な場合には（ｙｅｓ）、ステップＳ４０３に処理が分岐する。ステップＳ４０３では、画像加工部２０８が、復号化された他拠点の撮影画像の解像度を目標解像度に変換して拡大する。ステップＳ４０４では、画像加工部２０８は、他拠点の撮影画像を表示装置１２４ａ，１２４ｂに送信し、ステップＳ４０５で処理が終了する。

図５は、撮影画像の一実施形態を示す図である。撮影画像５００は、撮影装置２０２，１２２ｂが生成した自拠点の撮影画像であり、そのサイズは１２８０ピクセル×７２０ピクセルである。通信端末１２０ａ，１２０ｂは、自拠点の表示装置１２４ａ，１２４ｂや通信端末１２０ａ，１２０ｂが備える操作画面などに撮影画像５００を表示することができる。

ユーザは、表示装置１２４ａ，１２４ｂや操作画面などに表示された撮影画像５００を参照し、通信端末１２０ａ，１２０ｂの操作部２０１を使用して、他拠点の通信端末１２０ａ，１２０ｂの表示装置１２４ａ，１２４ｂで表示したい指定領域を指定する。図５は、ユーザが６４０ピクセル×３６０ピクセルの指定領域を指定した様子を示す。他拠点の通信端末の表示装置には、この指定領域の解像度が目標解像度に拡大されて表示される。

図６は、送信側の通信端末が実行する処理の別の実施形態を示すフローチャートである。以下、図６を参照して、通信端末１２０ａ，１２０ｂが自拠点の撮影画像を送信する際に実行する処理の別の実施形態について、図３に示す処理との相違点を中心に説明する。

図６の処理は、ステップＳ６００から開始し、ステップＳ６０１では、通信情報処理部２０５が、接続先の通信端末にネットワーク状態確認信号を送信してネットワーク状態情報を取得すると共に、中継装置１３０に接続先端末情報を要求し、接続先の通信端末の接続先端末情報を取得する。ステップＳ６０２では、通信情報処理部２０５は、ネットワーク状態情報を使用して、ネットワークの状態に応じて許容される撮影画像のデータ転送レートおよびデータ量の上限値を特定し、制御部２００に通知する。

ステップＳ６０３では、制御部２００が接続先端末情報を使用して、接続先の通信端末が画像拡大機能を有するか否か判断する。接続先の通信端末が画像拡大機能を有する場合には（ｙｅｓ）、ステップＳ６０５に処理が分岐する。一方、接続先の通信端末が画像拡大機能を有しない場合には（ｎｏ）、ステップＳ６０４に処理が分岐する。

ステップＳ６０４では、制御部２００が、撮影画像のデータ量の上限値が閾値Ｃよりも大きいか否か判断する。閾値Ｃの求め方については、まず、端末でユースケースに沿った画像（動画）を複数種類撮影する。そして、各々の画像に対して、指定の拡大率に拡大を行い、その後、エンコーダの圧縮パラメータを何種類か振ったものを用意する。画質の見栄えと圧縮パラメータの強度はトレードオフであるため、画像を見て官能評価（主観評価）を行い、どの圧縮パラメータまで会議室用途で許容される画質であるかのデータを取得する。そして、例えば、評価者の８０％以上が許容した圧縮パラメータで圧縮した場合の平均画像サイズを閾値Ｃと設定する。

撮影画像のデータ量の上限値が閾値Ｃよりも大きい場合には（ｙｅｓ）、ステップＳ６０６に処理が分岐する。一方、撮影画像のデータ量の上限値が閾値Ｃ以下である場合には（ｎｏ）、ステップＳ６０９に処理が分岐する。

ステップＳ６０５では、制御部２００が、撮影画像のデータ量の上限値が閾値Ａよりも大きいか否か判断する。撮影画像のデータ量の上限値が閾値Ａよりも大きい場合には（ｙｅｓ）、ステップＳ６０６に処理が分岐する。ステップＳ６０６では、画像加工部２０３が、撮影画像の指定領域の解像度を第１の解像度に変換して拡大する。

一方、ステップＳ６０５の判定で撮影画像のデータ量の上限値が閾値Ａ以下である場合には（ｎｏ）、ステップＳ６０７に処理が分岐する。ステップＳ６０７では、制御部２００が、撮影画像のデータ量の上限値が閾値Ｂよりも大きいか否か判断する。撮影画像のデータ量の上限値が閾値Ｂよりも大きい場合には（ｙｅｓ）、ステップＳ６０８に処理が分岐する。ステップＳ６０８では、画像加工部２０３が、撮影画像の指定領域の解像度を第２の解像度に変換して拡大する。

一方、ステップＳ６０７の判定で撮影画像のデータ量の上限値が閾値Ｂ以下である場合には（ｎｏ）、ステップＳ６０９に処理が分岐する。ステップＳ６０９では、画像加工部２０３が、撮影画像にクリップ処理を施して指定領域をトリミングする。本実施形態では、画像加工部２０３が指定領域をトリミングするが、他の実施形態では、トリミングは行わずに指定領域以外の領域の解像度を低減し、または指定領域以外の領域の画素を黒でマスクし、エンコーダ２０６による符号化後のデータ量を削減してもよい。

ステップＳ６１０では、エンコーダ２０６が、画像加工部２０３によって加工された撮影画像を符号化し、符号化した撮影画像およびヘッダ情報を、ステップＳ６０２で特定したデータ転送レートで接続先の通信端末に送信し、ステップＳ６１１で処理が終了する。

図６に示す実施形態では、撮影画像のデータ量の上限値が閾値Ｃよりも大きい倍には、撮影画像の指定領域の解像度を第１の解像度に変換して拡大するが、他の実施形態では、別の閾値をさらに設定し、接続先の通信端末が画像拡大機能を有していない場合でも、指定領域の解像度を複数の解像度に変換して、撮影画像を段階的に拡大してもよい。

図７は、受信側の通信端末が実行する処理の別の実施形態を示すフローチャートである。以下、図７を参照して、通信端末１２０ａ，１２０ｂが他拠点の撮影画像を受信した際に実行する処理の別の実施形態について、図４に示す処理との相違点を中心に説明する。

図７の処理は、通信端末１２０ａ，１２０ｂが他拠点の撮影画像を受信することにより、ステップＳ７００から開始する。ステップＳ７０１では、デコーダ２０７が、他拠点の撮影画像を復号化し、復号化した撮影画像を画像加工部２０８に提供する。ステップＳ７０２では、制御部２００が、自拠点の通信端末が画像拡大機能を有するか否か判断する。

本実施形態では、通信端末１２０ａ，１２０ｂは画像拡大機能を有する場合、その旨を示す情報を保持しており、制御部２００は、当該情報を用いて通信端末が画像拡大機能を有するか否か判断することができる。

画像拡大機能を有していない場合には（ｎｏ）、ステップＳ７０５に処理が分岐する。一方、画像拡大機能を有する場合には（ｙｅｓ）、ステップＳ７０３に処理が分岐する。ステップＳ７０３では、制御部２００が、撮影画像に付加されているヘッダ情報を用いて、撮影画像の拡大処理が必要か否か判断する。拡大処理が不要な場合には（ｎｏ）、ステップＳ７０５に処理が分岐する。一方、拡大処理が必要な場合には（ｙｅｓ）、ステップＳ７０４に処理が分岐する。

ステップＳ７０４では、画像加工部２０８が、復号化された他拠点の撮影画像の解像度を目標解像度に変換して拡大する。ステップＳ７０５では、画像加工部２０８は、他拠点の撮影画像を表示装置１２４ａ，１２４ｂに送信し、ステップＳ７０６で処理が終了する。

図８は、送信側の通信端末が実行する処理の他の実施形態を示すフローチャートである。以下、図８を参照して、通信端末１２０ａ，１２０ｂが自拠点の撮影画像を送信する際に実行する処理の他の実施形態について、図６に示す処理との相違点を中心に説明する。

図８の処理は、ステップＳ８００から開始し、ステップＳ８０１では、通信情報処理部２０５が、接続先の通信端末にネットワーク状態確認信号を送信してネットワーク状態情報を取得すると共に、中継装置１３０に接続先端末情報を要求し、接続先の通信端末の接続先端末情報を取得する。ステップＳ８０２では、通信情報処理部２０５は、ネットワーク状態情報を使用して、ネットワークの状態に応じて許容されている撮影画像のデータ転送レートおよびデータ量の上限値を特定し、制御部２００に通知する。

ステップＳ８０３では、制御部２００が接続先端末情報を使用して、接続先の通信端末が画像拡大機能を有するか否か判断する。接続先の通信端末が画像拡大機能を有する場合には（ｙｅｓ）、ステップＳ８０７に処理が分岐する。一方、接続先の通信端末が画像拡大機能を有しない場合には（ｎｏ）、ステップＳ８０４に処理が分岐する。

ステップＳ８０４では、制御部２００が接続先端末情報を使用して、接続先の通信端末の表示装置が画像拡大機能を有するか否か判断する。接続先端末情報には、上述したように、表示装置のパネルの解像度や表示装置が処理可能な解像度が含まれており、制御部２００は、これらの解像度を比較することにより、接続先の表示装置が画像拡大機能を有するか否か判断することができる。例えば、表示装置が処理可能な解像度が複数存在し、そのうちの最小の解像度と表示装置のパネルの解像度が相違する場合には、画像拡大機能を有すると判断することができる。

接続先の通信端末の表示装置が画像拡大機能を有する場合には（ｙｅｓ）、ステップＳ８０５に処理が分岐する。一方、接続先の表示装置が画像拡大機能を有しない場合には（ｎｏ）、ステップＳ８１１に処理が分岐する。

ステップＳ８０５では、制御部２００が、撮影画像のデータ量の上限値が閾値Ｃよりも大きいか否か判断する。撮影画像のデータ量の上限値が閾値Ｃよりも大きい場合には（ｙｅｓ）、ステップＳ８０８に処理が分岐する。一方、撮影画像のデータ量の上限値が閾値Ｃ以下である場合には（ｎｏ）、ステップＳ８０６に処理が分岐する。

ステップＳ８０６では、制御部２００が、接続先端末情報を使用して、接続先の表示装置の画像拡大機能を分析して閾値Ｂを決定する。具体的には、制御部２００は、接続先の表示装置の拡大処理の質や拡大率の上限値を分析して閾値Ｂを決定する。

表示装置の拡大処理の質を利用する実施形態では、中継装置１３０が、送信側の通信端末に対し、受信側の通信端末の表示装置の既定の拡大処理の質を、接続先端末情報と共に通知することができる。また、中継装置１３０が、受信側の通信端末の接続先端末情報に含まれるメーカー名や型名を用いて拡大処理の質を判断して、送信側の通信端末に当該拡大処理の質を通知してもよい。さらに、制御部２００が、受信側の通信端末の接続先端末情報に含まれるメーカー名や型名を用いて拡大処理の質を判断してもよい。

受信側の表示装置の拡大処理の質が低い場合には、制御部２００は、送信側で選択画像を拡大するように閾値Ｂの値を設定する。これにより、表示装置に表示される画像品質を向上させることができる。

受信側の表示装置の拡大処理の質が高い場合には、閾値Ｂの値は、ステップＳ８０７の閾値Ａと同様に設定することができる。具体的には、閾値Ｃの算出方法と同様に、指定の拡大率により拡大処理を行い、それに対して、複数種類の圧縮パラメータでエンコードした画像と、拡大領域をクリップしてデフォルトの圧縮パラメータでエンコード／デコードした後に、質の良い拡大処理を実施した画像とで、官能評価を実施し、順位付けをする。そして、質の良い拡大処理を実施した画像よりも評価の良かった圧縮パラメータを抽出し、その圧縮パラメータで圧縮した場合の平均画像サイズを閾値Ｂと設定する。

表示装置の拡大率の上限値を利用する実施形態では、制御部２００は、接続先端末情報に含まれる表示装置の処理可能な解像度の最小値と表示装置のパネルの解像度とを使用して、拡大率の上限値を算出することができる。

例えば、ユーザが撮影画像（１２８０ピクセル×７２０ピクセル）の半分の解像度の指定領域（６４０ピクセル×３６０ピクセル）を指定した場合、指定領域をオリジナルの解像度（１２８０ピクセル×７２０ピクセル）で表示するためには、指定領域を２倍に拡大する必要がある。ここで、受信側の表示装置の拡大率の上限値が１．５倍である場合、送信側の通信端末で指定領域を１．３３倍に拡大し、当該拡大された指定領域を受信側の表示装置でさらに１．５倍に拡大すれば、送信側および受信側全体で指定領域を２倍に拡大することができる。

したがって、この場合では、制御部２００は、指定領域（６４０ピクセル×３６０ピクセル）の１．３３倍の複数の撮影画像（８５４ピクセル×４８０ピクセル）を符号化したデータ量の平均値を閾値Ｂとすることができる。すなわち、受信側の表示装置が使用可能な拡大率の上限値で指定領域を拡大する場合に、指定領域を目標解像度にするために必要な拡大率で拡大した撮影画像の符号化データ量の平均値を閾値Ｂとする。

ステップＳ８１１では、制御部２００が、撮影画像のデータ量の上限値が閾値Ｃよりも大きいか否か判断する。撮影画像のデータ量の上限値が閾値Ｃよりも大きい場合には（ｙｅｓ）、ステップＳ８１２に処理が分岐する。一方、撮影画像のデータ量の上限値が閾値Ｃ以下である場合には（ｎｏ）、ステップＳ８０３に処理が分岐する。

ステップＳ８０７では、制御部２００が、撮影画像のデータ量の上限値が閾値Ａよりも大きいか否か判断する。撮影画像のデータ量の上限値が閾値Ａよりも大きい場合には（ｙｅｓ）、ステップＳ８０８に処理が分岐する。一方、撮影画像のデータ量の上限値が閾値Ａ以下である場合には（ｎｏ）、ステップＳ８０９に処理が分岐する。

ステップＳ８０８では、画像加工部２０３が、撮影画像の指定領域の解像度を第１の解像度に変換して拡大する。ステップＳ８０９では、制御部２００が、撮影画像のデータ量の上限値が閾値Ｂよりも大きいか否か判断する。撮影画像のデータ量の上限値が閾値Ｂよりも大きい場合には（ｙｅｓ）、ステップＳ８１０に処理が分岐する。ステップＳ８１０では、画像加工部２０３が、ユーザが指定した撮影画像の指定領域を所定の倍率で拡大する。

本実施形態では、受信側の表示装置で拡大率の上限値で指定領域を拡大する場合に、指定領域を目標解像度にするために必要な拡大率で指定領域を拡大する。上述した例では、制御部２００は、６４０ピクセル×３６０ピクセルの指定領域を１．３３倍して８５４ピクセル×４８０ピクセルの画像に拡大する。

一方、撮影画像のデータ量の上限値が閾値Ｂ以下である場合には（ｎｏ）、ステップＳ８１２に処理が分岐する。ステップＳ８１２では、画像加工部２０３が、撮影画像にクリップ処理を施して指定領域をトリミングする。

ステップＳ８１３では、エンコーダ２０６が、画像加工部２０３によって加工された撮影画像を符号化し、ステップＳ８０２で特定したデータ転送レートで、符号化した撮影画像およびヘッダ情報を接続先の通信端末に送信し、ステップＳ８１４で処理が終了する。

図８に示す実施形態では、受信側の表示装置は、通信端末から他拠点の撮影画像およびヘッダ情報を受信すると、当該撮影画像の解像度と、当該ヘッダ情報に含まれる目標解像度とを比較し、撮影画像を拡大する必要があるか否か判断する。表示装置は、撮影画像を拡大する必要があると判断した場合、当該撮影画像の解像度を目標解像度に変換して拡大表示する。

これまで本発明の幾つかの実施形態について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要素を変更若しくは削除し、または上述した実施形態の構成要素に他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

１００…通信システム、１１０…ネットワーク、１２０ａ，１２０ｂ…通信端末、１２２ｂ…撮影装置、１２４ａ，１２４ｂ…表示装置、１３０…中継装置

特開２０００−１６５８７６

Claims (9)

1. 画像を処理する通信装置であって、
   ネットワークの状態を示すネットワーク状態情報を取得する取得手段と、
   ネットワーク状態情報を使用して、ネットワークの状態に応じた送信対象の撮影画像のデータ量の上限値を特定する特定手段と、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量とに応じて、自拠点の撮影画像を加工する第１の画像加工手段と、
   前記第１の画像加工手段が加工した自拠点の撮影画像を、ネットワークを介して他拠点の通信装置に送信する送信手段と、
   他拠点の通信装置からネットワークを介して他拠点の撮影画像を受信する受信手段と、
   前記他拠点の撮影画像を拡大する必要が有るか否か判断する判断手段と、
   前記他拠点の撮影画像を拡大する必要が有る場合に、前記他拠点の撮影画像の解像度を目標解像度に変換して拡大する第２の画像加工手段と
   を備え、
   前記第１の画像加工手段は、
   撮影画像のデータ量の上限値と、送信対象の撮影画像のデータ量とに応じて、送信対象の撮影画像の解像度を変換して拡大することを特徴とする、通信装置。
2. 前記通信装置は、
   自拠点の撮影画像の送信先の通信装置が画像拡大機能を有するか判断する判断手段をさらに備え、
   前記第１の画像加工手段は、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量と、自拠点の撮影画像の送信先の通信装置の画像拡大機能の有無とに応じて、自拠点の撮影画像を加工することを特徴とする、請求項１に記載の通信装置。
3. 前記通信装置は、
   自拠点の撮影画像の送信先の通信装置の表示装置が画像拡大機能を有するか判断する判断手段をさらに備え、
   前記第１の画像加工手段は、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量と、自拠点の撮影画像の送信先の通信装置の画像拡大機能の有無と、前記送信先の通信装置の表示装置の画像拡大機能の有無とに応じて、自拠点の撮影画像を加工することを特徴とする、請求項１または２に記載の通信装置。
4. 前記第１の画像加工手段は、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量とに応じて、自拠点の撮影画像内の指定領域をトリミングし、または指定領域以外の領域の解像度を低減し、または指定領域以外の領域をマスクすることを特徴とする、請求項１〜３のいずれか１項に記載の通信装置。
5. 画像を処理する通信装置が実行する方法であって、前記方法は、前記通信装置が、
   ネットワークの状態を示すネットワーク状態情報を取得するステップと、
   ネットワーク状態情報を使用して、ネットワークの状態に応じた送信対象の撮影画像のデータ量の上限値を特定するステップと、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量とに応じて、自拠点の撮影画像を加工するステップと、
   加工した自拠点の撮影画像を、ネットワークを介して他拠点の通信装置に送信するステップと、
   他拠点の通信装置からネットワークを介して他拠点の撮影画像を受信するステップと、
   前記他拠点の撮影画像を拡大する必要が有るか否か判断するステップと、
   前記他拠点の撮影画像を拡大する必要が有る場合に、前記他拠点の撮影画像の解像度を目標解像度に変換して拡大するステップと
   を含み、
   前記自拠点の撮影画像を加工するステップは、
   撮影画像のデータ量の上限値と、送信対象の撮影画像のデータ量とに応じて、送信対象の撮影画像の解像度を変換して拡大するステップを含む、方法。
6. 前記方法は、前記通信装置が、
   自拠点の撮影画像の送信先の通信装置が画像拡大機能を有するか判断するステップをさらに含み、
   前記自拠点の撮影画像を加工するステップは、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量と、自拠点の撮影画像の送信先の通信装置の画像拡大機能の有無とに応じて、自拠点の撮影画像を加工するステップを含む、請求項５に記載の方法。
7. 前記方法は、前記通信装置が、
   自拠点の撮影画像の送信先の通信装置の表示装置が画像拡大機能を有するか判断するステップをさらに含み、
   前記自拠点の撮影画像を加工するステップは、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量と、自拠点の撮影画像の送信先の通信装置の画像拡大機能の有無と、前記送信先の通信装置の表示装置の画像拡大機能の有無とに応じて、自拠点の撮影画像を加工するステップを含む、請求項５または６に記載の方法。
8. 前記自拠点の撮影画像を加工するステップは、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量とに応じて、自拠点の撮影画像内の指定領域をトリミングし、または指定領域以外の領域の解像度を低減し、または指定領域以外の領域をマスクするステップを含む、請求項５〜７のいずれか１項に記載の方法。
9. 画像を処理する複数の通信装置を含む通信システムであって、
   前記通信装置は、
   ネットワークの状態を示すネットワーク状態情報を取得する取得手段と、
   ネットワーク状態情報を使用して、ネットワークの状態に応じた送信対象の撮影画像のデータ量の上限値を特定する特定手段と、
   送信対象の撮影画像のデータ量の上限値と、自拠点の撮影画像のデータ量とに応じて、自拠点の撮影画像を加工する第１の画像加工手段と、
   前記第１の画像加工手段が加工した自拠点の撮影画像を、ネットワークを介して他拠点の通信装置に送信する送信手段と、
   他拠点の通信装置からネットワークを介して他拠点の撮影画像を受信する受信手段と、
   前記他拠点の撮影画像を拡大する必要が有るか否か判断する判断手段と、
   前記他拠点の撮影画像を拡大する必要が有る場合に、前記他拠点の撮影画像の解像度を目標解像度に変換して拡大する第２の画像加工手段と
   を備え、
   前記第１の画像加工手段は、
   撮影画像のデータ量の上限値と、送信対象の撮影画像のデータ量とに応じて、送信対象の撮影画像の解像度を変換して拡大することを特徴とする、通信システム。