JP2016039553A - 通信装置、通信システム、通信方法およびプログラム - Google Patents

Abstract

【課題】フレーム間の変化量が大きい場合であってもビットレートを一定にする通信装置、通信システム、通信方法およびプログラムを提供する。
【解決手段】通信装置は、取得手段と制御手段とを備える。取得手段は、時系列に複数の画像データを取得する。制御手段は、取得手段により取得された画像データと、その直前に取得された画像データとの変化量に基づいて、単位時間に送信することが可能な、圧縮符号化後の画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う。
【選択図】図７

Description

本発明は、通信装置、通信システム、通信方法およびプログラムに関する。

複数の通信端末間でデータの送受信を行う通信システムの一形態として、通信ネットワークを利用して遠隔会議を実現するテレビ会議システムが知られている（例えば特許文献１等）。

テレビ会議システムにおいては、通信端末間で送受信されるカメラ映像や共有画面などのデータ量が大きいため、通信量を低減するためにＨ．２６４／ＳＶＣなどの圧縮技術が用いられることが一般的である。テレビ会議などのネットワークを用いた通信や、ＤＶＤ／Ｂｌｕ−ｒａｙ（登録商標）などのメディアに記録する場合などにおいては、単位時間に送信可能なデータ量（ビットレート）を均一にした方が扱いやすいので、通信端末のエンコーダ（符号化装置）は、ＲａｔｅＳｈａｐｅｒと呼ばれるモジュールにて、符号化後のデータ量を目標値（ターゲットビットレート）に合わせる機能を有している。

しかしながら、従来においては、例えば最初のフレームにおいてターゲットビットレートとの差が大きい場合や、前フレームとの変化が大き過ぎる場合などにおいては、十分な圧縮率を実現することができず、ビットレートを一定にすることができなかった。

上述した課題を解決し、目的を達成するために、本発明は、通信装置であって、時系列に複数の画像データを取得する取得手段と、前記取得手段により取得された前記画像データと、その直前に取得された前記画像データとの変化量に基づいて、単位時間に送信することが可能な、圧縮符号化後の前記画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う制御手段と、を備える。

本発明によれば、フレーム間の変化量が大きい場合であってもビットレートを一定にできる。

図１は、遠隔通信システムの構成の一例を示す図である。 図２は、遠隔通信システムにおける画像データおよび音声データの送受信の状態を示した概念図である。 図３は、通信端末のハードウェア構成例を示す図である。 図４は、遠隔通信管理システムのハードウェア構成例を示す図である。 図５は、遠隔通信システムを構成する各端末、装置及びシステムの機能構成の一例を示す図である。 図６は、外部入力装置の機能構成の一例を示す図である。 図７は、符号化制御部の機能構成の一例を示す図である。 図８は、通信端末が、圧縮符号化後の画像データを他の通信端末へ送信する場合の動作例を示すフローチャートである。 図９は、定ビットレート処理の詳細な内容の一例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る通信装置、通信システム、通信方法およびプログラムの実施形態を詳細に説明する。

図１は、遠隔通信システム１の構成の一例を示す図である。遠隔通信システム１は、一例として地域Ａと地域Ｂに分かれて通信端末１０が分かれて配置されているが、最少、２つの通信端末があれば遠隔通信が可能である。

遠隔通信システム１は、複数の通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）、各通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）用のディスプレイ（１００ａａ，１００ａｂ，…，１００ｄｂ）、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）、及び遠隔通信管理システム５０、プログラム提供システム９０、および、外部入力装置４０を有する。

なお、本実施形態では、通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）のうち任意の通信端末を示す場合には「通信端末１０」を用い、ディスプレイ（１００ａａ，１００ａｂ，…，１００ｄｂ）のうち任意のディスプレイを示す場合には「ディスプレイ１００」を用い、中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）のうち任意の中継装置を示す場合には「中継装置３０」を用い、外部入力装置（４０ａａ，４０ａｂ，…，４０ｄｂ）のうち任意の外部入力装置を示す場合には「外部入力装置４０」を用いる。また、以下では、遠隔通信の一例であるテレビ会議の開始を要求する要求元としての通信端末１０を「要求元端末１０Ａ」と表記し、要求先である宛先としての通信端末１０を「宛先端末１０Ｂ」と表記する場合がある。

通信端末１０は、他の通信端末１０との間で、画像データ、音声データ等の送受信を行う。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置３０は、複数の通信端末１０の間で、画像データ及び音声データの中継を行う。遠隔通信管理システム５０は、通信端末１０及び中継装置３０を一元的に管理する。

図２に示されているように、遠隔通信システム１において、要求元端末１０Ａと宛先端末１０Ｂとの間では、遠隔通信管理システム５０を介して、各種の管理情報を送受信するための管理情報用セッションｓｅｉが確立される。また、要求元端末１０Ａと宛先端末１０Ｂとの間では、中継装置３０を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの各データを送受信するための４つのセッションが確立される。ここでは、これら４つのセッションをまとめて、画像・音声データ用セッションｓｅｄとして示している。

図１に戻って説明を続ける。外部入力装置４０は、通信端末１０と接続され、通信端末１０に対して資料データを表示するための表示データを送信する。ここでの資料データとは、たとえば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用されるデータを意味する。

また、図１に示されている複数のルータ（７０ａ，７０ｂ，…，７０ｆ）は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ（７０ａ，７０ｂ，…，７０ｆ）のうち任意のルータを示す場合には「ルータ７０」を用いる。

プログラム提供システム９０は、通信端末１０に各種機能又は各種手段を実現させるための通信端末用プログラムが記憶された、不図示のＨＤＤ(Hard Disk Drive)を備えており、通信端末１０に、通信端末用プログラムを送信することができる。また、プログラム提供システム９０のＨＤＤには、中継装置３０に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置３０に、中継装置用プログラムを送信することができる。更に、プログラム提供システム９０のＨＤＤには、遠隔通信管理システム５０に各種機能又は各種手段を実現させるための遠隔通信管理用プログラムも記憶されており、遠隔通信管理システム５０に、遠隔通信管理用プログラムを送信することができる。

また、通信端末１０ａａ、通信端末１０ａｂ、中継装置３０ａ、及び、ルータ７０ａは、ＬＡＮ２ａによって互いに通信可能に接続されている。通信端末１０ｂａ、通信端末１０ｂｂ、中継装置３０ｂ、及び、ルータ７０ｂは、ＬＡＮ２ｂによって互いに通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ｃが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。

一方、通信端末１０ｃａ、通信端末１０ｃｂ、中継装置３０ｃ、及び、ルータ７０ｄは、ＬＡＮ２ｃによって互いに通信可能に接続されている。通信端末１０ｄａ、通信端末１０ｄｂ、中継装置３０ｄ、及び、ルータ７０ｅは、ＬＡＮ２ｄによって互いに通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｆが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカであり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。

地域Ａ及び地域Ｂは、それぞれルータ（７０ｃ，７０ｆ）からインターネット２ｉを介して通信可能に接続されている。

また、遠隔通信管理システム５０、及び、プログラム提供システム９０は、インターネット２ｉを介して、通信端末１０及び中継装置３０と通信可能に接続されている。遠隔通信管理システム５０、及びプログラム提供システム９０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。

なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態の通信ネットワーク２が構築されている。

また、図１において、各通信端末１０、各中継装置３０、遠隔通信管理システム５０、各ルータ７０、及び、プログラム提供システム９０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、通信端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよい。

（ハードウェア構成）
次に、各機器のハードウェア構成を説明する。まず、通信端末１０のハードウェア構成について説明する。

図３は、通信端末１０のハードウェア構成図の一例である。図３に示されているように、本実施形態の通信端末１０は、通信端末１０全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、通信端末用プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、画像データや音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、通信端末１０の宛先を選択する場合などに操作される操作ボタン１０８、通信端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ１１１、ＣＰＵ１０１の制御に従って被写体を撮像し画像データを得るＣＣＤ(Charge Coupled Device)１１２、このＣＣＤ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力するマイク１１４、音声を出力するスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１００に画像データを伝送するディスプレイＩ／Ｆ１１７、外部の装置と各種データを送受信する外部装置Ｉ／Ｆ１１８及び上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、記録メディア１０６は、通信端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。更に、ＣＣＤ１１２は、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子であり、被写体を撮像するものであればＣＣＤに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いてもよい。また、ディスプレイ１００は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成されているが、これに限らず、例えばスクリーンなどの投影面に画像を投影するプロジェクタで構成されてもよい。要するに、ディスプレイ１００は、画像を表示する装置であればよい。

更に、上記通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

次に、遠隔通信管理システム５０のハードウェア構成を説明する。図４は、本実施形態に係る遠隔通信管理システム５０のハードウェア構成の一例を示す図である。遠隔通信管理システム５０は、遠隔通信管理システム５０全体の動作を制御するＣＰＵ２０１、遠隔通信管理用プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、各種データを記憶するＨＤ(Hard Disk)２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disk Read Only Memory)２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ２１５及び、上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

なお、上記遠隔通信管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

また、外部入力装置４０は、上記遠隔通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、外部入力装置４０を制御するための外部入力装置用プログラムが記録されている。この場合も、外部入力装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

また、中継装置３０は、上記遠隔通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、中継装置３０を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

更に、プログラム提供システム９０は、上記遠隔通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、プログラム提供システム９０を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

なお、上記着脱可能な記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

（機能構成）
図５は、本実施形態の遠隔通信システム１を構成する各端末、装置及びシステムの機能構成の一例を示すブロック図である。図５では、通信端末１０、中継装置３０、及び遠隔通信管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。外部入力装置４０は、通信端末１０とデータを送受信することができるように、例えばＵＳＢケーブルにより接続されている。図１に示されているプログラム提供システム９０は、テレビ会議の通信において直接関係ないため、図５では省略されている。

まず、通信端末１０の機能構成について説明する。図５に示すように、通信端末１０は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４ａ、画像表示制御部１４ｂ、音声入力部１５ａ、音声出力部１５ｂ、選択部１６、外部情報送受信部１８、記憶・読出処理部１９、配置情報選択部２１、表示データ制御部２２、符号化制御部２３、符号化部２４、および、復号部２５を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。

通信端末１０に外部入力装置４０が接続されている場合、外部入力装置４０は表示データを取得して通信端末１０に送信する。通信端末１０は表示データを受信すると、通信ネットワーク２を介して中継装置３０に送信する。

通信端末１０の送受信部１１は、図３に示されているネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。操作入力受付部１２は、図３に示されている操作ボタン１０８、及び電源スイッチ１０９によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図３に示されている電源スイッチ１０９をＯＮにすると、図５に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする。ログイン要求部１３は、図３に示されているＣＰＵ１０１からの命令によって実現され、上記電源ＯＮの受け付けを契機として、送受信部１１から通信ネットワーク２を介して遠隔通信管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び通信端末１０の現時点のＩＰアドレスを自動的に送信する。

撮像部１４ａは、図３に示されているＣＣＤ１１２、及び撮像素子Ｉ／Ｆ１１３によって実現され、被写体を撮像して、この撮像して得た映像データを出力する。画像表示制御部１４ｂは、図３に示されているディスプレイＩ／Ｆ１１７によって実現され、外付けのディスプレイ１００に対して画像データを送信するための制御を行う。画像表示制御部１４ｂは自機である通信端末１０及び他の通信端末１０の撮像部１４ａで撮像された映像データの他に、自機である通信端末１０に接続された外部入力装置４０の表示装置４００で表示され、キャプチャされた表示データを表示する。画像表示制御部１４ｂは、映像データや表示データの表示領域を制御する機能をもつ。

音声入力部１５ａは、図３に示されているマイク１１４、及び音声入出力Ｉ／Ｆ１１６によって実現され、利用者の音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部１５ｂは、図３に示されているスピーカ１１５、及び音声入出力Ｉ／Ｆ１１６によって実現され、音声データに係る音声信号を音声に変換して出力する。音声入力部１５ａは音声信号の入力レベルを測定しそれを閾値などと比較することで、音声信号の有無について判定する。

配置情報選択部２１は、自機である通信端末１０および他の通信端末１０の撮像部１４ａで撮像された映像データや、自機である通信端末１０および他の通信端末１０に接続された外部入力装置４０から入力された後述の表示データを、ディスプレイ１００にどのように配置するかの情報を示す配置情報を選択し、その選択した配置情報を画像表示制御部１４６に対して指示する。この具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。なお、本実施形態の説明では、撮像部１４ａで撮像された映像データと、外部入力装置４０から入力された表示データとを区別しない場合は、単に「画像データ」と称する場合がある。

選択部１６は、複数の中継装置３０から１つの中継装置３０を選択する。中継装置３０の選択方法は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

表示データ制御部２２は、外部入力装置４０の表示データを取得する。表示データとは、表示装置４００の画面に表示された画像をＪＰＥＧ（Joint Photographic Experts Group）やＢｉｔｍａｐ等の形式にした画像データ、ＧＤＩ（Graphics Device Interface ）等の形式にした描画コマンドを表す。表示データは、資料データが含まれる場合も資料データが含まれない単なるデスクトップ画面の場合もある。表示データ制御部２２の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

符号化制御部２３は、他の通信端末１０へ送信する画像データの圧縮符号化に関する制御を行う。符号化制御部２３の詳細な内容については後述する。符号化部２４は、符号化制御部２３の制御の下、他の通信端末１０へ送信する画像データの圧縮符号化を行う。圧縮符号化の方式は任意であり、例えばＨ．２６４／ＳＶＣ、Ｈ．２６４／ＡＶＣ、Ｈ．２６５（ＨＥＶＣ）、ＭｏｔｉｏｎＪＰＥＧなどを利用することができる。例えば画像データをスケーラブルに符号化する標準の符号化フォーマットとして、Ｈ．２６４／ＳＶＣ（Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ）符号化フォーマットが知られている。Ｈ．２６４／ＳＶＣ符号化フォーマットでは、画像データを階層構造のデータに変換し、品質が異なる複数の画像データの集合として符号化して、それぞれの品質の画像データに対応する符号化データを複数のチャンネル（図２の例では、高解像度の画像データ用のチャンネル、中解像度の画像データ用のチャンネル、低解像度の画像データ用のチャンネルに分けられている）で送受信することができる。本実施形態では、このＨ．２６４／ＳＶＣ符号化フォーマットを利用して画像データを符号化した符号化データを、複数の通信端末１０間で送受信するものとするが、これに限られるものではない。

復号部２５は、他の通信端末１０から受信した、圧縮符号化された画像データを復号する機能を有する。

次に、外部入力装置４０の機能構成について説明する。図６に示すように、外部入力装置４０は、送受信部４１、接続検出部４２、表示データ取得部４５１、表示データ送信部４５２、操作入力受付部４６、及び、記憶・読出処理部４９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、外部入力装置４０は、図４に示されているディスプレイ２０８によって構築される表示装置４００を有している。また、外部入力装置４０は、Ｗｉｎｄｏｗｓ（登録商標）等のＯＳ（Operating System）を搭載し、これにより、他の装置と接続したときにはプログラムを実行する機能を備えている。

送受信部４１は、図４に示されているネットワークＩ／Ｆ２０９によって実現され、通信端末１０から各種データ（情報）の送受信を行う。接続検出部４２は外部装置Ｉ／Ｆ２１５により通信端末１０とデータの送受信が可能となったことを検出する。操作入力受付部４６は、キーボードやマウスにより実現され利用者の操作による入力を受け付ける。

表示データ取得部４５１は、表示装置４００の画面をキャプチャするなどして外部入力装置４０の表示データを取得するものであり、表示データ送信部４５２は、表示データ取得部４５１が取得した表示データを通信端末１０に送信するものである。

記憶・読出処理部４９は、図４に示されているＨＤＤ２０５を実体とし各種データを記憶したり、不図示の記憶部に記憶された各種データを読み出したりする処理を行う。

外部入力装置４０の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。また、中継装置３０の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

図５に戻り、遠隔通信管理システム５０の機能構成について説明する。遠隔通信管理システム５０は、送受信部５１、端末認証部５２、状態管理部５３、端末抽出部５４、端末状態取得部５５、セッション管理部５７、及び記憶・読出処理部５９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、遠隔通信管理システム５０は、図４に示されているＨＤ２０４により構築される記憶部５０００を有している。

記憶部５０００には、中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が遠隔通信管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ伝送速度（Ｍｂｐｓ）が関連付けられて管理される。中継装置管理ＤＢ５００１の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

更に、記憶部５０００には、端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、遠隔通信管理システム５０によって管理される全ての通信端末１０の各端末ＩＤに対して、各パスワードが関連付けられて管理される。端末認証管理ＤＢ５００２の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

また、記憶部５０００には、端末管理テーブルによって構成されている端末管理ＤＢ５００３が構築されている。この端末管理テーブルでは、各通信端末１０の端末ＩＤ毎に、各通信端末１０の稼動状態、ログイン要求情報が遠隔通信管理システム５０で受信された受信日時、及び通信端末１０のＩＰアドレスが関連付けられて管理される。端末管理ＤＢ５００３の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

更に、記憶部５０００には、宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、テレビ会議の開始を要求する要求元端末１０Ａの端末ＩＤに対して、宛先端末１０Ｂの候補として登録されている宛先端末１０Ｂの端末ＩＤが全て関連付けられて管理される。宛先リスト管理ＤＢ５００４の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

また、この記憶部５０００には、セッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤ毎に、画像データ、音声データ及び表示データの中継に使用される中継装置３０の中継装置ＩＤ、要求元端末１０Ａの端末ＩＤ、宛先端末１０Ｂの端末ＩＤが少なくとも関連付けられて管理される。セッション管理ＤＢ５０００の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

次に、遠隔通信管理システム５０の各機能部について説明する。送受信部５１は、図４に示されているネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。端末認証部５２は、送受信部５１を介して受信されたログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとし、記憶部５０００の端末認証管理ＤＢ５００２を検索し、端末認証管理ＤＢ５００２に同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う。状態管理部５３は、ログイン要求してきた要求元端末１０Ａの稼動状態を管理すべく、端末管理テーブルに、この要求元端末１０Ａの端末ＩＤ、要求元端末１０Ａの稼動状態、遠隔通信管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末１０ＡのＩＰアドレスを関連付けて記憶して管理する。

端末抽出部５４は、ログイン要求した要求元端末１０Ａの端末ＩＤをキーとして、宛先リスト管理テーブルを検索し、要求元端末１０Ａと遠隔通信することができる宛先端末１０Ｂの候補の端末ＩＤを読み出すことで、端末ＩＤを抽出する。また、端末抽出部５４は、ログイン要求してきた要求元端末１０Ａの端末ＩＤをキーとして、上述の宛先リスト管理テーブルを検索し、上記要求元端末１０Ａの端末ＩＤを宛先端末１０Ｂの候補として登録している他の要求元端末１０Ａの端末ＩＤも抽出する。

端末状態取得部５５は、上記端末抽出部５４によって抽出された宛先端末１０Ｂの候補の端末ＩＤを検索キーとして、上述の端末管理テーブルを検索し、上記端末抽出部５４によって抽出された端末ＩＤ毎に稼動状態を読み出す。これにより、端末状態取得部５５は、ログイン要求してきた要求元端末１０Ａと遠隔通信することができる宛先端末１０Ｂの候補の稼動状態を取得することができる。また、端末状態取得部５５は、上記端末抽出部５４によって抽出された端末ＩＤを検索キーとして、上述の端末管理テーブルを検索し、ログイン要求してきた要求元端末１０Ａの稼動状態も取得する。

セッション管理部５７は、上述のセッション管理テーブルに、選択用セッションＩＤ、要求元端末１０Ａの端末ＩＤ、及び宛先端末１０Ｂの端末ＩＤを関連付けて記憶して管理する。また、セッション管理部５７は、セッション管理テーブルに対して、選択用セッションＩＤ毎に、通信端末１０の選択部１６が最終的に１つに選択した中継装置３０の中継装置ＩＤを記憶して管理する。

記憶・読出処理部５９は、図４に示されているＨＤＤ２０５によって実行され、記憶部５０００に各種データを記憶する処理や、記憶部５０００に記憶された各種データを読み出す処理などを行う。

遠隔通信管理システム５０の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

なお、通信端末１０同士がセッションを確立する処理の手順や、通信端末１０間で画像データおよび音声データを送受信する処理の手順等の具体的な内容は、例えば特開２０１２−１３４９４１号公報に開示された内容と同様であってもよい。

次に、通信端末１０の符号化制御部２３の具体的な内容を説明する。図７は、符号化制御部２３の機能構成の一例を示す図である。図７に示すように、符号化制御部２３は、画像取得部３０１と、画像処理部３０２と、比較判定部３０３と、タイマー制御部３０４と、定ビットレート制御部３０５とを有する。これら各部は、図３に示すＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムを実行することにより実現される。

画像取得部３０１は、時系列に複数の画像データを取得する。この例では、画像取得部３０１は、請求項の「取得手段」に対応している。本実施形態では、画像取得部３０１は、撮像部１４ａで撮像された映像データもしくは外部情報送受信部１８で受信した表示データを順次に取得する。

画像処理部３０２は、画像取得部３０１で取得された画像データのフォーマット変換処理、当該画像データのコピー処理、コピー処理により得られたコピー画像のリスケール処理などの画像処理を行う。フォーマット変換処理の一例としては、ＹＵＶ２／ＪＰＧフォーマットをＲＧＢに変換する処理などが挙げられる。リスケール処理の一例としては、例えばコピー画像の解像度を、幅８０ドット、高さ４０ドット程度に縮小する処理などが挙げられる。なお、メモリ容量が十分確保できる場合は、上記画像処理を省略してもよい。

比較判定部３０３は、画像取得部３０１により画像データが取得されるたびに、画像取得部３０１により取得された画像データと、その直前に取得された画像データとの変化量（現フレームと前フレームとの変化量）が閾値を超えるか否かを判定する。この例では、比較判定部３０３は、請求項の「判定手段」に対応している。例えばＲＧＢフォーマットであれば、１ドット単位でＲｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅごとに現フレームの画素値（濃度値）と前フレームの画素値を比較すればよい。例えば、１ドット毎に、Ｒｅｄの変化量（現フレームの画素値−前フレームの画素値）とＧｒｅｅｎの変化量とＢｌｕｅの変化量との総和を示すｄｅｌｔａＲＧＢを求め、ｄｅｌｔａＲＧＢの値が基準値（例えば１６）を超えるドットの数が所定数（例えば１０００）を超える場合は、現フレームと前フレームとの変化量が閾値を超えると判定することもできる。

タイマー制御部３０４は、時間を計測するためのタイマー（不図示）の動作を制御する。本実施形態では、比較判定部３０３により、現フレームと前フレームとの変化量が閾値を超えると判断されるたびに、タイマー制御部３０４は、タイマーをリセットする制御（計測した時間を初期値に戻す制御）を行い、再び計時を開始するようにタイマーを制御する。

定ビットレート制御部３０５は、画像取得部３０１により取得された画像データと、その直前に取得された画像データとの変化量に基づいて、単位時間（例えば１秒）に送信することが可能な、圧縮符号化後の画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う。より具体的には、定ビットレート制御部３０５は、上記変化量が閾値を超える場合、定ビットレート制御を行う。本実施形態では、定ビットレート制御は、画像取得部３０１により取得された画像データ（現フレーム）の解像度を低減する制御である。より具体的には、定ビットレート制御は、画像取得部３０１により取得された画像データの解像度を１／２に低減する制御である。この例では、定ビットレート制御部３０５は、請求項の「制御手段」に対応している。

例えばＲａｔｅＳｈａｐｅｒなどの従来技術では、最初のフレームにおいてターゲットビットレートとの差が大きい場合や、前フレームとの変化が大き過ぎる場合などにおいては、圧縮符号化後のデータ量を目標ビットレートに合わせるための制御が効かず、ビットレートを一定にできなかった。また、画面共有で表示される文字資料などの非自然画では自然画に比べて空間周波数が高い領域が多いために圧縮率を上げることができず、さらにページ切替えの際など大きな画像変化が頻繁に起こるためにビットレートを一定にすることができないという問題が起こる。

これに対して、本実施形態では、現フレームと前フレームとの変化量が閾値を超える場合は現フレームの解像度を低減する制御を行うことにより、ビットレートを一定にしつつ圧縮符号化後の画像データのデータ量を低減することができるので、ネットワークの利用帯域を十分に確保できない場合であっても、ビットレートを一定にしつつ画像データの通信遅延を防ぐことができるという有利な効果を達成できる。

なお、本実施形態では、定ビットレート制御として、画像取得部３０１により取得された画像データ（現フレーム）の解像度を低減する制御を行っているが、これに限らず、定ビットレート制御は、圧縮符号化後の画像データのビットレートを一定にするための制御であればよい。例えば定ビットレート制御として、上記の例とは反対に、現フレームの解像度を増大する制御を行うこともできる。また、例えば定ビットレート制御として、現フレームを破棄する制御を行うこともできるし、圧縮率を上げる／下げる制御を行うこともできる。この例では、定ビットレート制御部３０５は、符号化部２４に対して、圧縮率を指示するとともに、生成する符号化データがＩピクチャであるかＰピクチャであるかを指示することもできる。なお、この例では、符号化部２４は符号化制御部２３とは別に独立して設けられているが、これに限らず、例えば符号化部２４が符号化制御部２３内に設けられる形態であってもよい。

また、本実施形態では、比較判定部３０３により、現フレームと前フレームとの変化量が閾値を超えると判定された場合、定ビットレート制御部３０５は、予め定められた時間の間は、継続して定ビットレート制御を行う。この例では、上記予め定められた時間は１秒であるが、これに限られるものではない。現フレームと前フレームとの変化量が閾値を超えると判定された場合は、その後に取得されたフレームと前フレームとの変化量が閾値以下であっても、予め定められた時間の間は無条件に定ビットレート制御を行うことにより、少なくとも当該時間の間はビットレートを一定に保つことができる。

図８は、通信端末１０が、圧縮符号化後の画像データを他の通信端末１０へ送信する場合の動作例を示すフローチャートである。図８に示すように、まず通信端末１０（画像取得部３０１）は、画像データを取得する（ステップＳ１）。次に、通信端末１０は、ステップＳ１で取得した画像データに対して、定ビットレート処理を行う（ステップＳ２）。この定ビットレート処理の詳細な内容については後述する。次に、通信端末１０（符号化部２４）は、定ビットレート処理後の画像データを圧縮符号化する（ステップＳ３）。次に、通信端末１０（送受信部１１）は、ステップＳ３で圧縮符号化した画像データを、他の通信端末１０（テレビ会議相手となる通信端末１０）へ送信する（ステップＳ４）。画像取得部３０１により画像データが取得されるたびに、以上の処理が繰り返される。

図９は、上記定ビットレート処理の詳細な内容の一例を示すフローチャートである。図９に示すように、画像処理部３０２は、図８のステップＳ１で取得された画像データに対して上述の画像処理を行う（ステップＳ１１）。ここでは、画像処理部３０２は、ステップＳ１で取得された画像データのコピー画像の解像度を、幅８０ドット、高さ４０ドット程度に縮小する処理を行う場合を例に挙げて説明する。次に、比較判定部３０３は、ステップＳ１１で作成された８０×４０の現フレームと、同サイズの前フレームとを比較する処理を行い（ステップＳ１２）、現フレームと前フレームとの変化量が閾値を超えるか否かを判定する（ステップＳ１３）。この判定方法は、上述したとおりである。

現フレームと前フレームとの変化量が閾値を超える場合（ステップＳ１３：Ｙｅｓ）、タイマー制御部３０４は、不図示のタイマーをリセットする制御を行い（ステップＳ１４）、再び計時を開始するようにタイマーを制御する。そして、タイマーによって計時された時間が１秒未満の場合（ステップＳ１５：Ｙｅｓ）、定ビットレート制御部３０５は、上述の定ビットレート制御を行う（ステップＳ１６）。この例では、定ビットレート制御部３０５は、図８のステップＳ１で取得された画像データの解像度（ステップＳ１１における画像処理が行われる前の元画像）を、６４０×３６０を最小値として、幅および高さをそれぞれ１／２にする。そして、この例では、後処理として、８０×４０の現フレーム（ステップＳ１１におけるリスケール処理後のコピー画像）を、前フレームとして不図示のメモリに登録する処理を行う。

また、この例では、現フレームと前フレームとの変化量が閾値以下の場合（ステップＳ１３：Ｎｏ）であっても、タイマーによって計時された時間が１秒未満の場合（ステップＳ１５：Ｙｅｓ）、定ビットレート制御部３０５は、上述の定ビットレート制御を行う（ステップＳ１６）。一方、タイマーによって計時された時間が１秒以上の場合（ステップＳ１５：Ｎｏ）、定ビットレート制御は行われず、そのまま処理は終了する。以上が定ビットレート処理の詳細な内容である。

なお、本実施形態では、通信端末１０が、上記定ビットレート処理を行い、圧縮符号化後の画像データを含むデータの送受信を他の通信端末１０との間で行っている。したがって、通信端末１０が請求項の「通信装置」に対応していると考えることができるが、これに限らず、例えば自機である通信端末１０に接続された外部入力装置４０の表示データ（画面共有データ）を他の通信端末１０へ送信する場合、当該外部入力装置４０が、圧縮符号化後の表示データのビットレートを一定にするための定ビットレート処理を行うこともできる。この場合、外部入力装置４０は、上述の符号化制御部２３の機能を有することになり、請求項の「通信装置」に対応していると考えることができる。また、この場合、外部入力装置４０が接続された通信端末１０は請求項の「第２の通信端末」に対応し、圧縮符号化後の表示データが送信される他の通信端末１０は請求項の「第１の通信端末」に対応していると考えることができる。また、本実施形態では、遠隔通信システム１は、請求項の「通信システム」に対応し、遠隔通信システム１に含まれる一の通信端末１０は請求項の「第１の通信装置」に対応し、当該一の通信端末１０との間でデータの送受信を行う他の通信端末１０は請求項の「第２の通信装置」に対応していると考えることができる。

以上に説明したように、本実施形態では、現フレームと前フレームとの変化量が閾値を超える場合は現フレームの解像度を低減する制御を行うことにより、ビットレートを一定にしつつ圧縮符号化後の画像データのデータ量を低減することができるので、ネットワークの利用帯域を十分に確保できない場合であっても、ビットレートを一定にしつつ画像データの通信遅延を防ぐことができるという有利な効果を達成できる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

上述の実施形態では、本発明が適用される通信装置の例として、遠隔通信システム１に含まれる通信端末１０や外部入力装置４０を例に挙げて説明したが、本発明が適用される通信装置はこれに限られるものではない。例えば本発明が適用される通信装置は、会議専用端末、ゲーム機器、タブレット型端末、携帯電話、スマートフォン、汎用ＰＣ端末、自動車に搭載されるカーナビゲーション端末、プロジェクタなどの投影装置、電子黒板、ウェアラブル端末、通信機能を備えた産業用機器などであってもよい。

また、上述した実施形態の遠隔通信システム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

１ 遠隔通信システム
２ 通信ネットワーク
１０ 通信端末
２３ 符号化制御部
２４ 符号化部
３０ 中継装置
４０ 外部入力装置
５０ 遠隔通信管理システム
３０１ 画像取得部
３０２ 画像処理部
３０３ 比較判定部
３０４ タイマー制御部
３０５ 定ビットレート制御部

特開２０１２−１３４９４１号公報

Claims (11)

1. 通信装置であって、
   時系列に複数の画像データを取得する取得手段と、
   前記取得手段により取得された前記画像データと、その直前に取得された前記画像データとの変化量に基づいて、単位時間に送信することが可能な、圧縮符号化後の前記画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う制御手段と、を備える、
   通信装置。
2. 前記制御手段は、前記変化量が閾値を超える場合、前記定ビットレート制御を行う、
   請求項１に記載の通信装置。
3. 前記定ビットレート制御は、前記取得手段により取得された前記画像データの解像度を低減する制御である、
   請求項２に記載の通信装置。
4. 前記定ビットレート制御は、前記取得手段により取得された前記画像データの解像度を１／２に低減する制御である、
   請求項３に記載の通信装置。
5. 前記取得手段により前記画像データが取得されるたびに、前記変化量が前記閾値を超えるか否かを判定する判定手段をさらに備え、
   前記判定手段により前記変化量が前記閾値を超えると判定された場合、前記制御手段は、予め定められた時間の間は、継続して前記定ビットレート制御を行う、
   請求項２乃至４のうちの何れか１項に記載の通信装置。
6. 前記予め定められた時間は１秒である、
   請求項５に記載の通信装置。
7. 前記通信装置は、圧縮符号化後の前記画像データを含むデータの送受信を第１の通信端末との間で行う第２の通信端末に接続される、
   請求項１乃至６のうちの何れか１項に記載の通信装置。
8. 前記通信装置は、圧縮符号化後の前記画像データを含むデータの送受信を他の通信端末との間で行う、
   請求項１乃至６のうちの何れか１項に記載の通信装置。
9. 第１の通信装置と、前記第１の通信装置との間でデータの送受信を行う第２の通信装置とを含む通信システムであって、
   前記第１の通信装置および前記第２の通信装置の各々は、
   時系列に複数の画像データを取得する取得手段と、
   前記取得手段により取得された前記画像データと、その直前に取得された前記画像データとの変化量に基づいて、単位時間に送信することが可能な、圧縮符号化後の前記画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う制御手段と、を備える、
   通信システム。
10. 時系列に複数の画像データを取得する取得ステップと、
    前記取得ステップにより取得された前記画像データと、その直前に取得された前記画像データとの変化量に基づいて、単位時間に送信することが可能な、圧縮符号化後の前記画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う制御ステップと、を含む、
    通信方法。
11. コンピュータに、
    時系列に複数の画像データを取得する取得ステップと、
    前記取得ステップにより取得された前記画像データと、その直前に取得された前記画像データとの変化量に基づいて、単位時間に送信することが可能な、圧縮符号化後の前記画像データのデータ量を表すビットレートを一定にするための定ビットレート制御を行う制御ステップと、を実行させるためのプログラム。

Images