JP2016009904A - 画像処理システム、及び画像処理装置 - Google Patents

Abstract

【課題】画像データを伝送する画像処理システムにおいて、所定の通信帯域内で、指定された領域を高画質化することを容易にする画像処理システムを提供する。
【解決手段】画像処理システムは、画像データを送信する送信側の画像処理装置と、前記画像データを受信する受信側の画像処理装置とを有する画像処理システムであって、前記受信側の画像処理装置は、前記画像データの複数の画像領域のうち他の領域よりも高画質化する優先領域を指定する領域指定手段を有し、前記送信側の画像処理装置は、前記指定された優先領域の画像符号量と、前記他の領域の画像符号量とを前記送信する画像データの画像符号量に基づいて決定する符号量決定手段と、前記決定された画像符号量に基づいて前記複数の画像領域の画像データのそれぞれを符号化し、前記送信する画像データを生成する符号化手段と、を有する。
【選択図】図３

Description

本発明は、画像処理システム、及び画像処理装置に関する。

例えば、出張経費及び出張時間を削減する要請等に伴い、インターネットなどの通信ネットワークを介して、遠距離の拠点間等における会議を実現するテレビ会議システムが普及している。

また、撮像された画像データから顔領域及び表示領域を検出し、会議の進行状況に応じて顔領域及び表示領域のいずれかの画質が目標値となるように画像データの画質を調整し、調整した画像を送信するテレビ会議装置が知られている（例えば、特許文献１参照）。

特許文献１に開示された技術では、１フレーム単位で輝度情報、ホワイトバランス等を調整するため、輝度情報、ホワイトバランス等の調整により画像符号量が増加する場合があり、画像を伝送する場合には通信帯域に影響を与える恐れがある。また、逆に、通信帯域を制限してしまうと、画像全体が劣化してしまう恐れがある。このように、画像データを伝送する画像処理システムにおいて、所定の通信帯域内で、指定された領域を高画質化することには困難を伴っていた。

本発明の実施の形態は、上記問題点に鑑みてなされたものであって、画像データを伝送する画像処理システムにおいて、所定の通信帯域内で、指定された領域を高画質化することを容易にする画像処理システムを提供することを目的とする。

上記課題を解決するため、本発明の一実施形態に係る画像処理システムは、画像データを送信する送信側の画像処理装置と、前記画像データを受信する受信側の画像処理装置とを有する画像処理システムであって、前記受信側の画像処理装置は、前記画像データの複数の画像領域のうち他の領域よりも高画質化する優先領域を指定する領域指定手段を有し、前記送信側の画像処理装置は、前記指定された優先領域の画像符号量と、前記他の領域の画像符号量とを前記送信する画像データの画像符号量に基づいて決定する符号量決定手段と、前記決定された画像符号量に基づいて前記複数の画像領域の画像データのそれぞれを符号化し、前記送信する画像データを生成する符号化手段と、を有する。

本発明の実施の形態によれば、画像データを伝送する画像処理システムにおいて、所定の通信帯域内で、指定された領域を高画質化することを容易にする画像処理システムを提供することができる。

一実施形態に係る画像処理システムの構成例を示す図である。 一実施形態に係るカメラ及び画像処理装置のハードウェア構成図である。 一実施形態に係る画像処理システムの機能構成図である。 一実施形態に係るテレビ会議のシーンの一例を示す図である。 一実施形態に係る受信側の画像処理装置による指定操作について説明するための図である。 一実施形態に係る受信側の画像処理装置の表示画像の一例を示す図である。 一実施形態に係る受信側の画像処理装置の表示画像の別の一例を示す図である。 一実施形態に係る受信側の画像処理装置の処理の流れを示すフローチャートである。 一実施形態に係る送信側の画像処理装置の処理の流れを示すフローチャートである。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜システム構成＞
図１は一実施形態に係る画像処理システムの構成例を示す図である。画像処理システム１００は、例えば、拠点Ａに設置されたテレビ会議装置１０１ａと、拠点Ｂに設置されたテレビ会議装置１０１ｂとが、インターネット等のネットワーク１０２により接続されている。

各拠点のテレビ会議装置１０１ａ、１０１ｂは、音声を取得するマイク１０４、画像を取得するカメラ１０５、音声を出力するスピーカ１０６、画像等を表示するディスプレイ１０７、画像データを処理する画像処理装置１０３等を有する。

画像処理装置１０３は、カメラ１０５で取得した画像データ、及びマイク１０４で取得した音声データを符号化して、ネットワーク１０２を介して接続された他の画像処理装置１０３に送信する。また、画像処理装置１０３は、他の画像処理装置１０３から受信した画像データ、及び音声データを復号化し、復号化された画像をディスプレイ１０７に表示させ、復号化された音声をスピーカ１０６から出力させる。これにより、テレビ会議装置１０１ａとテレビ会議装置１０１ｂとの間で、ネットワーク１０２を介して、音声データ及び画像データを双方向に送受信し、拠点Ａと拠点Ｂとの間のテレビ会議（遠隔会議）を実現することができる。

尚、テレビ会議装置１０１ａ、１０１ｂは、例えば、ノートＰＣ（Personal Computer）、タブレット端末、スマートフォン等の汎用の情報端末であっても良いし、テレビ会議用の専用端末等であっても良い。

また、図１のシステム構成はあくまで一例であって、本発明の範囲を限定するものではない。例えば、図１では、テレビ会議装置の数が２台の場合について説明したが、テレビ会議装置の数は３台以上であっても良い。また、テレビ会議装置は、ネットワーク１０２に接続されたサーバ装置等を介して、他の複数のテレビ会議装置と画像データ、及び音声データの送受信を行うものであっても良い。

＜ハードウェア構成＞
図２は、一実施形態に係るカメラ及び画像処理装置のハードウェア構成図である。

カメラ１０５は、例えば、被写体が入射するレンズ２０１、レンズ２０１によって結像された被写体の像をアナログ信号に変換する画像センサ２０２、アナログ信号を所定のデジタル信号に変換する画像処理部２０３、画像Ｉ／Ｆ（Interface）２０４等を有する。カメラ１０５は、例えば、上記構成により、撮像した画像を所定の画像データに変換し、画像処理装置１０３に送信する。

画像処理装置１０３は、一般的なコンピュータの構成を有しており、例えば、ＣＰＵ（Central Processing Unit）２０５、メモリ２０６、制御部２０７、入力部２０８、画像Ｉ／Ｆ２０９、音声Ｉ／Ｆ２１０、映像出力部２１１、通信Ｉ／Ｆ２１２、バス２１３等を有する。尚、上記構成はあくまでも一例であって、本発明の範囲を限定するものではない。例えば、画像処理装置１０３は、カメラ１０５、マイク１０４、スピーカ１０６、及びディスプレイ１０７のうちの少なくとも１つを画像処理装置１０３の内部に有していても良い。

ＣＰＵ２０５は、例えばメモリ２０６からプログラムやデータを読み出し、処理を実行することで、画像処理装置１０３が備える各機能を実現する演算装置である。メモリ２０６は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、Ｆｌａｓｈ ＲＯＭ等の記憶装置を含む。メモリ２０６は、ＣＰＵ２０５により実行される様々な処理に必要とされる各種ソフトウエアやデータ、画像データ、音声データ等を格納する。

制御部２０７は、画像処理装置１０３全体の制御を行う。入力部２０８は、ユーザの入力操作を受け付ける。入力部２０８は、例えば、操作ボタン、タッチパネル、キーボード、マウス等を含む。画像Ｉ／Ｆ２０９は、カメラ１０５からの画像データを受信するインタフェースである。

音声Ｉ／Ｆ２１０は、マイク１０４、スピーカ１０６を接続するインタフェースである。音声Ｉ／Ｆ２１０は、例えば、マイク１０４から入力された音声信号を所定の音声データに変換する。また、ＣＰＵ２０５や、制御部２０７等の制御に応じて、音声データを音声信号に変換してスピーカ１０６へ出力する。

映像出力部２１１は、ディスプレイ１０７に、他の画像処理装置１０３から受信した画像や、メニュー画面、設定画面等の各種画像を出力するインタフェースである。通信Ｉ／Ｆ２１２は、画像処理装置１０３をネットワーク１０２に接続し、データの送受信を行うためのインタフェースである。バス２１３は、上記の各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝達する。

＜機能構成＞
図３は、一実施形態に係る画像処理システムの機能構成図である。テレビ会議装置１０１ａ、１０１ｂは、本来、双方向にデータの送受信を行うものであるが、ここでは、説明のため、画像データを送信側の画像処理装置１０３ａから、受信側の画像処理装置１０１ｂに送信する場合について説明を行う。

（送信側の画像処理装置）
送信側の画像処理装置１０３ａは、画像入力部３０１、画像分割部３０２、符号化部３０３、符号量制御部３０４、符号量算出部３０５、通信部３０６等を有する。

画像入力部３０１は、画像処理装置１０３ａに接続されたカメラ１０５等から、画像データを取り込む。画像入力部３０１は、例えば、図２の画像Ｉ／Ｆ２０５等によって実現される。

画像分割部（画像分割手段）３０２は、入力された画像データを複数の画像領域に分割する。画像分割部３０２は、入力された画像データを、例えば、受信側の画像処理装置１０３ｂから指定された縦、横の分割数（例えば、縦５、横３）等に従って、複数の画像領域に分割する。

符号化部（符号化手段）３０３は、画像データを符号化する手段であり、例えば、Ｈ．２６４／ＡＶＣや、Ｈ．２６４／ＳＶＣ等のエンコーダである。本実施の形態では、符号化部３０３は、画像分割部３０２で複数の画像領域に分割された画像データを、画像領域毎に符号化して、受信側の画像処理装置１０３ｂへ送信する画像データを生成する。

符号量制御部（符号量決定手段）３０４は、符号化部３０３が符号化を行う複数の画像領域毎の符号化パラメータ、画像符号量等を制御する。具体的には、符号量制御部３０４は、受信側の画像処理装置１０３ｂへ送信する画像データの画像符号量に基づいて、分割された複数の画像領域のうち、優先領域の画像符号量と、他の領域の画像符号量とを決定する。尚、優先領域とは、分割された複数の画像領域のうち、他の領域よりも高画質化する画像領域であり、本実施形態では、受信側の画像処理装置１０３から優先領域が指定されることを想定している。

尚、符号量制御部３０４は、優先領域の単位領域当たりの画像符号量の値が、他の領域の単位領域当たりの画像符号量の値よりも大きくなるように、各領域の画像符号量を決定する。これにより、優先領域の画質が、他の領域よりも高画質化される。ここで、単位領域とは、例えば、分割された複数の画像領域が略均等に分割されている場合は、それぞれの画像領域を示す。また、分割された画像領域の大きさが異なる場合には、例えば、所定の画素数（例えば、１６画素×１６画素等）当たりの画像符号量等であっても良い。

また、好ましくは、符号量制御部３０４は、現在送信している画像データの画像符号量の範囲内で、優先領域の画像符号量と、他の領域の画像符号量とを決定する。これにより、所定の通信帯域内で、指定された領域を高画質化することを容易にすることができるようになる。

符号量算出部（符号量算出手段）３０５は、送信側の画像処理装置１０３ａから受信側の画像処理装置１０３ｂへ送信される画像データの画像符号量を算出する。この送信される画像データの画像符号量は、例えば、送信している画像データの画像情報等から算出することができる。

尚、符号量算出部３０５は、符号化部３０３等に含まれていても良い。また、符号量算出部３０５が送信している画像データの画像符号量を算出するのはあくまで一例であって、例えば、送信データの符号量が固定値の場合、符号化部３０３が画像符号量の情報を有している場合等、算出を行わずに情報を取得するものであっても良い。

画像分割部３０２、符号化部３０３、符号量制御部３０４、符号量算出部３０５は、例えば、図２の制御部２０７や、ＣＰＵ２０５で動作するプログラム等よって実現される。

通信部３０６は、ネットワーク１０２を介して受信側の画像処理装置とデータや情報の送受信を行う手段であり、例えば、図２の通信Ｉ／Ｆ２０９や、ＣＰＵ２０５で動作するプログラム等によって実現される。

上記構成により、送信側の画像処理装置１０３ａは、カメラ１０５から取得した画像を複数の領域に分割し、分割された複数の画像領域のうちの優先領域の画像符号量と、他の領域の画像符号量とを、送信している画像データの画像符号量に基づいて決定する。これにより、通信帯域幅に影響を与えることなく、優先領域の画質を向上させることができる。

（受信側の画像処理装置）
受信側の画像処理装置１０３ｂは、通信部３０７、復号化部３０８、表示制御部３０９、入力制御部３１０、領域指定部３１１、分割数指定部３１２、割合指定部３１３、記憶部３１４等を有する。

通信部３０７は、ネットワーク１０２を介して送信側の画像処理装置とデータや情報の送受信を行う手段であり、例えば、図２の通信Ｉ／Ｆ２０９や、ＣＰＵ２０５で動作するプログラム等によって実現される。

復号化部３０８は、画像データ復号化する手段であり、例えば、Ｈ．２６４／ＡＶＣや、Ｈ．２６４／ＳＶＣ等のデコーダである。復号化部３０８は、通信部３０７が受信した画像データを復号化し、表示する画像を生成する。

表示制御部（表示制御手段）３０９は、復号化部３０８が復号化した画像データをディスプレイ１０７に表示させる。また、表示制御部３０９は、領域指定部３１１、分割数指定部３１２、割合指定部３１３等の制御に従って、各種表示画面をディスプレイ１０７に表示させる。表示制御部は、例えば、図２の映像出力部２１１、及びＣＰＵ２０５で動作するプログラム等によって実現される。

入力制御部３１０は、ユーザの操作等を受け付ける手段であり、例えば、図２の入力部２０８、及びＣＰＵ２０５で動作するプログラム等によって実現される。入力制御部３１０は、例えば、領域指定部３１１への領域指定、分割数指定部３１２への分割数の指定、割合指定部３１３への割合の指定等の入力操作に用いられる。

優先領域指定部（領域指定手段）３１１は、送信側の画像処理装置１０３ａが送信する画像データの複数の画像領域のうち、他の領域よりも高画質化する優先領域を指定する手段である。優先領域の具体的な指定方法の例については後述する。

分割数指定部（分割数指定手段）３１２は、送信側の画像処理装置１０３ａが送信する画像データの分割数を指定する手段である。分割数の具体的な指定方法の例については後述する。

割合指定部（割合指定手段）３１３は、送信側の画像処理装置１０３ａが送信する画像データの画像符号量のうち、前述した優先領域に割り当てる画像符号量の割合を指定する手段である。具体的な指定方法の例については後述する。

尚、復号化部３０８、領域指定部３１１、分割数指定部３１２、割合指定部３１３は、例えば、図２の制御部２０７や、ＣＰＵ２０５で動作するプログラム等よって実現される。

記憶部（記憶手段）３１４は、前述した優先領域、分割数、優先領域の画像符号量の割合等の情報を記憶する手段であり、例えば、図２のメモリ２０６等により実現される。記憶部３１４には、前述した優先領域、分割数、優先領域の画像符号量の割合等の既定値や、設定された値等を示す情報が記憶され、画像処理システム１００は、記憶部３１４に記憶された情報を用いて、ユーザによる指定によらずに処理を実行することができる。

尚、記憶部３１４は、例えば、ネットワーク１０２に接続され、画像処理装置１０３ａ、１０３ｂからアクセス可能なサーバ装置等によるものであっても良い。

上記構成により、受信側の画像処理装置１０３ｂは、送信側の画像処理装置１０３ａから受信した画像データを復号化し表示させる。また、受信側の画像処理装置１０３ｂは、送信側の画像処理装置１０３ａが送信する画像データの複数の画像領域のうち、他の領域よりも高画質化する優先領域、複数の画像領域の分割数、優先領域の画像符号量の割合等の情報を指定することができる。

＜処理の概要＞
ここで、画像処理システム１００の具体的な処理の概要について説明する。

図４は、一実施形態に係るテレビ会議のシーンの一例を示す図である。図４において、受信側の画像処理装置１０３ｂがディスプレイ１０７に表示させる受信画像４０１には、例えば、人物４０２、ホワイトボードや、プロジェクタ等の表示装置４０３、会議テーブル４０５等が含まれる。この場合、受信側の画像処理装置１０３ｂのユーザは、人物４０２の表情を確認したい場合もあるし、また表示装置４０３に表示された文字情報４０４を読取りたい場合もある。一方、受信画像４０１には、会議テーブル４０５や、図示しない会議室の壁等、会議の進行上、必ずしも重要ではない領域も含まれている。

図５は、一実施形態に係る受信側の画像処理装置による指定操作について説明するための図である。図５の例では、受信画像４０１は、縦方向の分割線５０１により縦方向に５分割され、横方向の分割線５０２により横方向に３分割されている。

分割数指定部３１２は、例えば、この縦方向の分割数、及び横方向の分割数を指定（変更）する機能を提供する。例えば、受信側の画像処理装置１０３ｂのユーザは、図２の入力部（例えば、操作ボタン、タッチパネル等）の操作等により、縦方向の分割数、及び横方向の分割数を入力し、縦、横の分割数を変更することができる。

領域指定部３１１は、例えば、縦方向の分割線５０１、及び横方向の分割線５０２により分割された、画像データの複数の画像領域のうち、他の領域よりも高画質化したい領域を指定する機能を提供する。例えば、受信側の画像処理装置１０３ｂのユーザは、図２の入力部（例えば、操作ボタン、タッチパネル等）の操作等により、優先領域を指定することができる。図５の例では、人物４０２を含む領域５０３が選択されているものとする。

優先領域の指定方法は、例えば、ディスプレイ１０７がタッチパネルを有している場合には、表示画面をタッチすることにより優先領域を指定しても良い。或いは、図５のように、列を指定するＡ、Ｂ、Ｃ、Ｄ、Ｅ等の文字と、行を指定する１、２、３等の文字を受信画像４０１に表示させ、列と行との組合せにより、操作ボタン等から「Ｄ２」等と入力することにより優先領域を指定するものであっても良い。或いは、各領域に番号を表示し、操作ボタン等より、優先領域として指定したい領域の番号を入力させるもの等であっても良い。

割合指定部３１３は、送信側の画像処理装置１０３ａが送信する画像データの画像符号量のうち、領域指定部３１１によって指定された優先領域に割り当てる画像符号量の割合を指定する機能を提供する。図５の例では、優先領域として指定された領域５０３に、全体の画像符号量の９０％を割り当てることを示している。受信側の画像処置装置１０３ｂのユーザは、この割合を図２の入力部（例えば、操作ボタン、タッチパネル等）の操作等により指定（変更）することができる。

図６は、一実施形態に係る受信側の画像処理装置の表示画像の一例を示す図である。図６の受信画像４０１は、図５に示すように、受信画像を縦に５分割、横に３分割し、領域５０３を優先領域として指定した場合にディスプレイ１０７に表示される画像の例である。

図６において、人物４０２が含まれる領域５０３は、優先領域として指定されているため、他の領域よりも高い画像符号量が割り当てられている。一方、他の領域、例えば、領域６０１は、優先領域として指定されていないため、優先領域よりも低い画像符号量が割り当てられている。これにより、図６では、人物４０２を含む領域５０３は高画質になり、その他の１４個の領域は低画質となっている。例えば、領域６０１に表示される表示装置４０３や、表示装置に表示される文字情報４０４等の画質は、図５と比べて低下している。

ここで、画像符号量とは、例えば、符号化された画像のビットレートであり、単位時間当たりのデータ量等で表される。例えば、送信側の画像処理装置１０３ａが送信する画像データのデータ量が、１秒間に１００ｋｂｉｔである場合、ビットレートは、１００ｋｂｐｓとなる。尚、ビットレートは、画像符号量の一例である。

例えば、送信側の画像処理装置１０３ａが送信する画像データが、１００ｋｂｐｓで符号化されている場合、通常であれば、１つの領域当たり６．７ｋｂｐｓ程度で符号化される。しかし、本実施の形態では、例えば、図５で示したように、優先領域（領域５０３）に全体の画像符号量の９０％が指定された場合、領域５０３には、９０ｋｂｐｓの画像符号量が割り当てられる。また、他の１４個の領域のそれぞれには、０．７１ｋｂｐｓの画像符号量が割り当てられる。これにより、画像全体の画像符号量を変えることなく、優先領域を高画質化することができる。

図７は、一実施形態に係る受信側の画像処理装置の表示画像の別の一例を示す図である。図６の例では、優先領域を１つ指定する場合の例について説明したが、指定する優先領域の数は複数であっても良い。図７の例では、縦５、横３に分割された複数の領域のうち、表示装置４０３の文字情報４０４を含む４つの領域７０１、７０２、７０３、７０４を優先領域として指定した場合の、表示画像の例である。図７の例では、優先領域である領域７０１、７０２、７０３、７０４の画像符号量の値は、他の１１個の領域の画像符号量の値よりも大きい値が割り当てられている。

例えば、送信側の画像処理装置１０３ａが送信する画像データが１００ｋｂｐｓで符号化されている場合、通常であれば、１つの領域当たり６．７ｋｂｐｓ程度で符号化される。しかし、優先領域である領域７０１、７０２、７０３、７０４に全体の画像符号量の９０％を割り当てると、領域７０１、７０２、７０３、７０４には、それぞれ２２．５ｋｂｐｓが割り当てられる。また、他の１１個の領域には、それぞれ０．９１ｋｂｐｓが割り当てられる。これにより、画像全体の画像符号量を変えることなく、領域７０１、７０２、７０３、７０４を高画質化することができる。

尚、優先領域として割り当てる複数の領域は、必ずしも隣接している必要はない。例えば、２人の人物４０２が離れた２つの領域に含まれる場合、離れた２つの領域を優先領域として指定しても良い。

＜処理の流れ＞
図９は、一実施形態に係る受信側の画像処理装置の処理の流れを示すフローチャートである。受信側の画像処理装置１０３ｂは、主に、画像領域の分割数、優先領域、符号量の割合等を決定し、送信側の画像処理装置１０３ａ等に送信する。

受信側の画像処理装置１０３ｂは、例えば、図４に示すように、送信側の画像処理装置１０３ａから受信した受信画像４０１をディスプレイ１０７等に表示している状態で、優先領域の指定を行うか否かを判断する（ステップＳ８０１）。例えば、受信側の画像処理装置１０３ｂは、優先領域の指定を行うか否かを選択する選択画面等を表示させ、ユーザの選択操作に基づいて、優先領域の指定を行うか否かを判断する。

ステップＳ８０１において、優先領域の指定を行わないと判断された場合、通常通り、送信側の画像処理装置１０３ａから受信した受信画像４０１をディスプレイ１０７等に表示させる。

一方、ステップＳ８０１において、優先領域の指定を行うと判断された場合、領域指定部３１１は、例えば、図５に示すように、受信画像４０１に分割線５０１、５０２を表示させる（ステップＳ５０２）。尚、この時の縦、横の分割数は、例えば、記憶部３１４等に記憶された既定値、又は設定値等を用いると良い。

ステップＳ８０３において、分割数指定部３１２は、受信画像４０１の縦、横の分割数を指定する。例えば、分割数指定部３１２は、受信画像４０１に分割数の入力画面等を表示させ、ユーザの入力を促す。ユーザは、例えば、表示された分割線を参考にして、高画質化したい領域を含むように分割数を入力する。分割数指定部３１２は、入力された分割数に基づいて、縦、横の分割数を指定する。尚、ユーザの入力が無い場合、分割数指定部３１２は、分割数の変更がないものと判断し、縦、横の分割数として、現在の分割数を指定するものであっても良い。

ステップＳ８０４において、領域指定部３１１は、分割された複数の画像領域の中から、高画質化したい優先領域を指定する。例えば、領域指定部３１１は、優先領域の選択を促すメッセージ等により、ユーザの入力を促す。また、領域指定部３１１は、ユーザによる優先領域の選択操作に基づいて、優先領域を指定する。尚、ここで指定する優先領域の数は、一つであっても良いし、複数であっても良い。優先領域の数が少ない方が、より画質が高画質化される。

ステップＳ８０５において、受信側の画像処理装置１０３ｂは、優先領域の画像符号量の割合を変更するか否かを判断する。例えば、受信側の画像処理装置１０３ｂは、優先領域の画像符号量の割合の設定を行うか否かの選択画面等を表示させ、ユーザの入力を促す。受信側の画像処理装置１０３ｂは、ユーザの操作に基づいて、優先領域の画像符号量の割合を設定するか否かを判断する。この場合も、ユーザの操作が無い場合は、優先領域の画像符号量の割合を設定しないものと判断しても良い。

ステップＳ８０５において、優先領域の画像符号量の割合を変更すると判断された場合、割合指定部３１３は、優先領域の画像符号量の割合を指定する（ステップＳ８０６）。例えば、割合指定部３１３は、優先領域の画像符号量の割合の入力を促すメッセージ等を表示させ、ユーザの入力操作等に基づいて、優先領域の画像符号量の割合を指定する。

一方、ステップＳ８０５において、優先領域の画像符号量の割合を変更しないと判断された場合、割合指定部３１３は、記憶部３１４に予め記憶された優先領域の画像符号量の割合の値を読み出し、優先領域の画像符号量の割合を指定する。

ステップＳ８０８において、受信側の画像処理装置１０３ｂは、指定された分割数、優先領域、符号量の割合等の情報を送信側の画像処理装置１０３ａに送信する。

図９は、一実施形態に係る送信側の画像処理装置の処理の流れを示すフローチャートである。

ステップＳ９０１において、送信側の画像処理装置１０３ａは、受信側の画像処理装置１０３ｂから送信された、分割数、優先領域、符号量の割合等の情報を受信する。

ステップＳ９０２において、送信側の画像処理装置１０３ａの画像分割部３０２は、例えば、カメラ１０５等から入力された画像データを、ステップＳ９０１で受信した分割数に基づいて、複数の画像領域に分割する。

ステップＳ９０３において、符号量算出部３０５は、現在送信している画像符号量を算出する。画像符号量は、エンコード後のデータ量や、送信パケットサイズ等から算出される。

ステップＳ９０４において、符号量制御部３０４は、ステップＳ９０１で受信した優先領域の画像符号量の割合、分割数、及びステップＳ９０３で算出された画像符号量に基づいて、各領域の画像符号量を算出する。このとき、符号量制御部３０４は、各領域の画像符号量の合計が、現在送信している画像符号量を超えないように、かつ優先領域一つ当たりの画像符号量の値が、他の領域一つ当たりの画像符号量の値よりも大きくなるように各領域の画像符号量を算出する。

ステップＳ９０５において、符号化部３０３は、分割された領域毎にステップＳ９０４で算出された画像符号量で符号化（エンコード）を行う。

ステップＳ９０６において、送信側の画像処理装置１０３ａは、符号化された画像データを受信側の画像処理装置１０３ｂに送信する。

以上、上記処理により、画像データの複数の画像領域のうち、受信側の画像処理装置１０３ｂによって指定された優先領域の画像は、送信画像の符号量を増加させることなく高画質化される。

［その他の実施形態］
図１のシステム構成、及び図３の機能構成はあくまで一例であり、画像処理システム１００は、用途や目的等に応じて様々なシステム構成、機能構成が可能である。

例えば、図３において、送信側の画像処理装置１０３ａは、ネットワーク１０２に接続されたサーバ装置等を介して、受信側の画像処理装置１０３ｂに画像データを送信するものであっても良い。サーバ装置を有することにより、送信側の画像処理装置１０３ａから送信された画像データを複数の受信側の画像処理装置１０３ｂに配信することが容易になる。この場合、受信側の画像処理装置１０３ｂによって、指定する優先領域が異なると考えられるので、サーバ装置が符号化部３０３、符号量制御部３０４、符号量算出部３０５等を有していることが望ましい。つまり、送信側の画像処理装置は、サーバ装置であっても良い。また、サーバ装置は、図３の領域指定部３１１、分割数指定部３１２、割合指定部３１３、記憶部３１４等を有していても良い。

＜まとめ＞
以上、本発明に係る画像処理システム（１００）は、画像データを送信する送信側の画像処理装置（１０３ａ）と、前記画像データを受信する受信側の画像処理装置（１０３ｂ）を有する。また、前記受信側の画像処理装置（１０３ｂ）は、前記画像データの複数の画像領域のうち、他の領域よりも高画質化する優先領域を指定する領域指定手段（３１１）を有する。一方、前記送信側の画像処理装置（１０３ａ）は、前記指定された優先領域の画像符号量と、前記他の領域の画像符号量とを前記送信する画像データの画像符号量に基づいて決定する符号量決定手段（３０４）を有する。さらに、前記送信側の画像処理装置（１０３ａ）は、前記決定された画像符号量に基づいて前記複数の画像領域の画像データのそれぞれを符号化し、前記送信する画像データを生成する符号化手段（３０３）を有する。

上記構成により、所定の通信帯域内で、指定された領域を高画質化することを容易にする画像処理システム（１００）を提供することができる。

尚、上記括弧内の参照符号、及び名称は、理解を容易にするために付したものであり、あくまで一例であって、本発明の範囲を限定するためのものではない。

１００ 画像処理システム
１０１ａ、１０１ｂ テレビ会議装置
１０３ 画像処理装置
１０３ａ 送信側の画像処理装置
１０３ｂ 受信側の画像処理装置
３０３ 符号化部（符号化手段）
３０４ 符号量制御部（符号量決定手段）
３０５ 符号量算出部（符号量算出手段）
３１１ 領域指定部（領域指定手段）
３１２ 分割数指定部（分割数指定手段）
３１３ 割合指定部（割合指定手段）
３１４ 記憶部（記憶手段）

特開２０１２−１３８８２３号公報

Claims (10)

1. 画像データを送信する送信側の画像処理装置と、前記画像データを受信する受信側の画像処理装置とを有する画像処理システムであって、
   前記受信側の画像処理装置は、
   前記画像データの複数の画像領域のうち他の領域よりも高画質化する優先領域を指定する領域指定手段を有し、
   前記送信側の画像処理装置は、
   前記指定された優先領域の画像符号量と、前記他の領域の画像符号量とを前記送信する画像データの画像符号量に基づいて決定する符号量決定手段と、
   前記決定された画像符号量に基づいて前記複数の画像領域の画像データのそれぞれを符号化し、前記送信する画像データを生成する符号化手段と、
   を有する画像処理システム。
2. 前記優先領域の単位領域当たりの画像符号量の値は、前記他の領域の単位領域当たりの画像符号量の値よりも大きい請求項１に記載の画像処理システム。
3. 前記符号量決定手段は、
   前記優先領域の画像符号量と前記他の領域の画像符号量とを前記送信する画像データの画像符号量の範囲内で決定する請求項１又は２に記載の画像処理システム。
4. 前記受信側の画像処理装置は、
   前記送信する画像データの画像符号量のうち、前記優先領域に割り当てる画像符号量の割合を指定する割合指定手段を有し、
   前記符号量決定手段は、
   前記指定された画像符号量の割合に基づいて、前記優先領域に割り当てる画像符号量を決定する請求項１乃至３のいずれか一項に記載の画像処理システム。
5. 前記受信側の画像処理装置は、
   前記複数の画像領域の分割数を指定する分割数指定手段を有し、
   前記送信側の画像処理装置は、
   入力された画像データを前記指定された分割数の画像領域に分割する画像分割手段を有する請求項１乃至４のいずれか一項に記載の画像処理システム。
6. 前記指定された優先領域、前記分割数、又は前記画像符号量の割合を示す情報を記憶する記憶手段を有し、
   前記送信側の画像処理装置は、
   前記記憶された情報に基づいて、前記送信する画像データの画像処理を行う請求項５に記載の画像処理システム。
7. 前記送信側の画像処理装置は、
   前記送信する画像データの画像符号量を算出する符号量算出手段を有する請求項１乃至６のいずれか一項に記載の画像処理システム。
8. 前記受信側の画像処理装置は、
   前記受信した画像データを表示させる表示制御手段を有する請求項１乃至７のいずれか一項に記載の画像処理システム。
9. 画像データを送信する送信側の画像処理装置と、前記画像データを受信する画像処理装置とを含む画像処理システムであって、
   前記画像データの複数の画像領域のうち他の領域よりも高画質化する優先領域を指定する領域指定手段と、
   前記指定された優先領域の画像符号量と、前記他の領域の画像符号量とを前記送信する画像データの画像符号量に基づいて決定する符号量決定手段と、
   前記決定された画像符号量に基づいて前記複数の画像領域の画像データのそれぞれを符号化し、前記送信する画像データを生成する符号化手段と、
   を有する画像処理システム。
10. 他の画像処理装置に画像データを送信する画像処理装置であって、
    前記送信する画像データの複数の画像領域のうち他の領域よりも高画質化する優先領域の画像符号量と、前記他の領域の画像符号量とを前記送信する画像データの画像符号量に基づいて決定する符号量決定手段と、
    前記決定された画像符号量に基づいて前記複数の画像領域の画像データのそれぞれを符号化し、前記送信する画像データを生成する符号化手段と、
    を有する画像処理装置。