JP2007005978A - 画像送信装置 - Google Patents

Abstract

【課題】 撮像した画像情報を送信する画像送信装置において、送信側の状況に応じた最適な輝度補正を実行することが可能な画像送信装置を提供する。
【解決手段】 入力画像を受けて、輝度累積加算装置１６により、入力画像の所定領域の輝度値を累積加算する。そして、輝度累積加算値を評価装置１７において評価する。評価装置１７は、評価装置１７の評価に基づいて輝度シフト装置１８において輝度補正を指示する。
【選択図】 図２

Description

本発明は、画像送信装置に関し、より具体的には送信画像の輝度補正を行なう画像送信装置に関する。

デジタル公衆通信回線網（いわゆるＩＳＤＮ）の普及により、画像、音声およびデータの同時的な通信が可能となり、テレビ電話およびテレビ会議システムが現実的なものとなってきた。デジタル回線を用いた音声映像サービス用のサービス規定、プロトコル規定およびマルチメディア多重化フレーム構成規定が国際電信電話諮問委員会の勧告として発表されている。

画像、音声およびデータを同時伝送する場合の各情報の伝送速度については、音声は音声符号の符号化方式により決定され、データは指定値に設定され、画像は通信回線の伝送速度の中の残りの伝送能力が割当てられている。

画像情報の圧縮方式としては、圧縮率を高めるとともに、伝送エラーの伝搬を少なく抑えられる符号化方式が提案されている。

また、符号化された画像情報を復号化して画像表示装置に表示する際、画像表示装置は、固有の発光特性を具備しているため、表示しようとする画像を正しく発色させるために当該固有の発光特性に合致させるいわゆるガンマ補正処理等を施す必要がある。

特開平５−３１６３５０号公報および特開平６−１６５１６７号公報においては、受信側の機器に合わせて画像情報のガンマ補正を実行することにより画質の向上を図る方式が提案されている。
特開平５−３１６３５０号公報 特開平６−１６５１６７号公報

一方、画像情報の補正は、ガンマ補正のみならず輝度補正も行なう必要がある。
特に送信側の機器で撮像した画像情報が逆光を受けたような画像である場合、全体の露出が明るい部分に引っ張られて他の露出が適正でなくなる場合も存在するため受信側で画像情報の補正を行なった場合においても画像情報が見にくいという問題があった。

すなわち、送信側の状況に応じて、送信する画像情報についても最適な補正を行なうことが望ましい。

本発明は上記のような問題を解決するためになされたものであって、撮像した画像情報を送信する画像送信装置において、送信側の状況に応じた最適な輝度補正を実行することが可能な画像送信装置を提供することを目的とする。

本発明に係る画像送信装置は、画像を入力して入力画像信号として出力する画像入力手段と、入力された入力画像信号の輝度を所定領域毎に補正する輝度補正手段と、画像入力手段により入力され、輝度補正手段により補正された出力画像信号を送信する送信手段と、輝度補正手段の出力画像信号を表示する表示手段とを備える。

好ましくは、輝度補正手段は、入力画像信号の輝度を累積的に加算する輝度累積加算手段と、輝度累積加算手段による累積結果に基づいて入力画像信号の輝度値を調整する調整手段とを含む。

好ましくは、表示手段に表示される１フレームの入力画像信号はライン毎に複数のライングループに分割され、輝度補正手段は、入力画像信号のうちライングループ毎に輝度を補正する。

好ましくは、表示手段に表示される１フレームの入力画像信号は複数のブロックに分割され、輝度補正手段は、入力画像信号のうちブロック毎に輝度を補正する。

好ましくは、符号化された画像を受信する受信手段と、受信手段により受信した受信画像を復号する復号手段と、画像入力手段からの入力と復号手段からの受信画像との入力を切り換えて輝度補正手段に入力画像として出力する第１の切換手段と、輝度補正手段により補正された出力画像を送信手段および表示手段の一方に切り換える第２の切換手段とをさらに備える。

本発明に係る画像送信装置は、入力された入力画像信号の輝度を所定領域毎に補正する輝度補正手段とを備える。これにより、受信側のみならず送信側の画像送信装置において、入力した画像について輝度補正することが可能となり、適正な画像表示が可能となる。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰返さない。

図１は、本発明の実施の形態に従う画像伝送システムの概略図である。
図１を参照して、本発明の実施の形態に従う画像伝送システムは、画像送信装置１と、公衆網１００と、相手側（受信側）の画像通信装置１１０とを備える。本例においては主に送信側の画像通信装置について説明する。ここで送信側および受信側の画像通信装置としてはたとえば携帯電話機を一例として挙げられる。本例においては、携帯電話機間における画像通信たとえばＴＶ電話通信について説明する。

送信側の画像通信装置１は、カメラ等で構成される画像入力装置５と、画像入力装置５に入力された入力画像信号を補正するための補正装置１５と、補正装置１５から出力された出力画像信号を符号化して通信部２５に出力する符号化装置２０と、符号化装置２０により符号化された画像情報を受けて公衆網１００を介して相手側の画像通信装置１１０と通信を行なう通信部２５と、相手側の画像通信装置１１０から公衆網１００を介して伝送される符号化された画像情報を復号する復号化装置３０と、画像情報を表示する表示装置１０とを含む。なお、表示装置１０としては、たとえば液晶表示装置（ＬＣＤ）を用いることが可能である。

図２は、本発明の実施の形態に従う補正装置１５を説明する概略ブロック図である。
なお、補正装置１５においては、入力画像信号に対してガンマ補正、コントラスト補正等種々の補正処理の実行が可能であるが、本例においては、主に輝度補正について説明する。

図２を参照して、本発明の実施の形態に従う補正装置１５は、入力画像信号の入力を受けて一時的に記憶するメモリＭＡ１と、メモリＭＡ１から出力された入力画像信号において輝度値を累積加算する輝度累積加算装置１６と、輝度累積加算装置１６の出力結果である輝度累積加算値を評価する評価装置１７と、評価装置１７の出力結果に応じて入力画像信号の輝度信号をシフトするための輝度シフト装置１８と、輝度シフト装置１８からの出力画像信号を一時的に格納するメモリＭＡ２とを含む。

ここで、補正装置１５に入力された入力画像信号は、まずメモリＭＡ１に格納される。そして、輝度累積加算装置１６は、メモリＭＡ１から出力された輝度補正の対象となる入力画像信号の所定領域における輝度値を累積的に加算する。所定領域については、後に詳述する。

評価装置１７は、輝度累積加算装置１６において累積的に加算した累積加算値の入力を受けて、予め定められている範囲に含まれるかどうかを判定する。たとえば累積加算値が予め定められている範囲を越えるような場合には、明るすぎると判定することができるため所定領域の入力画像信号の輝度信号を下げる方向にシフトさせるすなわち補正することができる。

一方、たとえば累積加算値が予め定められている範囲に満たない場合には、暗すぎると判定することができるため所定領域の入力画像信号の輝度信号を上げる方向にシフトさせるすなわち補正することができる。

したがって、たとえば評価装置１７は、制御データを輝度シフト装置１８に出力して輝度信号をシフトすなわち補正することができる。たとえば、制御データとしてたとえば「０１」を輝度シフト装置１８に出力すれば所定領域の入力画像信号の輝度信号を下げる方向にシフトさせるように設定する。また、「１０」を輝度シフト装置１８に出力すれば所定領域の入力画像信号の輝度信号を上げる方向にシフトさせるように設定する。また、「００」を輝度シフト装置１８に出力すれば所定領域の入力画像信号の輝度信号については通常の方式に従ってシフトはさせないように設定する。なお、ここで制御データの組合せについてここで説明したがこれに限られず他の組合せで制御するように設定することも当然に可能である。

図３は、輝度シフト装置１８における輝度信号のシフトを説明する図である。
図３に示されるように入力画像信号の輝度信号を下げる方向にシフトさせる場合には、一例として乗算係数（＜１）を下げて入力輝度信号に対する出力輝度信号の値を下げている。一方、入力画像信号の輝度信号を上げる方向にシフトさせる場合には、一例として乗算係数（＞１）を上げて入力輝度信号に対する出力輝度信号の値を上げている。また、シフトさせない場合には、乗算係数（＝１）に設定している。

これにより、所定領域の入力画像信号の輝度値を補正した適正な画像を得ることが可能となる。なお、ここでは、乗算係数を上げるもしくは下げるの２通りに変化させて輝度信号をシフトさせる方式について説明したがこれに限られず、累積加算値について複数のしきい値を設けてグループ分けし、グループ分けに対応した複数の乗算係数を設けて、対応するグループに属する乗算係数を用いて輝度信号をシフトさせることにより、さらに微調整が可能となり滑らかな入力画像信号に補正することも可能である。

そして、再び図２を参照して、輝度シフト装置１８により必要に応じてシフトされた入力画像信号がメモリＭＡ２に格納される。そして、メモリＭＡ２から出力画像信号として符号化装置２０および表示装置１０に出力される。

図４は、本発明の実施の形態に従う表示装置１０を説明する概念図である。
図４に示されるように、本発明の実施の形態に従う表示装置１０は、たとえば画面合成技術としていわゆるピクチャインピクチャやウインドウ表示システムにおける対応ウインドウへのはめ込み等によって１つの画面に２つの画像が表示されている。

ここでは、ＴＶ電話通信として、相手側の画像通信装置から送信された相手画像が表示される画面１０ａと、画像入力装置５により入力された自画像が表示される画面１０ｂとが示されている。

相手画像が示される画面１０ａにおいては、通信部２５を介して相手側の符号化された画像情報を受けて、復号化装置３０により符号化された相手側の画像情報を復号化した画像情報（受信画像）が表示されているものとする。

一方、画面１０ｂにおいては、画像入力装置５に入力された入力画像信号が補正装置１５を介して輝度補正されて、補正された出力画像信号が画面１０ｂに表示されているものとする。

図５は、本発明の実施の形態に従う補正前の入力画像信号と輝度補正を行なった補正後の出力画像信号を説明する図である。

図５（ａ）は補正前の入力画像信号を説明する図である。
ここで示されるように、画面の上側領域においては暗すぎるような場合が示されている。輝度補正前においては画像の一部の輝度が大きく異なっている場合には全体の露出がそれに引っ張られて他の部分の露出が適正でなくなる問題があった。特に逆光状態での画像の輝度補正においてこのような問題が生じていた。

図５（ｂ）は補正後の出力画像信号を説明する図である。
図５（ｂ）に示されるように、画面の上側領域において暗すぎるような場合、輝度シフト装置１５により輝度補正が行なわれる。ここでは、具体的には暗すぎる部分が明るくされて、適正な画像表示がなされている。

図６は、本発明の実施の形態に従う輝度補正の単位を説明する図である。
上述したが、本発明の実施の形態においては、１フレームである全画面を輝度補正の単位として実行するものではなく１フレームを所定領域に分割して分割された所定領域毎に輝度補正を実行するものである。

図６（ａ）は、たとえば輝度補正を行なう所定領域の単位としてラインごとに実行する場合が示されている。このように１フレームをライン毎に分割してすなわち複数のライングループに分割してライン毎に輝度累積加算を実行して輝度信号のシフトを実行するように処理することが可能である。このような場合には、一時的にデータを保持するメモリＭＡ１，ＭＡ２についてはラインメモリとすることができるためメモリの容量を低減するとともにメモリの実装面積も削減されるためコストも低減されることになる。

一方、図６（ｂ）に示されるように、１フレームを複数のブロックに分割してブロックごとに輝度累積加算を実行して輝度信号のシフトを実行するように処理することも可能である。このような場合には、一時的にデータを保持するメモリＭＡ１，ＭＡ２としてはフレームメモリを用意して、フレームメモリに格納された入力画像信号の所定のブロック毎に輝度補正を実行するようにしてもよい。所定のブロックに対応する画像情報について輝度累積加算を行ない輝度信号のシフトを実行して、フレームメモリであるメモリＭＡ２の対応する部分に補正した画像情報を格納する。そして、全てのブロックについて輝度補正を実行してその結果をメモリＭＡ２に格納後に出力画像信号として表示装置１０に表示させるようにすることも可能である。

図７は、本発明の実施の形態の変形例に従う画像伝送システムを説明する図である。
図７を参照して、本発明の実施の形態の変形例に従う画像伝送システムは、画像通信装置１を画像通信装置１♯に置換した点が異なる。その他の点は同様であるのでその詳細な説明は繰返さない。

本発明の実施の形態の変形例に従う画像通信装置１♯は、画像通信装置１と比較して、補正装置１５を補正装置１５＃に置換するとともに、画像入力装置５と補正装置１５＃との間に切換部３５と、補正装置１５＃と符号化装置２０との間に切換部４０とをさらに設けた点が異なる。その他の点は同様であるのでその詳細な説明は繰返さない。

本発明の実施の形態の変形例に従う画像通信装置１＃は、相手側画像通信装置１１０からの信号を復号化した復号画像に対して補正装置を用いて補正する方式について説明する。

図８は、本発明の実施の形態の変形例に従う切換部３５，４０および補正装置１５＃のブロック外略図である。

図８を参照して、切換部３５は、画像入力装置５（符号化側）からの入力画像信号を受けて格納するメモリＭＡ１と、復号装置３０（復号化側）からの入力画像信号を受けて格納するメモリＭＡ２と、メモリＭＡ１およびＭＡ２からの出力信号を切り換える切換回路ＳＷ１とを含む。

補正装置１５＃は、補正装置１５と比較して、メモリＭＡ１およびＭＡ２を除いた点が異なる。その他の点については図２で説明した補正装置と同様であるのでその詳細な説明は繰り返さない。

切換部４０は、符号化装置２０に出力するための輝度補正された自画像である入力画像信号を格納するメモリＭＡ２と、輝度補正された相手画像である入力画像信号を格納するメモリＭＡ２＃と、輝度補正された画像信号をメモリＭＡ２およびＭＡ２＃の一方に対して切り換えて出力する切換回路ＳＷ２とを含む。

これにより、切換部３５は、画像入力装置５から入力される入力画像信号と復号化装置３０から入力された復号された入力画像信号とを受けて、切換回路ＳＷ１により補正装置１５＃に入力する入力画像信号を切り換える。そして、切換部４０は、切換回路ＳＷ２によりメモリＭＡ２およびＭＡ２＃の一方に対して輝度補正された画像信号を出力して表示装置１０に表示する。

これにより補正装置１５＃は、画像入力装置５から入力された入力画像信号と復号化装置３０から入力された受信画像の入力画像信号との両方の画像に対して共通の補正装置となる。これにより画像通信装置１♯の部品点数を削減することが可能となり、回路面積を低減してコストを低減することが可能となる。なお、切換部３５，４０の切換制御は、補正の対象となる入力画像信号に基づいて図示しない制御回路等の制御により実行されるものとする。

また、送信するために符号化装置に出力するための自画像である入力画像信号と、受信した復号化装置から入力された相手画像である入力画像信号とを並行して補正する際には、時分割で処理することも可能である。

図９は、時分割で自画像である入力画像信号と相手画像である入力画像信号とに対して補正を実行する場合を説明する図である。

図９を参照して、本例において示されるように符号化側動作すなわち画像入力装置５からの入力画像信号としてフレーム１〜フレーム４が連続的に入力される場合が示されている。また、復号化側動作すなわち復号化装置３０からの入力画像信号としてフレーム１〜フレーム４が連続的に入力される場合が示されている。そして、これらは、一時的にデータを記憶するメモリＭＡ１およびＭＡ１＃に格納され、更新される。

そして、次のフレームの入力に際して、切換部３５は時分割的にメモリＭＡ１およびＭＡ１＃にてそれぞれ格納された前のフレームに対応する入力画像信号について切換回路ＳＷ１を介して補正装置１５＃に出力する。

補正装置１５＃は、時分割的にたとえばメモリＭＡ１およびＭＡ１＃に格納されたフレーム１のそれぞれについて上記に従う輝度補正を実行する。

そして、輝度補正された画像信号が切換回路ＳＷ２を介してメモリＭＡ２およびＭＡ２＃にそれぞれ格納されて符号化装置２０あるいは表示装置１０に対して出力される。

これにより、送信するために符号化装置に出力するための自画像である入力画像信号と、受信した復号化装置から入力された相手画像である入力画像信号とを並行に輝度補正することができる。なお、切換回路ＳＷ１およびＳＷ２の切換タイミング等、時分割動作を実行するための制御は、図示しない制御回路を介して実行するものとする。

また、ここでは、メモリとしてフレームメモリを用いてフレーム単位での補正について説明しているが、上述したようにメモリとしてラインメモリを用いてライン単位での補正とすることも可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に従う画像伝送システムの概略図である。 本発明の実施の形態に従う補正装置１５を説明する概略ブロック図である。 輝度シフト装置１８における輝度信号のシフトを説明する図である。 本発明の実施の形態に従う表示装置１０を説明する概念図である。 本発明の実施の形態に従う補正前の入力画像信号と輝度補正を行なった補正後の出力画像信号を説明する図である。 本発明の実施の形態に従う輝度補正の単位を説明する図である。 本発明の実施の形態の変形例に従う画像伝送システムを説明する図である。 本発明の実施の形態の変形例に従う切換部３５，４０および補正装置１５＃のブロック外略図である。 時分割で自画像である入力画像信号と相手画像である入力画像信号とに対して補正を実行する場合を説明する図である。

符号の説明

１，１＃，１１０ 画像通信装置、５ 画像入力装置、１０ 表示装置、１５，１５＃ 補正装置、１６ 輝度累積加算装置、１７ 評価装置、１８ 輝度シフト装置、２０ 符号化装置、２５ 通信部、３０ 復号化装置、１００ 電話網。

Claims (5)

1. 画像を入力して入力画像として出力する画像入力手段と、
   入力された入力画像の輝度を所定領域毎に補正する輝度補正手段と、
   前記画像入力手段により入力され、前記輝度補正手段により補正された出力画像を送信する送信手段と、
   前記輝度補正手段の出力画像を表示する表示手段とを備える、画像送信装置。
2. 前記輝度補正手段は、
   前記入力画像の輝度を累積的に加算する輝度累積加算手段と、
   前記輝度累積加算手段による累積結果に基づいて前記入力画像の輝度値を調整する調整手段とを含む、請求項１記載の画像送信装置。
3. 前記表示手段に表示される１フレームの入力画像はライン毎に複数のライングループに分割され、
   前記輝度補正手段は、前記入力画像のうちライングループ毎に輝度を補正する、請求項１記載の画像送信装置。
4. 前記表示手段に表示される１フレームの入力画像は複数のブロックに分割され、
   前記輝度補正手段は、前記入力画像のうちブロック毎に輝度を補正する、請求項１記載の画像送信装置。
5. 符号化された画像を受信する受信手段と、
   前記受信手段により受信した受信画像を復号する復号手段と、
   前記画像入力手段からの入力と前記復号手段からの受信画像との入力を切り換えて前記輝度補正手段に入力画像として出力する第１の切換手段と、
   前記輝度補正手段により補正された出力画像を送信手段および表示手段の一方に切り換える第２の切換手段とをさらに備える、請求項１記載の画像送信装置。

Images