JP2012039181A - 画像伝送装置 - Google Patents

Abstract

【課題】画像データを圧縮して伝送するシステムにおいて、画像の劣化を抑え、尚且つ少ないデータ量で画像データを伝送及び、蓄積する方法及び装置を提供する。
【解決手段】画像伝送装置の画像圧縮部は、画像データに対して平滑化を施す平滑化部と、平滑化処理された画像データを符号化する符号化部と、該符号化部で符号化された被圧縮画像データを出力する出力部を有する。また画像伸張部は、被圧縮画像データが入力される入力部と、入力された前記被圧縮画像データに対して前記符号化部で施された符号化を復号する復号化部と、復号化された画像データに対して前記平滑化部で施された平滑化を復元する平滑化復元部を有する。前記平滑化部と平滑化復元部の作用により、高い圧縮率で画像データを伝送する際にも原画像からの劣化の少ない復元画像を得ることができる。
【選択図】図１

Description

本発明は、画像の伝送・配信方式及びその方式を利用した装置に関する。

通信回線網であるネットワークを介して、入力画像データを遠隔地に送信する技術において、画像データを圧縮する方法としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）などによる周波数変換化とハフマン符号化等のエントロピー符号化処理が組み合わされた処理がよく利用され、代表的なデータ形式として静止画用のＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏ Ｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、動画像用のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などが存在する。これらのデータ形式の特徴として、高周波成分のデータが少なく、単調な画像ほどデータの圧縮率が高いという特徴があり、画像により圧縮率が異なる。また、伝送効率を高めるためにデータの圧縮率をより高めようとした場合、量子化ステップ幅をより大きくする必要があり非可逆処理である量子化処理において多数のデータ量を削減すると、復元した画像データの品質が著しく劣化するという課題がある。
上記課題を解決するための従来技術として、画像データの圧縮率の向上を目的とした特許文献１が存在する。

ＷＯ２００５／０８１５１５号公報

しかしながら、上記従来技術による画像データ圧縮、伝送方法では高周波成分を減衰させる対象領域（非重要領域）について画像データの圧縮処理は可能なものの、処理後に伝送された画像データは入力画像データに比べ劣化してしまい、処理後に原画像もしくは原画像に近い画質の画像を得ることができないという懸念がある。

本発明は、上記従来技術での課題を鑑みて高周波成分が多く圧縮し難い画像に対して、伝送後の復元画像データが入力映像データにより近い画質を得ながら伝送データ量を低減する画像伝送方法を提供することを目的とする。また、復元画像データの劣化を抑えつつデータ圧縮、伝送を可能とする画像処理装置を提供することを目的とする。

本発明では、上記問題を解決させるため、入力画像データに対し平滑化処理を施す平滑化部を設ける事により、画像データの高周波成分を低減させ、符合化による情報量の圧縮を容易にさせる。さらに伝送後に、平滑化処理に用いたフィルタの特性に合わせた画像の復元処理を施すことで、画質の劣化を抑えつつ情報量を圧縮したデータ伝送を可能にする。

本発明によれば、高周波成分が多く圧縮しにくい画像データに対しても、画質の劣化の少ない圧縮方法を提供でき、また画質の劣化の少ない画像伝送装置を提供できるという効果がある。

本発明第１の実施例に係る画像伝送装置の構成図。 平滑化処理に適したフィルタの周波数特性例を示す図。 画像平滑化から伝送後に画像を復元するまでを模式化した図。 平滑化画像復元処理のフローチャート。 本発明第１の実施例を応用した監視カメラシステムの構成図。 本発明第１の実施例を応用したテレビ会議システムの構成図。 本発明第２の実施例に係る画像配信装置の構成図。 本発明第２の実施例に係る画像配信装置の映像データ処理フローチャート。 本発明第２の実施例に係る画像配信装置の配信処理フローチャート。 本発明第３の実施例に係るストレージ装置の構成図。 本発明第３の実施例に係るストレージ装置の映像データ圧縮処理フローチャート。 本発明第３の実施例に係るストレージ装置の映像データ伸張処理フローチャート。 本発明第４の実施例に係るデジタルカメラ装置の構成図。 本発明第４の実施例に係るデジタルカメラ装置の映像データ圧縮処理フローチャート。 本発明第５の実施例に係る携帯端末装置の構成図。 本発明第５の実施例に係る携帯端末装置の映像データ圧縮処理フローチャート。 本発明第５の実施例に係る携帯端末装置の映像データ伸張処理フローチャート。 本発明第６の実施例に係る画像伝送装置の構成図。 本発明第６の実施例に係る画像伝送装置を構成する撮像装置の点像分布を測定する例を模式化した図。

以下、本発明の実施例につき図面を用いて説明する。

図１は、本発明第１の実施例における画像伝送装置の構成図である。図１において、１は撮像装置であり、レンズ１１０を介して結像される被写体の映像をデジタル信号として出力する。２は画像データを表示する表示部、３はインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク網である。１０１は、本実施例の特徴の一つである画像圧縮処理部であり、入力された画像データに対し、画像データの平滑化処理を行う画像平滑化処理部４と前記画像平滑化処理部４で平滑化された画像の符合化を行う符合化処理部５で構成される。６は画像送信部であり、ネットワーク網３を介して、画像データを画像受信部７に受け渡す。１０２は本実施例のもう一つの特徴である画像伸張処理部であり、符合化された画像データを復号化する画像復号化処理部８と復号化された平滑化された状態の画像データを原画像に復元する画像復元処理部９で構成される。

撮像装置１で撮像された画像データは、画像圧縮処理部１０１に受け渡され、画像平滑化処理部４にて、後段で行う符合化処理によるデータ量低減を容易にする為、予め定めた既知のローパスフィルタの伝達特性を持ったフィルタにより画像の平滑化を行われる。画像の平滑化処理により、特定の階調にデータが集中し易くなり、データの出現頻度に応じた符合化によるデータの圧縮が容易となった画像データは、画像符合化処理部５でＪＰＥＧ、ＪＰＥＧ２０００などの静止画圧縮手法及びＭＰＥＧ１〜４、Ｈ．２６４などの動画圧縮手法などを用いて符合化処理を施される。符合化された画像データは、画像送信部６を介し、ネットワーク網３を経由して画像受信部７に伝送され、画像伸張処理部１０２に受け渡される。画像伸張処理部１０２内の画像復号化処理部８では、受信した画像データに対し復号化処理を施し、復号化された画像データを画像復元処理部９に受け渡す。

画像復元処理部９では、各種アルゴリズムを利用した画像復元処理により、画像を復元する。適用するアルゴリズムの一例としてＲｉｃｈａｒｄｓｏｎ Ｌｕｃｙアルゴリズムが考えられる。Ｒｉｃｈａｒｄｓｏｎ Ｌｕｃｙアルゴリズムは、劣化画像をＧ（ｘ，ｙ）、原画像の推定画像をＦ_ｋ（ｘ，ｙ）、原画像から劣化画像に係る点像分布をＳ（ｉ，ｊ）とした時に、
F_k+1(x,y)＝F_k(x,y)［（G(x,y)／(F_k(x,y)＊S(i,j))）＊S(−i,−j) (k=0,1,2,・・・)
・・・（式１）
を繰り返すことで画像が復元されるというアルゴリズムであり、平滑化処理の際に使用されたフィルタの特性が分かっているため、平滑化部で平滑化した伝達特性を点像分布Sとして、画像を復元する。復元された画像データは、表示装置２にて画像表示される。平滑化処理としては、多様な方法があるが、本実施例においては２次元フィルタを使用した畳み込み処理により、ローパルフィルタの伝達特性を持った平滑化処理とする。

図２は、平滑化処理に適したフィルタの周波数特性例を示す図である。本実施例においては使用するフィルタの周波数特性としては、図２(ａ)に示すように帯域内で周波数特性が０とならないような特性のフィルタを使うものとするが、図２(ｂ)に示されるような帯域内で周波数特性が０となるような特性のフィルタを使用しても構わない。図２において、グラフ横軸は、空間周波数／サンプリング周波数を示し、縦軸はフィルタの出力／入力比を示している。

次に図３、図４を用いて本実施例の特徴である画像平滑化処理及び復元処理について説明する。
図３は、本実施例における画像伝送手順の画像平滑化から伝送後に画像を復元するまでを模式化した図であり、図１における画像平滑化処理部４、画像符号化処理部５、画像送信部６、画像受信部７、画像復号化処理部８、画像復元処理部９の処理に対応する。原画像３００は、平滑化を行う為の点像分布３０２との畳み込み処理３０１により、平滑化画像３０３へと変換される。平滑化処理された画像は、圧縮・符号化処理３０４の後に伝送３０５され、伝送後に伸張・復号化処理３０６により、平滑化画像を得る。平滑化画像は、既知の点像分布情報を元に画像の復元処理３０７が行われ、復元画像３０８が生成される。

図４は、画像復元処理の方法を示したフローチャートである。反復処理により原画像を推定する分布F_k(x,y)(k＝0,1,2・・・)のk＝0の初期値として、G(x,y)を与えF₀(x,y)=G(x,y)とし(S1)、まずF_k(x,y)と点像分布S(i,j)の畳み込み結果K₀(x,y)を求める(S2)。次に平滑化画像G(x,y)をK₀(x,y)で除したものをK₁(x,y)とし(S3)、K₁(x,y)と点像分布Sの転置配列との畳み込み結果K₂(x,y)を求める(S4)。ここで当然ながら平滑化に用いる点像分布として上下左右対称の分布を選択していれば、ステップS2及びステップS4で行う畳み込み処理で使用する点像分布は同じものを使用する事もできる。原画像の推定画像F_k(x,y)とK₂(x,y)を乗じる事により、原画像のより良い推定画像F_k+1を算出する(S5)。ここで、原画像推定画像F_kと改善された原画像推定画像F_k+1の全ての画素における差分の絶対値が任意閾値δを下回るか、繰り返し計算処理の回数が指定された上限Kmaxを超えた場合(S6 Yes)、F_k+1(x,y)を復元画像F(x,y)として出力する(S8)。画像の復元が十分でない場合は(S6 No)、F_k(x,y)をF_k+1(x,y)とし、ステップS2から処理を繰り返す。ここで画像の復元状況の指標としては、前記方法以外にもF_k(x,y)とF_k+1(x,y)の画像全画素にわたる差分の平均値、分散、標準偏差などを使用しても良いし、別の指標を定めても構わない。

本実施例においては、画像データの圧縮、伸張に用いる処理の種類は、本実施例に示した方式に限定されるものでは無く、例えば周波数変換処理としてウェーブレット変換等の別の処理を行っても構わないし、符合化としても、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）等のエントロピー符合化を使用しても良いし、ＬＺ符号等のユニバーサル符号や、他の符号化処理を使用しても構わない。周波数変換処理を行わずに符合化処理のみであっても良い。符合化に可逆圧縮を用いた場合は復元後の画像の画質が良く、非可逆圧縮の場合は、復元後の画像の画質と引き換えに、より高い圧縮率が得られる。また、本実施例における画像の復元処理として、一例としてＲｉｃｈａｒｄｓｏｎ Ｌｕｃｙアルゴリズムを利用した方法を示したが、画像の平滑化処理として自ら定めた帯域内で周波数特性が０となる点を持たない特性のフィルタを使用している為、平滑化に用いたフィルタの逆特性のフィルタで画像を復元しても構わない。

このように本実施例によれば、撮像した画像データに対し平滑化処理を行う事で、高周波成分を低減させ、符号化によるデータの圧縮を容易にし、伝送後に画像を復元することで、画質の劣化を抑えつつ情報量を圧縮する事が可能となり、従来と同等の画質では、１／１００以下の圧縮率を実現する画像伝送装置を実現することができる。尚、本実施例では画像データの伝送経路としてネットワーク網３を経由する例を示したが、送信側と受信側が一対一で接続されていても構わない。また、画像平滑化処理、画像符号化処理、画像復号化処理、画像復元処理は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いたハードウェアによる構成でも、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御部とその制御プログラムによって実現しても構わない。また本実施例における、画像データ入力元の撮像装置１、出力先の表示部２を置き換える事で、様々な実施形態が取れる事が容易に考えられる。以下、それら別の実施例について説明する。なお、以下の説明では、第１実施例と完全に又は実質的に重複する部分については説明を省略又は簡略する。

図５は、前記図１に示した画像伝送装置の組合せとして実現可能な監視カメラシステムの構成図である。図５において６０は前記図１のレンズ１１０、撮像装置１、画像平滑化処理部４及び、画像符号化処理部５による画像圧縮処理部１０１、画像伝送部６で構成される監視カメラ本体を示す。また、図５において７０は前記図１の画像受信部７及び、画像復号化処理部８、画像復元処理部９による画像伸張処理部１０２、表示装置２で構成される監視システム本体を示す。
ネットワークを介して接続された複数の監視カメラ本体６０は、前記実施例１で説明したように１／１００以下の圧縮率で圧縮した画像データを監視システム本体７０に伝送することができる。これにより同じ伝送能力を備えたネットワーク３であれば、従来の監視カメラシステムに比べ、より高精細な画像を伝送可能である。もしくは同じ精細度の画像であれば、より多くの監視カメラ本体６０を同一のネットワーク３に接続可能である。

図６は、前記図１に示した画像伝送装置の組合せとして実現可能なテレビ会議システムの構成図である。図６において、８０は前記図５の監視カメラ本体６０と監視システム本体７０を一体化したカメラ付き画像表示装置である。ここで、前記監視カメラ本体６０は監視以外のネットワークインターフェースを備えた映像取得部として、前記監視システム本体はネットワークインターフェースを備えた表示装置として機能することは明白である。
ネットワークを介して接続された複数のテレビ会議システム８０は、各拠点毎の撮像装置１で取得したデータを前記実施例１で説明したように１／１００以下の圧縮率で圧縮した画像データとして、対向となるテレビ会議システム８０に伝送、表示装置２で表示することが可能である。これにより同じ伝送能力を備えたネットワーク３であれば、従来のテレビ会議システムに比べ、より高精細な画像を伝送可能である。もしくは同じ精細度の画像であれば、より多くの拠点を繋いだテレビ会議を実現続可能である。

図７は、本発明第２の実施例に係る画像配信装置の構成図である。図７において、１０はＰＣ等の制御装置であり、４０１はＣＰＵ等の制御部、４０２は制御プログラムやデータが格納される記憶部、４０３は取り外し可能なメモリカードや光ディスク等の外部記憶媒体を装着するための外部記憶インタフェース部、４０４はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の大容量記憶部であり、配信する画像データを格納する。４０５はユーザが制御装置１０を操作する為の操作部、４０６はネットワーク網３を介して、データや制御信号の送受信を行う通信部である。２は表示装置、７は画像受信部、１０１は画像圧縮処理部、４は画像平滑化処理部、５は符合化処理部であり、１０２は画像伸張処理部、８は画像復号化処理部、９は画像復元処理部であり、実施例１で説明をしているので詳細は省略する。

図８は、前記画像配信装置中のＰＣなどの制御装置１０における画像データ処理のフローチャートを示す。図７及び、図８を用いて本発明第２の実施例に係る画像配信装置の動作を説明する。ユーザの操作により配信コンテンツとなる画像データは、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ１〜４、Ｈ．２６４などにより圧縮、符号化されており、外部記憶インタフェース４０３、大容量記憶部４０４から取得され、記憶部４０２に展開される。記憶部４０２に保存された上記画像データは、画像復号化処理部８にて画像の復号処理がされ再度記憶部４０２に展開される。復号化された画像データは、画像圧縮処理部１０１に受け渡され、ここで画像平滑化部４にて画像データの圧縮を容易にする為の画像平滑化処理が施され、さらに平滑化された画像データは、画像符号化部５で符号化される。平滑化処理及び符合化処理が施された画像データは、通信部４０６からネットワーク網３を経由し、画像データを画像受信部７に配信される。画像受信部７は、受信したデータを画像伸張処理部１０２に受け渡し、画像復号化処理部８での画像データ復号化処理、画像復元処理部９での画像データ復元処理が施された後、表示装置２にて画像表示される。制御装置１０における画像復号化処理部８の処理、及び画像圧縮処理部１０１の処理は制御部４０１で実行されるプログラムによるソフトウェア処理で構成しても構わない。同様にネットワーク３を介して配信される符号化処理が施された画像データを受信、復号化、表示する前記画像受信部７、画像伸張処理部１０２、表示装置をＰＣで構成し、ソフトウェア処理しても構わない。

図９は、制御部４０１で実行されるプログラムで画像配信装置実現する場合における、画像配信処理フローチャートである。ユーザの操作により、配信コンテンツとなる画像データは、外部記憶インタフェース４０３、大容量記憶部４０４、或いはネットワーク網３を介して通信部４０６から取得され、記憶部４０２に展開される（Ｓ２１）。配信画像が既に平滑化処理が施されたコンテンツの場合（Ｓ２２Ｙｅｓ）、配信画像は制御部４０１の命令により通信部４０６に受け渡され、ネットワーク網３を経由し、画像受信部７に配信され（Ｓ２６）、画像伸張処理部１０２で復号化、復元処理を施されて表示装置２で表示される。一方、Ｓ２１で選択した配信画像が平滑化処理を施されていない場合（Ｓ２２Ｎｏ）、配信画像は制御部４０１の処理にて画像の復号処理を施され、記憶部４０２に展開される（Ｓ２３）。さらに制御部４０１の処理にて画像データの圧縮を容易にする為の画像平滑化処理が施され、記憶部４０２に格納される（Ｓ２４）。平滑化された画像データは、制御部４０１の処理により符号化され（Ｓ２５）、通信部４０６に受け渡され、ネットワーク網３を経由し画像受信部７に配信される（S26）。以下、上記同様の処理を施されて画像データは表示装置２で表示される。

図１０は、本発明第３の実施例に係る画像ストレージ装置の構成図である。図１０において、２０はパーソナルコンピュータ（ＰＣ）などの大容量記憶機能などを備えたストレージ装置であり、５０１は制御部、５０２は記憶部、５０３は外部記憶インタフェース部、５０４は大容量記憶部、５０５は操作部、５０６はネットワーク通信部、５０７は表示部でありユーザの操作の補助に使用する。５０８はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の近距離有線通信部、５０９は赤外線通信やＩＥＥＥ８０２.１１等の微弱電波を利用した近距離無線通信部である。１０１は画像圧縮処理部、４は画像平滑化処理部、５は符合化処理部であり、１０２は画像伸張処理部、８は画像復号化処理部、９は画像復元処理部であり、実施例１で説明をしているので詳細は省略する。

図１１は、前記画像ストレージ装置中のストレージ装置２０における本実施例による画像データ圧縮処理時のフローチャートを示す。
図１２は、同じくストレージ装置２０における前記圧縮処理された画像データの本実施例による伸張処理時のフローチャートを示す。
本画像ストレージ装置は、ネットワーク通信部５０６、外部記憶インタフェース５０３、近距離有線通信部５０８、近距離無線通信部５０９の４つのデータ送受信部を持つ。図１０、図１１、図１２を用いて本発明第３の実施例に係るストレージ装置の動作を説明する。

図１１において、デジタルカメラ装置３０や携帯端末装置４０からの、近距離有線通信部５０８、近距離無線通信部５０９を介した画像データ受信命令を受信すると制御部５０１は受信許可を発信元へ与え、画像データの受信処理を開始し、受信した画像データを記憶部５０２に格納する。ネットワーク網３からのネットワーク通信部５０６を経由した画像データの受信や、画像データが格納された外部記憶媒体が、外部記憶インタフェース５０３に装着された場合も同様に、まず画像データを記憶部５０２に格納する。記憶部５０２に格納した画像データが符号化されている場合は、画像復号化部８にて復号処理を行い、画像圧縮処理部１０１に受け渡し、画像平滑化部４にて画像の圧縮率を高めるための本実施例による画像平滑化処理を行う。平滑化された画像データは、画像符号化部５にて符号化処理され、大容量記憶部５０４に高圧縮データとして保存される。以上が本実施例を用いたストレージ装置における画像データ圧縮処理である。

次に前記圧縮処理を施された画像データの伸張処理について説明する。
図１２において、ユーザの操作部５０５操作により、大容量記憶部５０４に格納されているデータの取り出し要求があると、制御部５０１は大容量記憶部５０４から対象となる画像データを取り出し、記憶部５０２に展開する。取り出した画像は圧縮・符号化されている為、画像復号化部８で復号化される。復号化された画像データは、画像保存時における平滑化処理された画像であり、画像復元部９にて画像の復元処理がされる。ここでの画像復元処理は前記実施例１及び実施例２と同様で良く、詳細は省く。復元された画像データは、制御部５０１による処理、或いは画像符号化部５により、ユーザが指定したファイル形式に変換され、指定された経路例えば外部記憶インタフェース５０３を経由して外部記憶媒体に格納される。画像データはユーザの要求により、近距離有線通信部５０８や近距離無線通信部５０９を経由してデジタルカメラ３０や携帯端末装置４０などに伝送しても良いし、ネットワーク通信部５０６を介し、ネットワーク網３に接続された別の機器に送信しても良い。画像圧縮処理部１０１、及び画像伸張処理部１０２は、制御部５０１で実行するプログラムで実現しても構わない。

図１３は、本発明第４の実施例に係るデジタルカメラ装置の構成図である。図１３において３０はデジタルカメラ装置であり、６００はカメラ部であり、レンズ６１０、撮像素子６０１、カメラ信号前処理部６０２、Ａ／Ｄコンバータ６０３、カメラ信号処理部６０４、撮像素子制御部６０５で構成される。６０６は制御部、６０７は記憶部、６０８は操作部、６０９は表示部であり、６１１は外部記憶インタフェース部、６１２は外部記憶媒体である。１０１は画像圧縮処理部、４は画像平滑化処理部、５は符合化処理部であり、１０２は画像伸張処理部、８は画像復号化処理部、９は画像復元処理部であり、実施例１で説明をしているので詳細は省略する。

図１４は、前記デジタルカメラ装置３０における本実施例による画像データ圧縮処理時のフローチャートを示す。レンズ６１０を介して撮像素子６０１で撮像された画像データは、カメラ信号前処理部６０２で、ノイズ除去や信号レベルの調整を行い、Ａ／Ｄコンバータ６０３でデジタル信号に変換される。さらにカメラ信号処理部６０４で画像補正処理、色処理がされた画像データは、記憶部６０７に格納される。カメラ部６００から出力され、記憶部６０７に格納された画像データは、制御部６０６の命令により、画像圧縮処理部１０１に受け渡され、画像平滑化処理部４にて、予め準備された平滑化フィルタにより画像の平滑化処理が行われる。平滑化されることでデータ量の圧縮が容易となった平滑化後の画像データは、画像符号化処理部５で周波数変換化及びエントロピー符号化処理され、記憶部６０７に格納され、外部記憶インタフェース６１１に装着された外部記憶媒体６１２に保存される。以上が本実施例を用いたデジタルカメラ装置における画像データ圧縮処理である。

外部記憶媒体６１２に保存された平滑化処理された画像データは、そのままではぼやけた画像となり見ることが出来ないが、原画像のままでの保存に比べ、ファイルサイズが小さく多量の画像データを保存する事ができる。ユーザが外部媒体６１２に格納された画像を鑑賞する場合は、デジタルカメラ装置３０に内蔵された画像伸張処理部１０２を用いて圧縮された画像データを伸張することで、圧縮処理前と同等の画質で復元できる。本画像伸張処理部１０２は実施例２で説明したものと同じである。また、画像鑑賞の別手段として、実施例３に示したストレージ装置を使用して原画像を復元しても良いし、ユーザが所有するＰＣ等に復元処理プログラムを導入して画像を復元しても良い。画像復元処理については実施例１で図３を用いて説明しているので、ここでの説明は省く。

図１５は、本発明第５の実施例に係る携帯端末装置の構成図である。３はネットワーク網、４０は携帯端末装置であり、７０１はアンテナ、７０２は無線回路部、７０３は符号復号処理部、７０４は受話用マイク、７０５は受話用スピーカ、７０６はカメラ、７０７は記憶部、７０８は操作部、７０９は表示部、７１０は制御部、７１１は外部記憶インタフェース、７１２は外部記憶媒体、７１３は基地局である。１０１は画像圧縮処理部、４は画像平滑化処理部、５は符合化処理部であり、１０２は画像伸張処理部、８は画像復号化処理部、９は画像復元処理部であり、実施例１で説明をしているので詳細は省略する。
アンテナ７０１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路７０２に入力する。また、アンテナ７０１は無線回路７０２から出力された高周波電気信号を電波に変換して送信する。無線回路７０２は、制御部７１０の指示に基づき、アンテナ７０１で受信した高周波信号を復調し、符号復号処理部７０３に供給する。また、無線回路７０２は符号復号処理部７０３の出力信号に変調処理を施し、高周波電気信号に変換してアンテナ１に出力する。符号復号処理部７０３は、制御部７１３の制御に従い無線回路７０２の出力信号に復号処理を施し、音声データを受話用スピーカ７０５に出力し、文字や画像データを制御部７１０に出力する。また、符号復号処理部７０３は、受話用マイク７０４ から入力されたユーザの声、またはユーザが操作部７０８を操作して編集した文字や画像データに符号化処理を施し、無線回路７０２を介してアンテナ１から送信する。

図１６は、前記携帯端末装置４０におけるカメラ７０６での撮影データに対する本実施例による画像データ圧縮処理時のフローチャートを示す。
ユーザの操作部７０８の操作により、カメラ７０６を用いて撮影を行う場合、制御部７１０は、データ量の圧縮を容易にさせる為、画像圧縮処理部１０１に受け渡し、画像平滑化部４で、予め準備された平滑化フィルタにより画像の平滑化処理が行わる。平滑化することによりデータ量の圧縮が容易となった画像データは、画像符号化処理部５で周波数変換化及びエントロピー符号化処理が施され、制御部７１０の制御により記憶部７０７や外部記憶インタフェース７１１を介して外部記憶媒体７１２に保存される。以上が本実施例を用いた携帯端末に搭載のカメラ７０６で撮影した画像データにおける画像データ圧縮処理である。

図１７は、前記携帯端末装置４０におけるカメラ７０６での撮影データに対する本実施例による画像データ伸張処理時のフローチャートを示す。
保存された画像データは、そのままではぼやけた画像となり見ることが出来ないが、原画像のまま保存するに比べ、ファイルサイズが小さく多量の画像データを保存する事ができる。ユーザが記憶部７０７や外部記憶媒体７１２に格納された画像を鑑賞する場合は、制御部７１０により圧縮された画像データは一端記憶部７０７に送られ、その後画像復号化処理部８で画像の復号化をされた後に、画像復元処理部９にて平滑化された画像の復元処理を施され、表示部７０９に表示される。ユーザが記憶部７０７や外部記憶媒体７１２に格納された画像を、基地局７１３を介してネットワーク網３に接続されたＰＣや携帯端末装置に送付する場合、送付先の携帯端末装置やＰＣにて平滑化画像の復元処理が可能な場合は、平滑化されデータ量が低減されたままでデータを送付すれば良いし、復元処理に対応していない場合は、画像伸張処理部１０２の画像復号化処理部８での画像の復号化、画像復元処理部９での平滑化画像の復元後、画像符合化処理部５で再度画像の符合化処理を行った画像を送付すると良い。

上述した実施例１〜実施例５では、信号処理により画像を平滑化する例を示したが、レンズを含む光学的伝達部の伝達特性が推定できる場合、光学的に画像の平滑化を行い、画像の圧縮を容易にし、伝送後にデータを復元する事も考えられる。

図１８は、本発明第６の実施例に係る画像伝送装置の構成図を示す。図１８の構成において画像圧縮処理部は前記、図１に示した画像伝送装置の構成図の画像圧縮処理部１０１に対し、画像平滑化処理部４を備えない画像圧縮処理部８０１で構成される。本実施例における撮像装置１に搭載されるレンズ１２０は、図１に示した本発明第１の実施例に係る画像伝送装置のレンズ１１０と異なり、撮影対象物への焦点をずらした状態となっており、レンズ１２０を介して撮像した画像は、常にぼやけた画像となるが、空間周波数の高周波成分が少なく圧縮が容易な画像となっており、信号処理による平滑化の必要は無い。この為、レンズ１２０を介して撮像された画像データは、信号処理による平滑化処理を施さずに、画像符合化処理部５で周波数変換化処理及びエントロピー符合化処理が施され、画像送信部６を介し、ネットワーク網３を経由して画像受信部７に伝送される。

画像復号化処理部８では、受信した画像データに対し復号化処理を施し、復号化された画像データを画像復元処理部９に受け渡す。画像復元処理部９では各種アルゴリズムを利用した画像復元処理により、画像を復元する。適用するアルゴリズムの一例として前記実施例１で説明したＲｉｃｈａｒｄｓｏｎ Ｌｕｃｙアルゴリズムが考えられる。本実施例では各種アルゴリズムを利用した画像復元処理により、画像を復元するが、レンズ１２０を介して撮像装置に結像される光学系の点像分布S(i,j)を、予め測定する必要がある。

図１９は、本実施例に係る画像伝送装置を構成する撮像装置の点像分布を測定する例を模式化した図である。点像分布の測定方法として多様な方法が考えられるが、図１９はその一例を示している。
図１９において５１は、点像分布S(i,j)の測定用入力画像であり、５２は、レンズ１２０を介して撮像装置１に取り込まれた画像である。入力用画像５１は、全白中に黒点或いは、全黒中に白点が描かれた物とし、この画像を撮像した時の画像５２は、レンズ１２０を含めた撮像装置１のインパルス応答を意味しており、正規化して点像分布S(i,j)とする事ができる。撮像結果に対するノイズの影響を抑える為には、例えば１０枚といった複数毎の画像データの平均を取っても良い。尚、図１９を利用して説明した上述の点像分布測定方法は一例であり、まったく別の手段で測定しても構わないし、あらかじめ均一な点像分布となるようにレンズを設計すれば測定の必要も無い。また、本実施例に示した画像伝送装置に限らず、実施例４に示したデジタルカメラ装置や、実施例５に示した携帯端末装置においても適用可能な事は言うまでもない。

以上のように、本発明は画像データを圧縮して伝送又は保存する用途に適しており、実施例１及び実施例６に示した監視カメラシステム、テレビ会議システムなどの画像伝送装置、実施例２に示した画像配信システム、実施例３に示したストレージ装置、実施例４に示したデジタルカメラ装置、実施例５に示した携帯端末装置など、様々な用途への適用が可能である。
また、一般的なパーソナルコンピュータ（ＰＣ）上でソフトウェア処理により実現することも可能である。

１・・・撮像装置、２・・・表示装置、３・・・ネットワーク網、４・・・画像平滑化処理部、５・・・画像符号化処理部、６・・・画像送信部、７・・・画像受信部、８・・・画像復号化処理部、９・・・画像復元処理部、１０・・・制御装置、２０・・・ストレージ装置、３０・・・デジタルカメラ装置、４０・・・携帯端末装置、５１・・・点像分布S(i,j)測定用入力画像、５２・・・レンズ１２０を介して撮像装置１に取り込まれた画像、６０・・・監視カメラ本体、７０・・・監視システム本体、８０・・・テレビ会議システム、１０１・・・画像圧縮処理部、１０２・・・画像伸張処理部、１１０・・・レンズ、２０１・・・表示装置制御部、２０２・・・表示装置通信部、２０３・・・表示装置記憶部、２０４・・・表示装置画像復号化部、２０５・・・表示装置平滑化画像復元部、２０６・・・表示装置表示制御部、２０７・・・表示装置表示部、４０１・・・制御装置制御部、４０２・・・制御装置記憶部、４０３・・・制御装置外部記憶インタフェース部、４０４・・・制御装置大容量記憶部、４０５・・・制御装置操作部、４０６・・・制御装置通信部、５０１・・・ストレージ装置制御部、５０２・・・ストレージ装置記憶部、５０３・・・ストレージ装置外部記憶インタフェース部、５０４・・・ストレージ装置大容量記憶部、５０５・・・ストレージ装置操作部、５０６・・・ストレージ装置ネットワーク通信部、５０８・・・ストレージ装置近距離有線通信部、５０９・・・ストレージ装置近距離無線通信部、６００・・・デジタルカメラ装置カメラ部、６０１・・・デジタルカメラ装置撮像素子、６０２・・・デジタルカメラ装置カメラ信号前処理部、６０３・・・デジタルカメラ装置Ａ／Ｄコンバータ、６０４・・・デジタルカメラ装置カメラ信号処理部、６０５・・・デジタルカメラ装置撮像制御部、６０６・・・デジタルカメラ装置制御部、６０７・・・デジタルカメラ装置記憶部、６０８・・・デジタルカメラ装置操作部、６０９・・・デジタルカメラ装置表示部、６１０・・・デジタルカメラ装置レンズ、６１１・・・デジタルカメラ装置外部記憶インタフェース部、６１２・・デジタルカメラ装置外部記憶媒体、７０１・・・携帯端末装置アンテナ、７０２・・・携帯端末装置無線回路部、７０３・・・携帯端末装置符号復号処理部、７０４・・・携帯端末装置受話用マイク、７０５・・・携帯端末装置受話用スピーカ、７０６・・・携帯端末装置カメラ、７０７・・・携帯端末装置記憶部、７０８・・・携帯端末装置操作部、７０９・・・携帯端末装置表示部、７１０・・・携帯端末装置制御部、７１１・・・携帯端末装置外部記憶インタフェース、７１２・・・携帯端末装置外部記憶媒体、７１３・・・基地局、８０１・・・画像平滑化処理部を備えない画像圧縮処理部。

Claims (7)

1. 画像データを圧縮して伝送部へ被圧縮画像データを出力する画像圧縮装置と、前記伝送部へ出力された被圧縮画像データを伸張して前記画像データを復元する画像伸張装置を有する画像伝送装置であって、
   前記画像圧縮装置は、前記画像データに対して平滑化を施す平滑化部と、該平滑化部で平滑化処理された前記画像データに対して符号化を施す符号化部と、該符号化部で符号化された前記被圧縮画像データを前記伝送部へ出力する出力部を有し、
   前記画像伸張装置は、前記伝送部へ出力された被圧縮画像データが入力される入力部と、該入力部から入力された前記被圧縮画像データに対して前記符号化部で施された符号化を復号する復号化部と、該復号化部で復号化された画像データに対して前記平滑化部で施された平滑化を復元する平滑化復元部を有する
   ことを特徴とする画像伝送装置。
2. 請求項１に記載の画像伝送装置において、前記伝送部を介して他の外部機器との間で画像データを送受信する通信部と、画像データを保管する記憶部を有し、該記憶部に保管される画像データは、前記画像圧縮装置の平滑化部で平滑化され符合化部で符号化された被圧縮画像データであることを特徴とする画像伝送装置。
3. 請求項２に記載の画像伝送装置において、所定の記憶媒体を装着するインタフェース部を有し、該インタフェース部に装着された記憶媒体、及び前記記憶部に保管される画像データは、前記画像圧縮装置の平滑化部で平滑化され符合化部で符号化された被圧縮画像データであることを特徴とする画像伝送装置。
4. 請求項１に記載の画像伝送装置において、
   前記平滑化復元部は、
   前記画像データに関わる原画像の推定画像と前記平滑化部で画像データを平滑化する際に使用した伝達関数との畳み込み処理により第１の画像を得る工程と、
   前記平滑化された画像を前記第１の画像で除して第２の画像を得る工程と、
   前記第２の画像に前記平滑化に使用した伝達関数の反転関数との畳み込み処理により第３の画像を得る工程と、
   前記原画像の推定画像に前記第３の画像を乗じて原画像のより良い推定画像である第４の画像を得る工程と、
   前記第４の画像を前記原画像の推定画像に置き換え、前記第１の画像を得る工程から前記第４の画像を得る工程を繰り返す工程
   を備えることを特徴とする画像伝送装置。
5. 請求項１に記載の画像伝送装置において、前記平滑化部における画像平滑化処理は、伝送する画像に対し予め定義した２次元配列を用いた平滑化処理であることを特徴とする画像伝送装置。
6. 請求項１に記載の画像伝送装置において、
   前記平滑化復元部は、
   前記画像データに関わる原画像の推定画像と前記平滑化部で平滑化に使用した光学レンズ特性との畳み込み処理により第１の画像を得る工程と、
   前記平滑化された画像を前記第１の画像で除して第２の画像を得る工程と、
   前記第２の画像に前記平滑化に使用した光学レンズ特性の逆特性との畳み込み処理により第３の画像を得る工程と、
   前記原画像の推定画像に前記第３の画像を乗じて、原画像のより良い推定画像である第４の画像を得る工程と、
   前記第４の画像を原画像の推定画像に置き換え、前記第１の画像を得る工程から前記第４の画像を得る工程を繰り返す工程
   を備えることを特徴とする画像伝送装置。
7. 前記請求項１に記載の画像伝送装置において、前記画像圧縮装置の平滑化部と符号化部、及び前記伸張装置の復号化部と平滑化復元部における前記画像データの処理は、パーソナルコンピュータによるソフトウェア処理で実施することを特徴とする画像伝送装置。

Images