JP2007129403A - 画像符号化装置および画像処理システム - Google Patents

Abstract

【課題】光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる画像符号化装置および画像処理システムを提供する。
【解決手段】歪み量出力部３１は、画像信号に対応した画像の光学的な歪み量を出力する。圧縮符号化部３４は、各々異なる圧縮符号化特性を備え、画像信号を圧縮符号化データに変換する複数の圧縮演算部を有しており、複数の圧縮演算部の内から、歪み量に対応した圧縮演算部を選択する。
【選択図】図１

Description

本発明は、画像データを圧縮符号化する画像符号化装置に関し、またこの画像符号化装置を備えると共に、圧縮符号化された画像データを復号化する画像復号化装置を備えた画像処理システムに関する。本発明は特に、デジタルカメラや携帯電話用撮像モジュール、監視カメラなどの電子画像の撮像装置において、撮像した映像を伝送，蓄積する際に用いて好適な画像符号化装置および画像処理システムに関する。

デジタルカメラや携帯電話用撮像モジュール、監視カメラなどの電子画像の撮像装置において、光学的なズームレンズを使用せずに画角を変更する電子ズームが一般的に用いられている。このような電子ズームでは、機械的な機構を用いずに簡易に画角の変更を実現することが可能であるが、画像の一部を切り出し、切り出した部分の拡大を行うため、画質は劣化する。画質の劣化を軽減する方式として、光学像の周辺部を圧縮する歪みを持つ光学系で画像を撮像し、その画像に対して切り出しと補正を行うことにより、高画質の電子ズームを実現する方式が、特許文献１に提案されている。

また、デジタルカメラや、携帯電話用撮像モジュール、監視カメラでは、撮影した画像を内部記録装置に記録したり、無線や有線のネットワークなどの伝送路を介して伝送を行い、伝送した画像を記録または表示装置に表示したりする。上記の記録装置や伝送路には蓄積できる記録量や、所定の時間内で伝送できる伝送量に上限があるため、画像に対して圧縮符号化を行い、データサイズを小さくした上で記録または伝送を行うことが通常行われる。

前記のように光学的に歪みのある光学系を用いて撮像した画像を圧縮して伝送するシステムとしては、例えば特許文献２に提案されているものがある。この例は、歪みに応じたブロックサイズに画像を分割し、優先順位をつけて部分画像を伝送することにより、伝送する画像のサイズを小さくし、撮像から画像表示までのリアルタイム性の確保や高フレームレートを実現するものである。
特開平１０−２３３９５０号公報 特許第３５５００４６号公報

上記の従来技術においては、画像の圧縮について言及はあるものの、画像の圧縮と光学特性との関係については特に言及されていない。一般的に、圧縮率を高くすると画像１フレームのデータ量は減るが、画質が劣化し、これに対し、圧縮率を低くすると画質の劣化は抑えられるが、画像１フレームのデータ量はそれほど減らないというトレードオフ的な関係のあることが知られている。したがって、以上の点を考慮することにより、画質の劣化を抑えた画像の圧縮伝送が期待できる。

本発明は、この観点に着目し、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる画像符号化装置および画像処理システムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する選択手段とを有する画像符号化装置である。

また、本発明の画像符号化装置は、前記画像信号を、前記歪み量に応じて複数のブロックに分割して出力するブロック分割手段をさらに有し、前記歪み量判定手段は、前記ブロックに対応した画像の光学的な歪み量を判定し、前記圧縮演算手段は、前記ブロックを単位として圧縮符号化データに変換することを特徴とする。

また、本発明の画像符号化装置は、前記ブロックに対する前記圧縮演算手段の選択結果を保持する選択結果保持手段と、現ブロックに対する前記歪み量判定手段の前記判定結果と、前記現ブロックに隣接する前記ブロックに係る、前記選択結果保持手段から入力される前記選択結果とに基づき、前記現ブロックを前記圧縮符号化データに変換する前記圧縮演算手段を選択するための信号を生成する選択信号生成手段とをさらに有することを特徴とする。

また、本発明の画像符号化装置において、前記選択手段は、前記画像信号の種類に応じたフラグ信号を出力するフラグ出力手段と、単一の圧縮符号化特性により前記画像信号を前記圧縮符号化データに変換する通常圧縮演算手段と、前記フラグ信号に基づいて、前記通常圧縮演算手段と前記複数の圧縮演算手段の内のいずれかを選択して前記画像信号を入力するセレクタ手段とを有することを特徴とする。

また、本発明は、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を第１の圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、単一の圧縮符号化特性により前記画像信号を第２の圧縮符号化データに変換する通常圧縮演算手段とを有する画像符号化装置と、前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記第１の圧縮符号化データを第１の伸張画像データに変換する複数の伸張演算手段と、前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、前記第２の圧縮符号化データを第２の伸張画像データに変換する通常伸張演算手段と、前記第２の伸張画像データの内、所定領域の画像に対応した部分を、前記所定領域の画像に対応した前記第１の伸張画像データに置き換えて第３の伸張画像データを生成する画像置換手段と、外部から入力されるモード信号に基づき、前記第２の伸張画像データまたは前記第３の伸張画像データを選択して出力するセレクタ手段とを有する画像復号化装置とを有する画像処理システムである。

また、本発明は、入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段とを有する画像符号化装置と、前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記圧縮符号化データを伸張画像データに変換する複数の伸張演算手段と、前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、複数の前記伸張画像データを連結する画像連結手段とを有する画像復号化装置とを有する画像処理システムである。

本発明によれば、光学的な歪みを有する光学系の歪み量に対応した圧縮演算手段を選択して画像信号の圧縮符号化を行うので、画質が必要以上に劣化することなく、また、データ量が著しく大きくなることなく圧縮符号化をすることが可能となり、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。まず本発明の第１の実施形態を説明する。図２は、本発明の画像符号化装置を用いた録画再生システム（画像処理システム）の構成を示している。本実施形態による録画再生システムは以下の構成を備えている。光学系１は、従来例（例えば特許文献１）で開示されている、高画質に電子ズームを行うための歪み光学部１ａを含んでいる。イメージャ２（撮像素子）は、光学系１により結像された像を電気的な画像信号に変換する。本発明の画像符号化装置の一実施形態である符号化部３は、イメージャ２から出力された画像信号に各種画像処理を行い、圧縮符号化して圧縮符号データを生成する。記録部４は、圧縮符号データを格納する記録媒体を備えている。復号化部５は、記録部４より圧縮符号データを読み出して復号化し、各種画像処理を行う。画像表示部６は、復号化された画像データに基づいて画像を表示する。

ここで、歪み光学部に関して、および歪み光学部を含む光学系を用いた電子ズームに関して、図３〜図５を参照して説明する。画像周辺を光学的に圧縮するための歪み光学部としては、先行例（例えば特許文献１）に開示されている共軸光学系を含め、いくつかの構成が考えられるが、ここではシリンドリカルレンズを使用する例で説明する。本実施形態の歪み光学部１ａは、図３のようにシリンドリカルレンズを２つ（シリンドリカルレンズ１ａ１および１ａ２）使用する。図４が、この歪み光学部１ａを含む光学系１により撮像した画像である。被写体像の一例として示した図４（ａ）では、等間隔に被写体が並んでいる様子が示されている。図４（ｂ）は、歪み光学部１ａを含む光学系１を通してこの被写体を撮像したものである。シリンドリカルレンズ１ａ１，１ａ２により、図４（ａ）に示される被写体像の周辺部が圧縮されて結像される。

図５が、イメージャ２により取り込んだ画像の一部を切り出し、電子ズームを行う様子を示したものである。図５（ａ）は、本実施形態の歪み光学部１ａを含む光学系１により撮像した画像であり、図５（ｃ）は、図５（ａ）から得られる電子ズーム画像の例である。図５（ｂ）は、歪みの少ない通常の光学系で撮像した画像であり、図５（ｄ）は、図５（ｂ）から得られる電子ズーム画像の例である。このように、同じ画角の電子ズーム画像を得る場合に、撮像画像上の面積は、歪み光学系を使用したものの方が通常の光学系を使用したものよりも大きいことがわかる。

一般に使用されているイメージャではセンサの画素が等間隔に並んでいるため、また結像画像上の面積の大きさはそのまま画素数に比例するため、図５（ｂ）のズーム対象範囲よりも図５（ａ）のズーム対象範囲の方が画素数が多い。すなわち、図５（ａ）のズーム対象範囲からの方が、高画質な電子ズーム画像が得られる。

なお、上記の電子ズームは、復号化後に行ってもよいし圧縮符号化前に行ってもよい。復号化時に電子ズームを行えば、復号化時に任意の倍率の画像を得ることができる。また、符号化時に電子ズームの処理を行い、電子ズーム後の画像を圧縮符号化し格納すれば、記録するデータサイズの縮小が可能となる。本実施形態では符号化時と復号化時の両方で電子ズームを選択して行うことが可能となっており、操作時に撮影者は任意に両者の選択を行うことが可能となっている。

次に、本実施形態による録画再生システムの概略動作を説明する。イメージャ２により電子画像化された画像信号は符号化部３に入力される。図１は符号化部３の構成を示している。以下、図１を参照して符号化部３の概略動作を説明する。符号化部３に入力された画像信号に対して、撮像画像処理部３２によって、フィルタリング，ホワイトバランス処理，ガンマ補正等の画像処理が施される。また、歪み量出力部３１（歪み量判定手段）は、入力される画像信号に対応した画像の光学的な歪み量をブロック分割部３３（ブロック分割手段）へ出力する。

撮像画像処理部３２によって処理された画像データ（撮像画像処理画像データ）は、ブロック分割部３３により、後述するように所定のブロックに分割される。このブロックの分割は、歪み量出力部３１から入力された歪み量に基づいて行われる。分割された画像データ（ブロック化画像）は、圧縮符号化部３４によって圧縮符号化され、圧縮符号データとして、図２の記録部４に出力される。後述するように、圧縮符号化部３４は複数の圧縮演算部を備えており、各圧縮演算部の圧縮符号化特性（圧縮特性）は互いに異なっている。画像データを圧縮符号化する圧縮演算部として、歪み量に基づいて決定されたブロックに対応したものが複数の圧縮演算部の中から選択される。なお、符号化部３の各部の詳細動作については後述する。

画像の圧縮符号化手法としては、静止画像ではJPEGやJPEG2000、動画ではMPEG等の非可逆圧縮手法が一般に用いられる。これらの手法では、画像情報を周波数成分等に分解し、視覚的に影響の少ない情報から順次削除することにより、高能率の圧縮符号化が行われる。情報の削除によりデータ量を減らすため、過度に圧縮すると、画像は劣化してしまう。なお、本発明は、その実施にあたり非可逆圧縮手法には依存しない。

符号化部３より出力された圧縮符号データは、本実施形態ではメモリカード等の記録部４に記録される。以上が画像を撮像し、記録するまでの動作である。

以下、記録した画像を表示する動作を説明する。図２の記録部４に記録された圧縮符号データは復号化部５に入力される。図６は復号化部５の構成を示している。この図を参照して復号化部５の概略動作を説明する。入力された圧縮符号データは伸張部５１により、伸張画像データに伸張される。表示画像処理部５３は、伸張画像データに対して、表示のためのフィルタリングや拡大縮小の画像処理を行うと共に、復号化後に電子ズームを行う場合には電子ズーム処理を併せて行い、表示画像データを生成する。

次に、撮像時の符号化部３の詳細な動作を説明する。図２のイメージャ２から出力された画像信号は符号化部３の撮像画像処理部３２（図１）に入力され、各種画像処理が施されると共に、必要に応じて電子ズーム処理が施される。図７に撮像画像処理部３２の構成を示す。この図を参照して撮像画像処理部３２の動作を説明する。入力された画像信号に対し、ガンマ補正部３２１とホワイトバランス処理部３２２により、各種画像処理（ガンマ補正およびホワイトバランス補正）が施される。

ホワイトバランス処理後の画像は、画像切り出し部３２３と切替部３２５に入力される。画像切り出し部３２３は、図示しない画角指定部からの画角設定信号により指定された画像の切り出しサイズに基づいて画像の切り出しを行う。歪み補正部３２４は、切り出された画像に対して歪みを補正し、ズーム画像を生成する。この電子ズーム後の画像は切替部３２５に入力される。

前述のように本実施形態では記録時と再生時に電子ズーム処理を選択して行う構成となっている。電子ズーム処理を記録時に行うか、再生時に行うかを切り替えるズームモード切替信号が切替部３２５に入力され、ズームモード切替信号が、再生時にズームを行うモード（再生時ズームモード）を示す場合には、切替部３２５はホワイトバランス処理後の画像をそのまま撮像画像処理画像データとして出力する。また、ズームモード切替信号が、録画時にズームを行うモード（録画時ズームモード）を示す場合には、切替部３２５は電子ズーム後の画像を撮像画像処理画像データとして出力する。

撮像画像処理部３２から出力された撮像画像処理画像データはブロック分割部３３に入力され、所定のブロックに分割される。ブロックの分割例を図８および図９に示す。図８は、再生時ズームモードにおいて、歪を有したまま撮像画像を圧縮符号化する場合の撮像画像に対するブロック分割の例を示したものである。図８（ａ）に示すように、撮像画像では中央部は単位面積あたりの被写体の情報が少なく、周辺部に行くに従い多くなっている。本実施形態において、再生時ズームモードで記録を行う場合には、図８（ｂ）のように３つのブロックへの分割を行い、情報量の多いブロック１は圧縮率を低く、すなわち符号化による情報量の削減を抑え、情報量の少ないブロック３は圧縮率を高くし、それぞれ最適な圧縮率を選択している。

図９（ａ）は、録画時ズームモードにおいて、歪み補正を行った後の画像を圧縮符号化する場合である。この場合、画像の中央部では元々歪みが少ないため画像の拡大率は小さいが、周辺に行くに従い拡大率が大きくなり、画像は、少ない画素から拡大された画像となる。すなわち、中央部は情報量が多いが、周辺部は、少ない画素数から画像を作っているため情報量は少ない。

本実施形態では図９（ｂ）に示すように、情報量の少ないブロック１の圧縮率を高くし、情報量の多い中央部のブロック３は圧縮率を低くし、画像の劣化を抑えている。なお、圧縮率の制御について、本実施形態では圧縮方式としてJPEGを用いるものとして説明する。JPEGでは圧縮符号化時にどの周波数情報までを削除するのかをスケーリングファクタのパラメータとして設定し、圧縮率をコントロールすることが可能である。本実施形態では、ブロック１，ブロック２，ブロック３でそれぞれ異なるスケーリングファクタを設定するものとする。ブロック分割部３３は前述のように、歪み量出力部３１から出力された各部の歪み量に基づいてブロックの分割を行う。

歪み量出力部３１の構成を図１０に示す。この図を参照して歪み量出力部３１の動作を説明する。歪み量出力部３１では、入力される画像データに同期したイメージャ２からの水平および垂直のタイミング信号に基づいて、座標演算部３１１が撮像画像全体中での入力画像データの座標の演算を行う。歪み情報蓄積部３１３には光学系の歪み情報（撮像画像上の座標と歪み光学部１ａの歪み量とが対応付けられた情報）があらかじめ格納されている。歪み量演算部３１２は、座標演算部３１１が出力する座標と、歪み情報蓄積部３１３が出力する歪み情報に基づいて歪み量を演算して出力する。ブロック分割部３３は、この歪み量に基づき、ブロックへの分割を行う。

図１１にブロック分割部３３の構成を示す。この図を参照してブロック分割部３３の動作を説明する。歪み量出力部３１から出力された歪み量はブロック決定部３３１に入力される。ブロック決定部３３１は歪み量を所定の閾値と比較し、歪み量がどの範囲にあるのかを比較し、ブロックの判定を行って、判定結果に基づいたブロック決定信号をブロック化データ格納制御部３３２へ出力する。また、撮像画像処理部３２から出力された撮像画像処理画像データはブロック化データ格納制御部３３２に入力される。ブロック化データ格納制御部３３２は、ブロック決定信号に基づいて、処理画像データをいずれのブロックとして格納するかの切り替えを行い、各ブロックをブロック１格納部３３３ａ，ブロック２格納部３３３ｂ，ブロック３格納部３３３ｃのいずれかに格納する。

本実施形態におけるブロックの分割方法を図１２に示す。図１２（ａ）が元の処理画像全体である。前述のように歪み量がそれぞれ所定の範囲の値となる領域を領域１，２，３とする。それぞれの領域１，２，３は歪み量により（ｂ）ブロック１，（ｃ）ブロック２，（ｄ）ブロック３に分けられ、それぞれのブロックの格納部（ブロック１格納部３３３ａ，ブロック２格納部３３３ｂ，ブロック３格納部３３３ｃ）に蓄積される。図１１のブロック化データ出力制御部３３４は、それぞれのブロック単位でブロック情報（データがどのブロックに属しているのかを示す情報）とブロック化画像を出力する。このブロック化画像は、図１の圧縮符号化部３４に入力される。

圧縮符号化部３４の構成を図１３に示す。前述のように本実施形態ではブロック１，２，３で異なる圧縮演算を行うことで高画質の圧縮画像を得ている。しかし、伸張時には高速に画像を表示する場合があり、それぞれのブロックで異なる圧縮演算を行うことは処理速度の低下につながり、操作上のレスポンスなどの観点より望ましくない。そこで、本実施形態ではブロック１の圧縮符号演算を用いて画像全体の圧縮を行って通常圧縮符号データを生成し、上記の高速画像表示の場合にはこのデータのみで表示を行う。

本実施形態ではブロック２および３は、前述のようにブロック１の圧縮符号演算で圧縮符号化を行い、また、並行してそれぞれ最適な圧縮演算でも圧縮符号化を行う。再生時に高画質な画像を得る場合にはブロック２および３の領域では、通常圧縮符号データからの伸張画像ではなく、選択圧縮符号データからの伸張画像が出力される。

以下、図１３および図１４を参照して圧縮符号化部３４の動作を説明する。圧縮符号化部３４に入力されたブロック情報は選択圧縮演算制御部３４１および選択圧縮演算部３４５に選択信号として入力される。また、ブロック化画像信号は選択圧縮演算部３４５と通常圧縮演算部３４４（通常圧縮演算手段）に入力される。選択圧縮演算制御部３４１は、入力されたブロック情報に基づき、選択圧縮演算部３４５の動作を制御する選択圧縮演算制御信号を生成し、出力する。通常圧縮演算部３４４は、ブロックに関わらず全画像データを単一の圧縮特性（本実施形態ではブロック１の圧縮特性）により圧縮し、通常圧縮符号データとして出力する。

選択圧縮演算部３４５はセレクタ（１）３４２ａ、セレクタ（２）３４２ｂ、圧縮演算部（２）３４３ａ（圧縮演算手段）、および圧縮演算部（３）３４３ｂ（圧縮演算手段）を備え、選択圧縮演算制御信号により制御される。具体的には、入力されるブロック化画像信号がブロック２およびブロック３の場合、選択圧縮演算制御信号が有効となり、選択圧縮演算部３４５の動作が許可される。同時にブロック情報がセレクタ（１）３４２ａおよびセレクタ（２）３４２ｂに入力され、あらかじめ設定されている圧縮演算部（２）３４３ａまたは圧縮演算部（３）３４３ｂが選択され、圧縮符号化が行われる。

ここで、ブロック２に係るブロック化画像信号は圧縮演算部（２）３４３ａによって、ブロック３に係るブロック化画像信号は圧縮演算部（３）３４３ｂによって、それぞれ圧縮符号化される。すなわち、入力された画像信号がブロック２の画像信号の場合、セレクタ（１）３４２ａによって画像信号は圧縮演算部（２）３４３ａへ出力され、圧縮符号化される。セレクタ（２）３４２ｂは、画像信号の入力元を圧縮演算部（２）３４３ａとし、入力されたデータを選択圧縮符号データとして出力する。また、入力された画像信号がブロック３の画像信号の場合、セレクタ（１）３４２ａによって画像信号は圧縮演算部（３）３４３ｂへ出力され、圧縮符号化される。セレクタ（２）３４２ｂは、画像信号の入力元を圧縮演算部（３）３４３ｂとし、入力されたデータを選択圧縮符号データとして出力する。

なお、ブロック１が入力されている場合には、選択圧縮演算制御信号が無効となり、選択圧縮演算部３４５の動作は停止する。以上により、ブロック毎に最適な圧縮演算部が選択され、それぞれ圧縮符号化される。上述したように、選択圧縮演算制御部３４１、セレクタ（１）３４２ａ、およびセレクタ（２）３４２ｂによって、複数の圧縮演算部の内から、歪み量の判定結果に対応した圧縮演算部が選択される。すなわち、これらの構成が本発明の選択手段および圧縮符号化選択手段の一実施形態である。

次に、伸張時の復号化部５の詳細な動作を説明する。復号化部５の構成は図６の通りである。ブロック情報、および圧縮符号化部３４により圧縮符号化された圧縮符号データ（通常圧縮符号データおよび選択圧縮符号データ）はブロック情報と共に記録部４に一旦格納された後、記録部４より読み出され、復号化部５の伸張部５１に入力される。伸張部５１の構成を図１５に示す。この図を参照して伸張部５１の動作を説明する。

前述したように、圧縮符号データは選択圧縮符号データと通常圧縮符号データから構成される。通常圧縮符号データは全画像データを圧縮したものであり、通常伸張演算部５１４（通常伸張演算手段）に入力される。選択圧縮符号データは、前述のように一部のブロック（ブロック２，ブロック３）を異なる圧縮演算部（２）３４３ａ，圧縮演算部（３）３４３ｂで圧縮したものである。選択圧縮符号データは、セレクタ（１）５１２ａ、セレクタ（２）５１２ｂ、伸張演算部（２）５１３ａ、および伸張演算部（３）５１３ｂを備えた選択伸張演算部５１７に入力される。

選択伸張演算制御部５１１は、ブロック情報に基づき選択伸張演算部５１７全体および画像置換部５１５を制御するものである。具体的には選択伸張演算制御部５１１は、ブロック情報に基づいた選択伸張演算制御信号によってセレクタ（１）５１２ａおよびセレクタ（２）５１２ｂを各々制御し、圧縮符号化時に選択した圧縮演算に対応する伸張演算を選択する。また、選択圧縮符号データが入力されない期間は無効となり，選択伸張演算制御部５１１は選択伸張演算部５１７の動作を停止させる。

選択圧縮符号データが入力される場合の動作は以下のようになる。すなわち、入力された選択圧縮符号データがブロック２のデータの場合、セレクタ（１）５１２ａによってデータは伸張演算部（２）５１３ａへ出力され、伸張される。セレクタ（２）５１２ｂは、データの入力元を伸張演算部（２）５１３ａとし、入力されたデータを出力する。また、入力された選択圧縮符号データがブロック３のデータの場合、セレクタ（１）５１２ａによってデータは伸張演算部（３）５１３ｂへ出力され、伸張される。セレクタ（２）５１２ｂは、データの入力元を伸張演算部（３）５１３ｂとし、入力されたデータを出力する。

こうして伸張された画像は、画像置換部５１５（画像置換手段）を備えたブロック連結部５１８に入力される。ブロック連結部５１８の出力にはさらに、伸張モード切替信号により、簡易的な通常伸張モードと高画質の選択伸張モードを切り替えるためのセレクタ（３）５１６（セレクタ手段）が接続されている。図１６（ａ）に示すように、通常伸張モードの場合には通常圧縮符号データのみの画像全体が伸張され、伸張画像データとして出力される。選択伸張モード時には図１６（ｂ）のようにブロック１については、通常圧縮符号データを伸張した通常伸張画像が出力される。ブロック１以外のブロック２およびブロック３の領域は、画像置換部５１５により、選択伸張演算部５１７で伸張された画像に置き換えられ、伸張画像データとして出力される。

上述したように、選択伸張演算制御部５１１、セレクタ（１）５１２ａ、およびセレクタ（２）５１２ｂによって、複数の伸張演算部の内から、圧縮符号化時に圧縮符号化を行った圧縮演算部の圧縮符号化特性（圧縮特性）に対応した伸張特性を有する伸張演算部が選択される。すなわち、これらの構成が本発明の伸張選択手段の一実施形態である。伸張部５１から出力された伸張画像データは、図６に示すように、表示画像処理部５３に入力され、各種処理が施される。

図１７に表示画像処理部５３の構成を示す。この図を参照して表示画像処理部５３の動作を説明する。伸張画像データは画像切り出し部５３１および切替部５３３に入力される。外部から設定されるズームモード切替信号が、録画時にズームを行うモード（録画時ズームモード）を示す場合には、すでに電子ズームおよび歪み補正が行われているため、切替部５３３は伸張画像データをそのまま表示画像データとして出力する。

一方、ズームモード切替信号が、再生時にズームを行うモード（再生時ズームモード）を示す場合には、撮影時の所定の画角、またはユーザが設定する画角を示す画角設定信号が画像切り出し部５３１に入力され、画像切り出し部５３１によって画像の切り出しが行われる。続いて、切り出された画像に対して歪み補正部５３２により光学的歪みの補正と拡大処理が行われた画像が切替部５３３により選択され、表示画像データとして出力される。

上述したように、本実施形態によれば、光学的な歪みを有する光学系の歪み量に対応した圧縮演算部を選択して画像信号の圧縮符号化を行うので、画質が必要以上に劣化することなく、また、データ量が著しく大きくなることなく圧縮符号化をすることが可能となり、光学的に歪みのある光学系を用いて撮像した画像を圧縮符号化する際の画質の劣化を抑えることができる。

また、圧縮演算の選択等の複雑な処理をブロック単位で行うことにより、画像信号の圧縮符号化を簡易かつ高速に実現することができる。このように、光学的な歪みを持つ画像をブロックに分割し、ブロック毎に最適な圧縮符号化演算を行うことにより、データサイズと画質を最適化した圧縮伸張を行うことができる。

また、本実施形態による録画再生システムでは、圧縮符号データの伸張時に、選択圧縮符号データを復号化した第１の伸張画像データと、通常圧縮符号データを復号化した第２の伸張画像データとを生成し、第２の伸張画像データの内、所定領域（本実施形態ではブロック２および３）の画像に対応した部分を、それに対応した第１の伸張画像データに置き換えて第３の伸張画像データを生成する。第２の伸張画像データは、第３の伸張画像データに画質は劣るが、処理時間はより短い簡易な画像を提供することができ、第３の伸張画像データは高画質な画像を提供することができる。本実施形態によれば、これらの伸張画像データを必要に応じて出力させることが可能な画像処理システムを提供することができる。

次に、第１の実施形態の変形例を以下に説明する。上述した第１の実施形態では、高画質な選択圧縮符号化と簡易的な（高速表示可能な）通常圧縮符号化を並行して行い、伸張時にそのどちらかの画像を選択している。具体的には、図１５に示すように、選択圧縮符号データと通常圧縮符号データを入力し、伸張モード切替信号でセレクタ（３）５１６によりどちらの伸張画像を用いるかを選択している。しかしながら、高速な画像表示を行わないようにし、記録部４に蓄積する圧縮符号化データをさらに削減することを可能とするシステムとしてもよい。本変形例は、このようなシステムに係るものである。

この場合、図２７に示すように、通常圧縮演算部３４４に対し、ブロック１の領域のみの圧縮演算を行い、ブロック２，３の領域については圧縮演算および圧縮符号化データの出力を行わせないことを指示する選択圧縮演算制御信号を選択圧縮演算制御部３４１より入力させるように構成する。この際のタイミングチャートは図２８のようになる。

一方、伸張部５１は、セレクタ（３）５１６が常に画像置換部５１５からの出力を選択するようにし、高画質な画像のみを伸張画像として出力するように構成する。ここで、画像置換部５１５は、選択伸張演算部５１７および通常伸張演算部５１４からの出力を連結する画像連結手段として機能する。

以上により、記録部４に蓄積する圧縮符号化データをさらに削減することが可能となる。なお、本変形例において、通常圧縮演算部３４４を、セレクタ（１）３４２ａとセレクタ（２）３４２ｂとによるブロック化画像信号の入力および出力の選択対象として構成してもよい。この場合、通常圧縮符号化データは選択圧縮符号化データの１つとなる。

また、本変形例において、通常伸張演算部５１４を、セレクタ（１）５１２ａとセレクタ（２）５１２ｂとによる入力および出力の選択対象とし、かつ通常圧縮符号データをセレクタ（１）５１２ａによる選択対象として構成してもよい。また、本変形例において、セレクタ（３）５１６を削除し、画像置換部５１５の出力を直接、画像表示部６に対する伸張画像データとして出力するように構成してもよい。

次に、本発明の第２の実施形態を説明する。図１８は、本発明の画像符号化装置を用いた遠隔監視システム（画像処理システム）の概略構成を示している。本実施形態による遠隔監視システムは以下の構成を備えている。歪み光学部１１ａを有する光学系１１およびイメージャ１２は、第１の実施形態で説明したものと同様であるため、説明を省略する。符号化部１３は、イメージャ１２から出力された画像信号に各種画像処理を行い、圧縮符号化して圧縮符号データを生成する。伝送路１４は、圧縮符号データを伝送する有線または無線の通信路である。復号化部１５は、伝送された圧縮符号データを復号化し、各種画像処理を行う。画像記録／表示部１６は、復号化された画像データに基づいた画像表示と画像データの記録を行う。符号化部１３および復号化部１５の概略動作は第１の実施形態と同様である。

以下、本実施形態の動作の詳細を説明する。図１９に符号化部１３の構成を示す。この図を参照して符号化部１３の動作を説明する。本実施形態では、画像信号は輝度信号と色差信号から構成される。画像信号は、撮像画像処理部１３２に入力され、第１の実施形態と同様の各種画像処理と電子ズームおよび歪み補正処理が行われる。この処理後の撮像画像処理画像データはブロック分割部１３４に入力される。第２の実施形態のブロック分割部１３４は、第１の実施形態のブロック分割部３３と異なり、あらかじめ定められたサイズに撮像画像処理画像データを分割する。

図２０にブロック分割の例を示す。例えば図２０（ａ）のような入力画像について説明する。第１の実施形態と同様に、歪み量により撮像画像を領域１，２，３に分ける例を説明する。図２０（ｂ）のように、歪み量により領域１に分類されるのはブロック１〜７，１２，１３，１８，１９，２４，２５，３０〜３６である。また、領域２に分類されるのはブロック８〜１１，１４，１７，２０，２３，２６〜２９であり、領域３に分類されるのはブロック１５，１６，２１，２２である。このように本実施形態では、画像は所定サイズの多数のブロック（ブロック１〜３６）に分割される。第１の実施形態では領域毎にブロック化を行ったが、本実施形態では固定長のブロックに分けた後、それぞれのブロックの持つ歪み量により圧縮演算の制御を行う。

図２１にブロック分割部１３４のブロック図を示す。この図を参照してブロック分割部１３４の動作を説明する。本実施形態では前述のように固定サイズのブロック化を行うため、イメージャ１２からのタイミング信号によりブロック情報の切替を行う。実際にはブロック位置演算部１３４１が、入力される画像信号に対応するブロック位置をタイミング信号に基づいて演算し、画像信号の属するブロックを示すブロック情報を生成してブロック情報付加部１３４２へ出力する。ブロック情報付加部１３４２はブロック毎に画像信号にブロック情報を付加し、ブロック分割画像データとして出力する。

図１９の歪み量出力部１３１は、各ブロック単位でその座標の歪み量を出力するものである。基本的な動作は第１の実施形態と同様である。出力された歪み量は圧縮選択信号出力部１３３に入力される。圧縮選択信号出力部１３３は、この歪み量に基づいて、各ブロック毎に最適な圧縮演算を選択し、選択結果を示す圧縮選択信号を圧縮符号化部１３５へ出力する。

図２２に圧縮選択信号出力部１３３の構成を示す。この図を参照して圧縮選択信号出力部１３３の動作を説明する。圧縮選択信号出力部１３３は、隣接ブロック圧縮選択信号蓄積部１３３１（選択結果保持手段）、比較演算部１３３２（選択信号生成手段）、および歪み量閾値蓄積部１３３３から構成される。各ブロックの持つ歪み量は比較演算部１３３２に入力される。また、歪み量閾値蓄積部１３３３には、歪み量に基づいて圧縮演算部（後述する図２５の圧縮演算部）を選択するための閾値があらかじめ格納されている。隣接ブロック圧縮選択信号蓄積部１３３１は、圧縮選択信号出力部１３３に入力される現ブロックと隣接する前ブロックの圧縮選択信号を蓄積するためのものである。これは、隣接ブロックと圧縮演算の特性が大きく変わると、その部分がノイズとなるので、それを防止するためのものである。

図２３に比較演算部１３３２の構成を示す。この図を参照して比較演算部１３３２の動作を説明する。歪み量比較部１３３４には、歪み量出力部１３１から歪み量が入力されると共に、歪み量閾値蓄積部１３３３から複数の閾値が入力される。歪み量比較部１３３４は、歪み量を複数の閾値と比較し、歪み量の値がいずれの範囲にあるのかを算出し、歪み量範囲情報として圧縮演算候補選択部１３３５へ出力する。圧縮演算候補選択部１３３５は、歪み量範囲情報に基づいて、現ブロックに対応する圧縮演算候補の選択を行い、選択結果を示す信号を圧縮演算選択部１３３６へ出力する。圧縮演算選択部１３３６は、候補の中から、隣接ブロック圧縮選択信号が示す前ブロックの圧縮演算と特性が近く（現ブロックの圧縮演算候補が前ブロックの圧縮演算の所定の範囲内となるように）、かつ、歪み量から最適となる圧縮演算の選択を行い、圧縮選択信号として出力する。

以下、図２４を参照して圧縮演算選択部１３３６の動作を説明する。ここで、歪み量１のブロックｍと歪み量２のブロックｍ＋１，ｎ，ｎ＋１があるものとする。ブロックｍでは圧縮演算１が選択されている。ここで、歪み量２に対する圧縮演算候補として圧縮演算２と圧縮演算３と圧縮演算４が選択されるとする。また、圧縮演算２は圧縮演算１に最も特性が近く、圧縮演算４は圧縮演算１から最も特性が離れているものとする。また、歪み量に対しては、圧縮演算３が最適なものであるとする。

ここで、ブロックｍ＋１とブロックｎでは、最適な圧縮演算は圧縮演算３であるが、隣接するブロックｍの圧縮演算１とは圧縮特性が離れてしまうため、圧縮演算１に特性の近い圧縮演算２が選択される。ブロックｎ＋１では、隣接ブロック（ブロックｍ＋１，ｎ）の圧縮演算は圧縮演算２であり、圧縮演算２は最適な圧縮演算３に近いため、圧縮演算３が選択される。以上によればブロックｍとｍ＋１とｎ＋１の圧縮特性は近く、また、ブロックｎとｍ＋１とｎ＋１の特性が近いため、圧縮特性の違いによるノイズは目立ちにくくなる。圧縮演算選択部１３３６は上記のようにして各ブロックの圧縮演算を選択する。

上述した圧縮選択信号出力部１３３によって生成された圧縮選択信号は圧縮符号化部１３５に入力される。図２５に圧縮符号化部１３５の構成を示す。この図を参照して圧縮符号化部１３５の動作を説明する。前述のように本実施形態では、輝度信号と色差信号より画像信号が構成される。一般に解像度に影響するのは輝度信号であり、通常のＪＰＥＧ圧縮においても、輝度信号と色差信号は異なる圧縮特性にて圧縮される。本実施形態では、圧縮符号化部１３５における処理を簡易化するため、解像度に関わる輝度信号（Ｙ）に対しては選択圧縮により最適な圧縮を行い、色差信号（Ｃｂ，Ｃｒ）に対しては通常の固定圧縮演算にて圧縮符号化を行う。

輝度信号フラグ出力部１３５１（フラグ出力手段）は、圧縮符号化部１３５に入力されている画像信号が輝度信号かどうかを示すフラグ（画像信号の種類に応じたフラグ）を出力するものである。すなわち、フラグが色差信号を示す場合には固定圧縮演算部１３５５により圧縮を行うようにセレクタ（１）１３５２ａとセレクタ（２）１３５２ｂを切り替える。また、フラグが輝度信号を示す場合には、選択圧縮演算部１３５６により圧縮を行うようにセレクタ（１）１３５２ａとセレクタ（２）１３５２ｂを切り替える。

選択圧縮演算部１３５６には前述の圧縮選択信号が入力される。選択圧縮演算部１３５６では、セレクタ（３）１３５３ａとセレクタ（４）１３５３ｂにより、圧縮演算部（１）１３５４ａ，圧縮演算部（２）１３５４ｂ、・・・圧縮演算部（ｎ）１３５４ｃの中から各ブロックに適した圧縮演算部が選択される。セレクタ（２）１３５２ｂからは、輝度信号および色差信号のそれぞれの圧縮符号データが出力される。なお、圧縮選択信号は圧縮符号データと共に伝送路１４を伝送し、復号化部１５において後述の伸張選択信号として用いられる。

次に、図１８の復号化部１５の詳細な動作を説明する。図２６に復号化部１５の構成を示す。符号化部１３と同様に、輝度信号フラグ出力部１５１は、入力された圧縮符号データが輝度信号かどうかを示すフラグを出力する。フラグが色差信号を示す場合には、固定伸張演算部１５５により圧縮を行うようにセレクタ（１）１５２ａとセレクタ（２）１５２ｂを切り替える。この場合、圧縮符号データは固定伸張演算部１５５に入力され、固定伸張演算部１５５により伸張される。

一方、フラグが輝度信号を示す場合には、選択伸張演算部１５６により伸張を行うようにセレクタ（１）１５２ａとセレクタ（２）１５２ｂを切り替える。この場合、圧縮符号データは選択伸張演算部１５６に入力される。輝度信号を圧縮符号化したデータに関しては、同時に伝送される伸張選択信号に基づいて、圧縮演算に対応した伸張演算が選択される。選択伸張演算部１５６では、セレクタ（３）１５３ａとセレクタ（４）１５３ｂにより、伸張演算部（１）１５４ａ，伸張演算部（２）１５４ｂ、・・・伸張演算部（ｎ）１５４ｃの中から各ブロックに適した伸張演算部が選択される。セレクタ（２）１５２ｂからは伸張された画像データが出力される。

上記のようにして伸張された画像データに対してさらに各種画像処理が施され、画像記録／表示部１６において画像の表示や記録が行われる。本実施形態では画像信号を輝度信号と色差信号で入力するものとしたが、例えば全て色信号Ｒ，Ｇ，Ｂで構成される信号でも同様の処理が可能である。この場合、解像度に大きく影響するのはＧ信号であるため、Ｇ信号を選択圧縮演算で圧縮符号化し、Ｒ，Ｂは固定圧縮演算で圧縮符号化を行う。

上述したように、本実施形態によれば、第１の実施形態で説明した効果以外に以下の効果を得ることができる。すなわち、図２２を参照して説明したように、現ブロックに隣接するブロックにおける圧縮演算の選択結果に基づき、現ブロックの圧縮演算を選択するので、圧縮符号化の特性の相違を抑え、ブロック間での画質の差が小さい高画質な圧縮／伸張画像を得ることができる。

また、フラグ信号により、画像信号の種別、例えば輝度信号と色差信号の区別を行い、画質への影響が少ないとされる色差信号では通常圧縮演算部を選択して圧縮符号化を行い、画質に影響する輝度信号では選択圧縮演算部を選択して圧縮符号化を行うことにより、複雑な処理を必要最低限のデータに対して行うことができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、歪みによる領域の分割数を３とし、中心から周辺に向けて分割する例を用いて説明したが、各種の分割数や分割方法を適用することが可能である。また、歪み光学系としてシリンドリカルレンズを用いた例を用いて説明したが、共軸系の光学系でも同様の構成が可能である。さらに、符号化部と復号化部を一対一に対応する例を用いて説明しているが、一対多の構成でも可能であり、例えば、同じ筐体内の復号化部で伸張をする場合や、外部のコンピュータでソフトウエアにより伸張する例でも適用可能である。

本発明の第１の実施形態による画像符号化装置（符号化部）の構成を示すブロック図である。 本発明の第１の実施形態による録画再生システムの構成を示すブロック図である。 本発明の第１の実施形態による録画再生システムが備える歪み光学部の構成を示す構成図である。 本発明の第１の実施形態による録画再生システムが備える歪み光学部を有する光学系による撮像例を示す参考図である。 本発明の第１の実施形態による録画再生システムで行われる電子ズームの例を示す参考図である。 本発明の第１の実施形態による録画再生システムが備える復号化部の構成を示すブロック図である。 本発明の第１の実施形態による符号化部が備える撮像画像処理部の構成を示すブロック図である。 本発明の第１の実施形態におけるブロック分割例を示す参考図である。 本発明の第１の実施形態におけるブロック分割例を示す参考図である。 本発明の第１の実施形態による符号化部が備える歪み量出力部の構成を示すブロック図である。 本発明の第１の実施形態による符号化部が備えるブロック分割部の構成を示すブロック図である。 本発明の第１の実施形態におけるブロック分割方法を説明するための参考図である。 本発明の第１の実施形態による符号化部が備える圧縮符号化部の構成を示すブロック図である。 本発明の第１の実施形態による符号化部が備える圧縮符号化部の動作を示すタイミングチャートである。 本発明の第１の実施形態による復号化部が備える伸張部の構成を示すブロック図である。 本発明の第１の実施形態における伸張方法を説明するための参考図である。 本発明の第１の実施形態による復号化部が備える表示画像処理部の構成を示すブロック図である。 本発明の第２の実施形態による遠隔監視システムの構成を示すブロック図である。 本発明の第２の実施形態による画像符号化装置（符号化部）の構成を示すブロック図である。 本発明の第２の実施形態におけるブロック分割例を示す参考図である。 本発明の第２の実施形態による符号化部が備えるブロック分割部の構成を示すブロック図である。 本発明の第２の実施形態による符号化部が備える圧縮選択信号出力部の構成を示すブロック図である。 本発明の第２の実施形態による符号化部が備える比較演算部の構成を示すブロック図である。 本発明の第２の実施形態における圧縮演算の選択方法を説明するための参考図である 本発明の第２の実施形態による符号化部が備える圧縮符号化部の構成を示すブロック図である。 本発明の第２の実施形態による復号化部の構成を示すブロック図である。 本発明の第１の実施形態の変形例による符号化部が備える圧縮符号化部の構成を示すブロック図である。 本発明の第１の実施形態の変形例による符号化部が備える圧縮符号化部の動作を示すタイミングチャートである。

符号の説明

１，１１・・・光学系、１ａ，１１ａ・・・歪み光学部、２，１２・・・イメージャ、３，１３・・・符号化部、４・・・記録部、５，１５・・・復号化部、６・・・画像表示部、１４・・・伝送路、１６・・・画像記録／表示部

Claims (6)

1. 入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
   各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、
   前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する選択手段と、
   を有する画像符号化装置。
2. 前記画像信号を、前記歪み量に応じて複数のブロックに分割して出力するブロック分割手段をさらに有し、
   前記歪み量判定手段は、前記ブロックに対応した画像の光学的な歪み量を判定し、
   前記圧縮演算手段は、前記ブロックを単位として圧縮符号化データに変換する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記ブロックに対する前記圧縮演算手段の選択結果を保持する選択結果保持手段と、
   現ブロックに対する前記歪み量判定手段の前記判定結果と、前記現ブロックに隣接する前記ブロックに係る、前記選択結果保持手段から入力される前記選択結果とに基づき、前記現ブロックを前記圧縮符号化データに変換する前記圧縮演算手段を選択するための信号を生成する選択信号生成手段と、
   をさらに有することを特徴とする請求項２に記載の画像符号化装置。
4. 前記選択手段は、
   前記画像信号の種類に応じたフラグ信号を出力するフラグ出力手段と、
   単一の圧縮符号化特性により前記画像信号を前記圧縮符号化データに変換する通常圧縮演算手段と、
   前記フラグ信号に基づいて、前記通常圧縮演算手段と前記複数の圧縮演算手段の内のいずれかを選択して前記画像信号を入力するセレクタ手段と、
   を有することを特徴とする請求項１〜請求項３のいずれかの項に記載の画像符号化装置。
5. 入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
   各々異なる圧縮符号化特性を備え、前記画像信号を第１の圧縮符号化データに変換する複数の圧縮演算手段と、
   前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、
   単一の圧縮符号化特性により前記画像信号を第２の圧縮符号化データに変換する通常圧縮演算手段と、
   を有する画像符号化装置と、
   前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記第１の圧縮符号化データを第１の伸張画像データに変換する複数の伸張演算手段と、
   前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、
   前記第２の圧縮符号化データを第２の伸張画像データに変換する通常伸張演算手段と、
   前記第２の伸張画像データの内、所定領域の画像に対応した部分を、前記所定領域の画像に対応した前記第１の伸張画像データに置き換えて第３の伸張画像データを生成する画像置換手段と、
   外部から入力されるモード信号に基づき、前記第２の伸張画像データまたは前記第３の伸張画像データを選択して出力するセレクタ手段と、
   を有する画像復号化装置と、
   を有する画像処理システム。
6. 入力される画像信号に対応した画像の光学的な歪み量を判定する歪み量判定手段と、
   各々異なる圧縮符号化特性を備え、前記画像信号を圧縮符号化データに変換する複数の圧縮演算手段と、
   前記複数の圧縮演算手段の内から、前記歪み量判定手段の判定結果に対応した前記圧縮演算手段を選択する圧縮符号化選択手段と、
   を有する画像符号化装置と、
   前記複数の圧縮演算手段の圧縮符号化特性に対応した各々異なる伸張特性を備え、前記圧縮符号化データを伸張画像データに変換する複数の伸張演算手段と、
   前記複数の伸張演算手段の内から、前記圧縮演算手段の圧縮符号化特性に対応した伸張特性を有する前記伸張演算手段を選択する伸張選択手段と、
   複数の前記伸張画像データを連結する画像連結手段と、
   を有する画像復号化装置と、
   を有する画像処理システム。
   
   

Images