JP2004187036A - 輪郭補正システム - Google Patents

Abstract

【課題】アパーチャ補正による圧縮効率の低下を改善する。
【解決手段】エンコーダ１０９は、色処理回路１０４から出力される色信号と輝度信号処理回路１０５で処理されたアパーチャ補正無しの輝度信号とを圧縮符号化する。画像解析回路１１１は、撮影画像の状態の解析結果に従いアパーチャ制御情報を生成する。多重化回路１１０は、エンコーダ１０９で圧縮符号化された画像データにアパーチャ制御情報を多重化し、画像出力部１２１へ出力する。アパーチャ制御情報抽出回路１１２は、多重化回路１１０の出力から圧縮画像データとアパーチャ制御情報を分離し、前者をデコーダ１１３に、後者をアパーチャ補正回路１１４に印加する。デコーダ１１３は圧縮符号化画像データを伸長する。アパーチャ補正回路１１４は、回路１１２からのアパーチャ制御情報に従い、デコーダ１１３の出力画像データにアパーチャ補正を行う。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、光学系を介して撮影された撮影画像に対して、撮影画像の輪郭を強調する輪郭補正システムに関する。
【０００２】
【従来の技術】
従来のビデオカメラ等の映像信号処理装置では、アパーチャ効果などにより失われた高周波成分を補う為に撮像時にアパーチャ補正を行っている。図１２は、従来のビデオカメラの概略構成ブロック図を示す。１２０１はＣＣＤ撮像素子などの撮像素子である。１２０２はＡ／Ｄ変換器である。１２０３は輝度信号成分（Ｙ）と色信号成分（Ｃ）の分離を行う輝度信号・色信号分離回路である。１２０４は得られた色信号を処理する色処理回路、１２０５はガンマ処理回路、１２０６は遅延回路、１２０７はアパーチャ信号を生成するアパーチャ信号生成回路、１２０８はアパーチャ信号のゲインを調節するゲインコントローラ、１２０９は加算回路、１２１０は入力された画像信号を符号化するエンコーダである。
【０００３】
図１２に示すビデオカメラの動作を説明する。光学系を通して光束が撮像素子１２０１に入射すると、撮像信号が撮像素子１２０１から出力される。撮像素子１２０１から出力された撮像信号は、Ａ／Ｄ変換器１２０２によりデジタル信号に変換され、輝度信号・色信号分離器１２０３へ入力される。輝度信号・色信号分離器１２０３は、撮像信号を輝度信号Ｙと色信号Ｃに分離する。色信号は色処理回路１２０４へ入力され、ホワイトバランス及び色相補正などの色処理が行われる。一方、輝度信号Ｙは、ガンマ補正回路１２０５においてガンマ補正された後、遅延回路１２０６及びアパーチャ信号生成回路１２０７に入力される。
【０００４】
アパーチャ信号生成回路１２０７は、輝度信号からアパーチャ信号を生成し、ゲインコントローラ１２０８へ出力する。ゲインコントローラ１２０８は、入力されたアパーチャ信号のゲインを調節し、加算回路１２０９に出力する。加算回路１２０９は、遅延回路１２０６で遅延された輝度信号にアパーチャ信号を加算する。アパーチャ信号を加えられた撮像信号は、色処理回路１２０４により色処理された信号と共に、エンコーダ１２１０へ入力され、符号化処理される。
【０００５】
上記のように、従来のビデオカメラでは減衰した高周波数成分をアパーチャ補正により補った後、エンコードすることで、解像感のある撮影画像を得ることができる。
【０００６】
また、その他のアパーチャ補正方法としては、圧縮された画像データを伸張した後、伸張画像データの輝度信号についてアパーチャ補正するものがある。（例えば、特開２０００−３０８０１１号公報参照。）。この方法によれば、アパーチャ補正後に画像圧縮する方式に比較して、圧縮前に画像の高周波成分をより多く除去できるので、画像の圧縮率を向上させることができる。
【０００７】
【発明が解決しようとする課題】
エンコード時には、一般に符号化効率を良くするために、人間の目の感度が高い低周波成分は細かく量子化し、感度が低い高周波成分を粗く量子化している。しかし、上記従来のビデオカメラように、アパーチャ補正により高周波成分を補正した後に符号化すると、高周波成分の値が大きくなるので、高周波成分を粗く量子化する場合においても符号量が増大し、符号化効率が悪化するという問題があった。
【０００８】
また、その他の従来技術である伸長画像についてアパーチャ補正する方法では、高精細な画像を再現する為に必要となる高周波成分の多くは圧縮前に除去されており、また、既に圧縮された画像データを伸張することによって得られる範囲でしか画像を再現することができない。従って、圧縮率は高いものの、画像の再現性に優れないという問題があった。
【０００９】
本発明は、上記問題点を考慮し、符号化効率を悪化させることなく画像の状態に応じて解像感を補うことの可能な輪郭補正システムを提示することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る輪郭補正システムは、光学系により結像された被写体像を映像信号に変換する撮像手段による撮影画像データを圧縮符号化し、圧縮符号化データとして伝送する圧縮符号化処理手段と、前記圧縮符号化データを復号する復号処理手段とを備え、前記撮影画像データに対するアパーチャ補正情報を生成し、上記圧縮符号化データに付加し前記復号処理側へ伝送し、前記復号処理側では前記圧縮符号化データに付加された前記アパーチャ補正情報に基づき復号画像データに対しアパーチャ補正を行った後、前記復号画像データを出力することを特徴とする。
【００１１】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１２】
（第１実施例）
図１は本発明の第１実施例の概略構成ブロック図を示す。１０１はＣＣＤ撮像素子などの撮像素子である。１０２はＡ／Ｄ変換器である。１０３は輝度信号成分（Ｙ）と色信号成分（Ｃ）を分離する輝度信号・色信号分離回路である。１０４は得られた色信号を処理する色処理回路、１０５は得られた輝度信号を処理する輝度信号処理回路である。１０６は光学系を制御する光学系制御回路である。１０７は画像信号の利得を制御する自動利得制御回路である。１０９は処理された輝度信号及び色信号を圧縮符号化するエンコーダである。１１０は符号化画像データとアパーチャ制御情報を多重化する多重化回路である。１１１は各入力信号から撮影画像の状態を解析し、アパーチャ制御情報を生成する画像解析回路である。
【００１３】
１１２は、伝送されたデータからアパーチャ制御情報を抽出するアパーチャ情報抽出回路である。１１３は圧縮符号化されたデータを復号するデコーダである。１１４はアパーチャ補正回路である。
【００１４】
また、１２０は、撮像された画像信号を圧縮符号化する画像入力部、１２１は圧縮符号化データを復号し、出力する画像出力部である。１２２はアパーチャ制御情報が多重された圧縮符号化データを記録再生可能な記録再生部である。
【００１５】
図２（ａ），（ｂ）は、アパーチャ補正回路１１３において生成されるアパーチャ信号の特性例を示す。各グラフの横軸は周波数を示し、縦軸はアパーチャ信号の振幅を示す。ｆｓはサンプリング周波数である。図２（ｃ），（ｄ）は、アパーチャ信号とベースクリップの関係を示す。ベースクリップは、アパーチャ信号の振幅を０にする処理であり、その詳細は後述する。
【００１６】
図１に示す実施例の動作を説明する。画像入力部１２０では、光学系を通して光束が撮像素子１０１に入射すると、撮像信号が撮像素子１０１から出力される。撮像素子１０１から出力された撮像信号は、ＡＧＣ回路１０７で自動利得制御された後、Ａ／Ｄ変換器１０２によりデジタル信号に変換され、輝度信号・色信号分離器１０３へ入力される。輝度信号・色信号分離器１０３は、撮像信号を輝度信号Ｙと色信号Ｃに分離する。色信号は色処理回路１０４へ入力され、γ補正、ホワイトバランス及び色相補正などの色処理が行われる。一方、輝度信号Ｙは輝度信号処理回路１０５へ入力され、γ補正などの処理が行われる。色処理回路１０４及び輝度信号処理回路１０５の出力はエンコーダ１０９に入力する。エンコーダ１０９は、色処理回路１０４から出力される色信号と輝度信号処理回路１０５で処理されたアパーチャ補正無しの輝度信号とを所定方式で圧縮符号化する。
【００１７】
画像解析回路１１１は、光学系制御回路１０６の制御信号、ＡＧＣ回路１０７の制御信号、撮影画像信号及びエンコーダ１０９からの圧縮パラメータ等の画像情報を受け取って画像の状態を解析し、その解析結果に従いアパーチャ制御情報を生成し、多重化回路１１０へ供給する。多重化回路１１０は、エンコーダ１０９で圧縮符号化された画像データにアパーチャ制御情報を多重化した後、画像出力部１２１へ出力する。
【００１８】
ここで、記録再生部１２２は画像入力部１２０から出力されたデータを入力して、記録することが可能である。記録再生部１２２はハードディスク、光磁気ディスク、固体メモリあるいは磁気テープ等の記録媒体を備えている。また、記録再生部１２２は、具備した記録媒体に記録されているデータを再生して、画像出力部１２１へ出力することが可能である。
【００１９】
画像出力部１２１の動作を説明する。アパーチャ制御情報抽出回路１１２は、入力したデータから圧縮符号化画像データとアパーチャ制御情報を分離し、圧縮符号化画像データをデコーダ１１３に、アパーチャ制御情報をアパーチャ補正回路１１４に印加する。デコーダ１１３は、圧縮符号化画像データを伸長し、得られた画像データをアパーチャ補正回路へ印加する。アパーチャ補正回路１１４は、アパーチャ制御情報抽出回路１１２からのアパーチャ制御情報に従い、デコーダ１１３からの画像データにアパーチャ補正を行う。
【００２０】
画像解析回路１１１において、画像の状態に応じてアパーチャ制御情報を生成する方法を詳しく説明する。
【００２１】
まず、画像の明るさに応じたアパーチャ補正の制御方法を説明する。ＡＧＣ回路１０７の制御信号又は画像信号の輝度値から撮影画像の明るさを解析できる。例えば、ＡＧＣ回路１０７のゲインが大きくなるような場合は、暗くＳ／Ｎの悪い画像、逆に、ＡＧＣ回路１０７のゲインが小さくなる場合は、明るくＳ／Ｎの良い画像と判断される。
【００２２】
画像解析回路１１１は、画像が明るいと判断される場合、図２（ａ）に示すようにアパーチャ信号の中心周波数及びゲインを高く設定するようなアパーチャ制御情報を生成する。これは、明るくＳ／Ｎの良い画像の場合、高周波数成分に大きなアパーチャ信号を加えても、ノイズ成分まで増強することなく、高い解像感を得ることができるからである。即ち、この場合、画像解析回路１１１は、図２（ｃ）に示すように、アパーチャ信号のベースクリップ閾値を低くするようなアパーチャ制御情報を生成する。ここで、ベースクリップとは、生成したアパーチャ信号の所定振幅以下の入力値をノイズ成分とみなして０にする処理であり、ベースクリップの閾値とは、このベースクリップ処理を行う際の振幅の閾値である。つまり、Ｓ／Ｎの悪い画像の場合には、ベースクリップの閾値を高くすることで、ノイズ成分がカットされたアパーチャ信号を生成できる。ここでの例のように、Ｓ／Ｎが良い画像の場合は、ノイズが少ないので、アパーチャ信号のベースクリップ閾値を小さくしても、ノイズ成分を増幅することがないアパーチャ補正を行うことが可能である。
【００２３】
逆に画像が暗いと判断される場合、画像解析回路１１１は、図２（ｂ）に示すようにアパーチャ信号の中心周波数及びゲインを低く設定するようなアパーチャ制御情報を生成する。画像が暗くＳ／Ｎの悪い画像の場合、高い周波数成分からアパーチャ信号を生成するとノイズ成分を多く含んでしまうが、アパーチャ信号の中心周波数を低く設定することにより、暗くても輪郭のはっきりした画像を得ることができる。また、アパーチャ信号のベースクリップ閾値を図２（ｄ）に示すように高くすることにより、アパーチャ信号のノイズ成分を除去し、輪郭のみを強調することが可能となる。
【００２４】
次に、画像のコントラストに応じたアパーチャ補正の制御方法を説明する。画像解析回路１１１は、画像信号の輝度値から撮影画像のコントラストを解析できる。
【００２５】
画像解析回路１１１は、画像のコントラストが高いと判断される場合、アパーチャ信号の中心周波数を高くするようなアパーチャ制御情報を生成する。これは、撮影画像のコントラストが高い場合、高周波成分にアパーチャ信号を加えることでより高い解像感を得ることができるからである。
【００２６】
一方、画像のコントラストが低い画像の場合、画像解析回路１１１は、アパーチャ信号の中心周波数を低くし、ゲインを大きくするようなアパーチャ制御情報を生成する。低めの周波数成分からアパーチャ信号を生成することにより、画像に太い輪郭を付け、また、アパーチャのゲインを大きくすることで輪郭を強調できる。これにより、コントラストの低い画像であっても輪郭のはっきりした画像を得ることが可能となる。
【００２７】
画像の圧縮率又は圧縮歪の大きさに応じたアパーチャ補正の制御方法を説明する。画像解析回路１１１は、エンコーダ１０９からの撮影画像の圧縮符号化パラメータに従い画像の圧縮率を解析する。
【００２８】
画像の圧縮率が高いと判断される場合、画像解析回路１１１は、アパーチャ信号の中心周波数及びゲインを低くするようなアパーチャ制御情報を生成する。圧縮率が高い場合、高周波数成分の多くが無くなっているので、中〜低周波成分からアパーチャ信号を生成することで、太いはっきりした輪郭をつける効果がある。また、圧縮率が高い場合には、圧縮伸長の際のノイズも多く含まれると考えられるので、ノイズを増幅しないように、アパーチャ信号のゲインを低くする。また、ノイズが多いので、アパーチャ信号のベースクリップ閾値を図２（ｄ）に示すように高めに設定することにより、ノイズを増幅することなく輪郭を補正できる。また、圧縮率がさらに高く、アパーチャ補正によりさらにノイズが強調されてしまうような場合には、画像解析回路１１１は、アパーチャ補正を行わないようなアパーチャ制御情報を生成する。
【００２９】
一方、画像解析回路１１１は、画像の圧縮率が低いと判断される場合、Ｓ／Ｎが良く画像信号の高周波数成分も多く残っていると考えられるので、高周波成分からアパーチャ信号を生成する。これにより、高いゲインで高い解像感を得ることが可能である。また、アパーチャ信号のベースクリップ閾値も、図２（ｃ）に示すように低めに設定しても、ノイズを増幅することなくアパーチャ補正を行うことが可能である。
【００３０】
次に、撮像装置の絞りの大きさに応じたアパーチャ補正の制御方法を説明する。画像解析回路１１１は、光学系制御回路１０６からの絞り制御信号から絞りによる画像状態を解析する。
【００３１】
画像解析回路１１１は、絞りの開度が小さく、レンズでの光の回折によりＭＴＦが劣化すると判断される場合、アパーチャ信号の中心周波数を低く設定し、アパーチャ信号のゲインを高くするようなアパーチャ制御情報を生成する。これは、絞りの開度に応じた光の回折によりＭＴＦが劣化し解像感が不足した画像になるので、中心周波数が低めのアパーチャ信号を生成することで画像に太い輪郭を付け、アパーチャ信号のゲインを大きくすることではっきりした画像を得ようとするものである。
【００３２】
一方、画像解析回路１１１が、絞りが開放であると判断される場合、アパーチャ信号の中心周波数を高くするようなアパーチャ制御情報を生成する。これにより、高周波数成分まで解像感のある画像を得ることが可能である。
【００３３】
次に、撮像装置のフォーカスの合焦状態に応じたアパーチャ補正の制御方法を説明する。画像解析回路１１１は、光学系制御回路１０６からのフォーカスの制御信号によりフォーカスの合焦状態を解析する。
【００３４】
画像解析回路１１１は、フォーカスが合焦状態と判断される場合、通常のアパーチャ補正を行うようなアパーチャ制御情報を生成する。
【００３５】
一方、画像解析回路１１１は、フォーカスが非合焦状態であると判断される場合、アパーチャ信号の中心周波数を低くするようなアパーチャ制御情報を生成する。フォーカスが合焦状態でない場合には、ぼやけた画像になるので、太いはっきりした輪郭をつけることで、画像を見やすくしようとするものである。
【００３６】
さらに、上記状態よりもさらにフォーカスが合っておらず、アパーチャ補正の効果が見られないようなときには、画像解析回路１１１は、アパーチャ補正を行わないアパーチャ制御情報を生成する。
【００３７】
次に、撮像装置のズームの状態に応じたアパーチャ補正の制御方法を説明する。画像解析回路１１は、光学系制御回路１０６からの光学ズームの制御信号に従い、光学ズームの制御状態を解析する。
【００３８】
画像解析回路１１１は、撮影画像がズーム中であると判断される場合には、アパーチャ信号の中心周波数を低くするようなアパーチャ制御情報を生成する。ズーム中には高周波成分が失われ、ぼやけた画像になるので、太いはっきりした輪郭をつけることで、画像を見やすくすることを狙っている。
【００３９】
また、ズーム中には解像感をあまり重視しないような場合、画像解析回路１１１は、アパーチャ補正は行わないアパーチャ制御情報を生成する。
【００４０】
以上、画像の明るさ、コントラスト、圧縮率、絞り、フォーカス及びズーム制御信号の状態に応じたアパーチャ制御情報の生成例を説明した。これらすべての状態を加味して、アパーチャ制御情報を生成してもよいし、これらのうちの１又は２以上の組み合わせからアパーチャ制御情報を生成してもよい。更には、画像の状態に応じて複数段階的にアパーチャ制御情報を変更する方法を追加しても良い。
【００４１】
以上のようにして生成されたアパーチャ制御情報は、画像信号とともにアパーチャ補正回路１１４に入力される。アパーチャ補正回路１１４は、そのアパーチャ制御情報に基づき画像にアパーチャ補正を行う。これにより、解像感のある画像を得ることが可能となる。ここで、画像解析回路１１１における画像の明るさ及びコントラスト等を検出するアルゴリズムは、既存のものでかまわない。また、上記以外の他の画像状態を考慮してもかまわず、アパーチャ補正の具体的方法も、どのようなものであってもよい。
【００４２】
（第２実施例）
第２実施例として、圧縮符号化時にＤＣＴ変換を用いる実施例を説明する。図３は、第２実施例の概略構成ブロック図を示す。３０１はＣＣＤ撮像素子などの撮像素子である。３０２はＡ／Ｄ変換器である。３０３は輝度信号成分（Ｙ）と色信号成分（Ｃ）の分離を行う輝度信号・色信号分離回路である。３０４は得られた色信号を処理する色処理回路、３０５は得られた輝度信号を処理する輝度信号処理回路である。３０６は光学系制御回路である。３０７は画像信号の自動利得制御回路（ＡＧＣ）である。
【００４３】
３０８は量子化テーブルである。３０９は処理された輝度信号および色信号をＤＣＴ（離散コサイン変換）を用いて圧縮符号化するエンコーダである。３１０は符号化画像データとアパーチャ制御情報を多重化する多重化回路である。３１１は画像の状態を解析し、アパーチャ補正情報を生成する画像解析回路である。
【００４４】
３１２は伝送されたデータからアパーチャ制御情報を抽出するアパーチャ情報抽出回路である。３１３は、符号化された画像データを可変長復号化し、量子化されたＤＣＴ係数を得る復号化器である。３１４は逆量子化回路である。３１５はＤＣＴ係数を処理する係数処理回路である。３１６は逆ＤＣＴ回路である。
【００４５】
３２０は撮像された画像信号を圧縮符号化する画像入力部、３２１は符号化データを復号し出力する画像出力部である。３２２はアパーチャ制御情報が多重された圧縮符号化データを記録再生可能な記録再生部である。
【００４６】
図４は、画像データをブロック単位に分割した例を示し、図５はブロックの係数例を示す。
【００４７】
図３に示す実施例の動作を説明する。画像入力部３２０において撮像素子３０１で画像が撮像され、各信号処理を経てエンコーダ３０９によりエンコードされるまでの流れは、第１実施例と同様である。ただし、エンコーダ３０９での圧縮符号化時に、各画像は、図４（ａ）に示すように８×８画素単位でブロック化される。４０１は画像中の１つのブロックを示す。各ブロックのＤＣＴ係数は、図５（ａ）のように表される。この各ＤＣＴ係数は、右側に行くほど水平周波数が高い成分になり、下側に行くほど垂直周波数が高い成分になる。水平・垂直とも最も低い周波数の成分は、直流成分５０１と呼ばれ、それ以外は交流成分５０２と呼ばれる。
【００４８】
画像解析回路３１１は、光学系制御回路３０６の制御信号、ＡＧＣ３０７の制御信号、撮影画像信号、エンコーダ３０９からの圧縮パラメータ及び量子化テーブル３０８等の情報を受け取って画像の状態を解析し、その解析結果によりアパーチャ制御情報を生成する。このアパーチャ制御情報は、圧縮画像データと多重化されて画像出力部３２１へ伝送される。
【００４９】
ここで、記録再生部３２２は画像入力部３２０から出力されたデータを入力して、記録することが可能である。記録再生部３２２はハードディスク、光磁気ディスク、固体メモリあるいは磁気テープ等の記録媒体を備えている。また、記録再生部３２２は、具備した記録媒体に記録されているデータを再生して、画像出力部３２１へ出力することが可能である。
【００５０】
画像出力部３２１では、アパーチャ制御情報抽出回路３１２が、入力されたデータから圧縮符号化された画像データとアパーチャ制御情報を分離し、前者を可変長復号化回路３１３に、後者を計数処理回路３１５に供給する。可変長復号回路３１３は、圧縮符号化画像データを可変長復号し、量子化されたＤＣＴ係数を出力する。この量子化されたＤＣＴ係数は、逆量子化回路３１４により逆量子化され、係数処理回路３１５へ入力される。係数処理回路３１５は、アパーチャ制御情報抽出回路３１２からのアパーチャ制御情報に従い、逆量子化回路３１４からのＤＣＴ係数を後述するように処理する。逆ＤＣＴ回路３１６は、係数処理回路３１５により処理されたＤＣＴ係数を逆ＤＣＴ変換し、得られた画像データを出力する。
【００５１】
画像解析回路３１１における画像状態の判定方法と、アパーチャ制御情報に基づき係数処理回路３１５で行われるＤＣＴ係数の処理を詳しく説明する。
【００５２】
まず、画像解析回路３１１において画像の明るさを求める処理を説明する。画像の明るさは、画像中の各ブロックのＤＣＴ係数の直流成分の合計値又は直流成分の平均値によって判断できる。これらの直流成分データが所定の閾値を超えていた場合には明るいと判断され、閾値以下の場合には暗いと判断される。
【００５３】
画像が明るいと判断されると、画像解析回路３１１は、第１実施例と同様に、アパーチャ信号の中心周波数とゲインを高くし、ベースクリップ閾値を低くするようなアパーチャ制御情報を生成する。このアパーチャ制御情報は、多重化回路３１０で符号化画像データと多重化されて、画像出力部３２１に伝送される。
【００５４】
画像出力部３２１では、アパーチャ制御情報抽出回路３１２がアパーチャ制御情報を抽出して係数処理回路３１５に供給する。係数処理回路３１５は、逆量子化回路３１４で逆量子化されたＤＣＴ係数に対して、図５（ｂ）に示すような各ＤＣＴ係数のスケーリング係数を生成する。このスケーリング係数は、図５（ｂ）に示すように、中〜高周波数成分ほど大きくなるような値に設定されている。
【００５５】
逆に、画像が暗いと判断された場合、画像解析回路３１１は、アパーチャ信号の中心周波数とゲインを低くし、ベースクリップ閾値を高くするようなアパーチャ制御情報を生成する。このアパーチャ制御情報は、先に説明したように、画像出力部３２１に伝送され、係数処理回路３１５に入力する。係数処理回路３１５は、このアパーチャ制御情報に基づき、図５（ｂ）に示す数値例よりも低〜中周波数成分に大きな値が割り当てられたスケーリング係数を設定する。
【００５６】
係数処理回路３１５は、以上のようにして設定されたスケーリング係数を、逆量子化回路３１４から出力されるＤＣＴ係数に乗算する。これにより、スケーリング係数に応じた周波数帯域でＤＣＴ係数が増幅又は減衰する。つまり、図５（ｂ）に示すスケーリング係数例では、高周波成分の値は２．０倍に増幅され、中周波数成分は１．５倍に増幅される。
【００５７】
図６は、この実施例での画像信号の特性例を示す。図６（ａ）は、元の画像信号の周波数特性を示し、同（ｂ）は、高周波数成分を中心に増幅した場合の周波数特性を示し、同（ｃ）は、中周波数成分を増幅した場合の周波数特性を示す。以上のようにして、所望の交流成分を増幅することにより、輪郭のはっきりした画像を生成できる。
【００５８】
ここで、アパーチャ制御情報により指定されたベースクリップ閾値以下の交流成分のＤＣＴ係数に関しては、スケーリング係数による積算処理を行わないようにするのが好ましい。このようにすることにより、ノイズである可能性が高い交流成分の振幅の小さなデータを増幅することなく、輪郭のみを強調できる。
【００５９】
画像解析回路３１１は、画像のコントラストを求める場合、復号画像のブロックの中から図４（ｂ）に符号４０２で示すような所定数のブロックを抜き出す。抜き出した各ブロックの画素値から、図７に示すような輝度値のヒストグラムを作成する。ヒストグラム中の最も明るい輝度値と最も暗い輝度値の差からコントラストを判定する。但し、最も明るい輝度値と最も暗い輝度値は、それぞれ、その輝度値を持つ画素が所定数以上である場合に限る。
【００６０】
以上のようにして画像のコントラスト情報が求まると、画像解析回路３１１は、コントラスト情報に基づいたアパーチャ制御情報を生成する。例えば、第１実施例と同様に、コントラストが高い画像の場合には、アパーチャ信号の中心周波数を高くし、コントラストが低い場合にはアパーチャ信号の中心周波数を低くし、ゲインを大きくするようなアパーチャ制御情報が生成される。
【００６１】
以上のようにして生成されたアパーチャ制御情報に基づき、係数処理回路３１５は、逆量子化されたＤＣＴ係数にスケーリング処理を行う。つまり、画像のコントラストが高い場合は、高周波数成分を中心に増幅するようにスケーリング係数を設定する。これにより、細部まで解像感のある画像を得ることができる。また、コントラストが低い画像の場合には、やや低めの周波数成分を中心として大きく増幅するようにスケーリング係数を設定する。これにより、コントラストが低い画像を太い輪郭ではっきりとさせる効果が得られる。
【００６２】
画像解析回路３１１において画像の圧縮率を求める場合を説明する。画像解析回路３１１は、量子化テーブル３０８の値から圧縮率を判断する。量子化テーブル３０８は、対応するＤＣＴ係数を除算する値を収容するので、量子化テーブルの値が大きいほど粗く量子化され、圧縮率が高くなる。画像解析回路３１１は、量子化テーブル３０８の値が所定閾値よりも大きい場合は、粗く量子化され圧縮率が高くなっていると判断する。一方、量子化テーブルの値が所定閾値よりも小さい場合、画像解析回路３１１は、高周波成分が細かく量子化され、圧縮率が低くなっていると判断する。
【００６３】
以上のようにして画像の量子化情報が求まると、画像解析回路３１１は、その情報に基づきアパーチャ補正情報を生成する。具体的には、圧縮率が高い画像に対して、アパーチャ信号の中心周波数を低くし、圧縮率が低い画像に対して、アパーチャ信号の中心周波数を低くするようなアパーチャ制御情報が生成される。圧縮率が所定閾値を超えて非常に高い場合には、アパーチャ補正を行わないようなアパーチャ制御情報が生成される。
【００６４】
係数処理部３１５は、明るさ及びコントラストの場合と同様に、アパーチャ制御情報に応じたスケーリング係数を設定する。具体的には、高周波成分が粗く量子化された画像の場合、逆量子化された画像が量子化誤差を多く含むと考えられるので、誤差の多い高周波成分でなく、低〜中周波数成分を中心に増幅するようにスケーリング係数を設定する。これにより、ノイズ成分を増幅することなく、はっきりとした画像を得ることができる。圧縮率が低く高周波成分が細かく量子化されている画像の場合には、逆量子化された画像が量子化誤差をあまり含まないと考えられるので、高周波数成分を中心として増幅するようにスケーリング係数を設定する。圧縮率が所定の閾値を超えて非常に高い場合には、スケーリング処理を行わないか、等倍のスケーリング係数を設定する。このようなスケーリング係数の選択により、圧縮歪に応じた輪郭補正を行うことが可能となる。
【００６５】
以上のように、画像解析回路３１１によって生成され画像データに付加されてくるアパーチャ制御情報に基づき、係数処理回路３１５がスケーリング係数を生成および積算することにより、ＤＣＴ係数を調節し、画像の輪郭を強調することが可能となる。
【００６６】
ここでは、画像の明るさ、コントラスト及び圧縮率に応じてアパーチャ制御情報を生成することと、そのアパーチャ制御情報に応じてスケーリング係数を制御することを説明したが、第１実施例で述べたように、絞り、フォーカス、ＡＧＣ及びズーム制御信号等から画像状態を判断してアパーチャ制御情報を生成し、生成されたアパーチャ制御情報に応じてスケーリング係数を生成し、係数処理で輪郭補正を行ってもよい。
【００６７】
また、明るさ及び／又はコントラストを本実施例のように検出しつつ、従来例のように、画像信号の輝度信号から直接、アパーチャ信号を生成しそれを加える方法であってもよい。また、スケーリング係数は、予め用意されたものからアパーチャ制御情報に応じて係数処理回路３１５によって選択されるような構成であってもよいし、画像解析回路３１１によって生成されたアパーチャ制御情報と共にスケーリング係数も画像に付加する構成であってもよい。
【００６８】
（第３実施例）
符号化にウェーブレット変換を用いる実施例を説明する。図８は、この実施例の概略構成ブロック図を示す。８０１はＣＣＤ撮像素子などの撮像素子である。８０２はＡ／Ｄ変換器である。８０３は輝度信号成分（Ｙ）と色信号成分（Ｃ）の分離を行う輝度信号・色信号分離回路である。８０４は得られた色信号を処理する色処理回路、８０５は得られた輝度信号を処理する輝度信号処理回路である。８０６は光学系制御回路である。８０７は画像信号の自動利得制御回路（ＡＧＣ）である。８０８は量子化テーブルである。８０９は処理された輝度信号及び色信号を符号化するエンコーダである。８１０は、符号化画像データとアパーチャ制御情報を多重化する多重化回路である。８１１は、画像の状態を解析し、アパーチャ制御情報を生成する画像解析回路である。
【００６９】
８１２は伝送されたデータからアパーチャ制御情報を抽出するアパーチャ情報抽出回路である。８１３は符号化された画像データを可変長復号化し、量子化されたウェーブレット係数を出力する復号化器である。８１４は逆量子化回路である。８１５はウェーブレット係数を処理する係数処理回路である。８１６は、逆ウェーブレット変換回路である。
【００７０】
８２０は、撮像された画像信号を圧縮符号化する画像入力部、８２１は符号化データを復号し出力する画像出力部である。８２２は、アパーチャ制御情報が多重された圧縮符号化データを記録再生可能な記録再生部である。
【００７１】
図９および図１０は、ウェーブレット係数の説明図である。
【００７２】
図８に示す実施例の動作を説明する。画像入力部８２０における、撮像素子８０１により画像が入力され、各信号処理を経てエンコードされるまでの流れは、符号化にウエーブレット変換が使用されることを除いて、第１及び第２実施例と同様である。
【００７３】
３階層２次元のウェーブレット変換を説明する。図９は、変換された係数の構成を示す。まず、入力画像を水平及び垂直方向にそれぞれサブバンド分割すると、水平・垂直方向とも高周波の成分ＨＨ１、水平方向は高域成分であるが垂直方向は低域成分のＨＬ１、水平方向は低域成分であるが垂直方向は高域成分のＬＨ１、水平・垂直方向とも低域成分のＬＬ１に分割される。
【００７４】
ＬＬ１成分に対して同様にサブバンド分割を適用すると、水平・垂直方向とも高周波の成分ＨＨ２、水平方向は高域成分であるが垂直方向は低域成分のＨＬ２、水平方向は低域成分であるが垂直方向は高域成分のＬＨ２、水平・垂直方向とも低域成分のＬＬ２に分割される。ＬＬ２に対して更にサブバンド分割を適用すると、ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３のサブバンドデータを得ることができる。
【００７５】
画像解析回路８１１で画像の明るさを求める場合を説明する。サブバンドデータが画像解析回路８１１へ入力されると、画像解析回路８１１は、サブバンドデータの中で最も低解像度の画像について明るさを求める。図９に示す例の場合、ＬＬ３のデータから画像の明るさ情報を求める。明るさ情報は、全画素の輝度値の平均が所定閾値より大きいか小さいかなど、既存のアルゴリズムで求めることが可能である。ＬＬ３のデータは、画像サイズが水平・垂直方向ともに１／８になっているので、ＬＬ３のデータから明るさを算出することで、メモリ消費量、演算時間及び演算コストを低減できる。
【００７６】
以上のようにして、画像解析回路８１１は、得られた画像の明るさに基づきアパーチャ制御情報を生成する。このアパーチャ制御情報の内容は、第１及び第２実施例の場合と同じで良い。生成されたアパーチャ制御情報は、多重化回路８１０において圧縮画像データと多重化され、画像出力部８２１へ伝送される。
【００７７】
ここで、記録再生部８２２は画像入力部８２０から出力されたデータを入力して、記録することが可能である。記録再生部８２２はハードディスク、光磁気ディスク、固体メモリあるいは磁気テープ等の記録媒体を備えている。また、記録再生部８２２は、具備した記録媒体に記録されているデータを再生して、画像出力部８２１へ出力することが可能である。
【００７８】
画像出力部８２１では、アパーチャ制御情報抽出回路８１２が入力されたデータからアパーチャ制御情報を抽出して、係数処理回路８１５に印加する。係数処理回路８１５は、逆量子化回路８１４で逆量子化されたウェーブレット係数に対するスケーリング係数を生成し、係数処理を実行する。
【００７９】
図１０は、画像が明るい場合のスケーリング係数の一例を示す。画像が明るく、Ｓ／Ｎが良い場合は、上述の実施例と同様に、アパーチャ信号の中心周波数とゲインが高くなり、ベースクリップ閾値を低くするようなアパーチャ制御情報が入力される。このとき、スケーリング係数として、画像信号の高周波成分を中心に大きく増幅させるような値が設定される。係数処理回路８１５は、逆量子化回路８１４から出力されたサブバンドデータに対して各バンドにこのスケーリング係数を乗算する。図１０に示すスケーリング係数例の場合、ＨＨ１，ＨＬ１，ＬＨ１，ＨＨ２のデータは１．５倍に、ＨＬ２，ＬＨ２のデータは１．２倍にそれぞれ増幅される。但し、ＨＨ１などの高周波成分の中で値がベースクリップの閾値より小さなデータは、ノイズとみなし、このデータにはスケーリング係数を乗算しない。
【００８０】
一方、画像が暗いと判断された場合、Ｓ／Ｎが悪く、高周波成分にノイズを多く含んでいると考えられる。そこで、アパーチャ制御情報に合わせて、係数処理回路８１５は、ＨＨ２，ＨＬ２，ＬＨ２などの中周波数成分を中心に増強するようなスケーリング係数を生成し、ウェーブレット係数に乗算する。これにより、撮影画像の明るさに応じて輪郭が補正される。
【００８１】
次に、画像解析回路８１１で画像のコントラストを求める場合を説明する。ここでも、明るさと同様に、サブバンドデータの中で最も解像度の低い画像ＬＬ３のデータから、図７に示すような輝度信号のヒストグラムを作成し、コントラストを求める。第２実施例で求めた方法と同様の方法により、ヒストグラムからコントラストを求めることができる。明るさの算出時と同様に、解像度の低いＬＬ３の画像でコントラストを算出するので、メモリ消費量、演算時間及び演算コストを低減できる。
【００８２】
以上のようにして求められた画像のコントラスト情報に基づき、アパーチャ制御情報が生成され、画像データに付加されて画像出力部８２１へ伝送される。
【００８３】
画像出力部８２１では、係数処理回路８１５が、アパーチャ制御情報に従いスケーリング係数を生成し、逆量子化回路８１４で逆量子化されたウェーブレット係数に対して係数処理を行う。
【００８４】
係数処理回路８１５は、コントラストが高いと判断される画像に対しては、高周波成分を中心に増強するようなスケーリング係数を生成し、コントラストが低い画像に対しては、低〜中周波数成分を増強するようなスケーリング係数を生成する。また、計数処理回路８１５は、コントラストが低い場合にはより大きく増幅させるように値の大きなスケーリング係数を生成する。計数処理回路８１５は、生成したスケーリング係数を逆量子化回路８１４から出力されるウエーブレット変換係数に乗算する。これにより、撮影画像のコントラストの状態に応じて輪郭を補正することが可能となる。
【００８５】
以上のようにスケーリング処理されたサブバンドデータは、逆ウェーブレット変換回路８１６へ入力される。逆ウエーブレット変換回路８１６は、輪郭補正された画像データを出力する。
【００８６】
画像の明るさ及びコントラストについてアパーチャ制御情報を生成することと、そのアパーチャ制御情報に応じたスケーリング係数の設定を説明したが、第１及び第２実施例で述べたように、圧縮率、絞り、フォーカス、ＡＧＣ及び／又はズーム制御信号等から生成されたアパーチャ補正情報に対して同様にスケーリング係数を生成し、係数処理で輪郭補正を行う方法であってもよい。
【００８７】
明るさ又はコントラストの状態を本実施例のように検出し、アパーチャ信号の生成については、従来例のように、画像信号の輝度信号から直接アパーチャ信号を生成しそれを画像信号に加える方法であってもよい。スケーリング係数は、予め用意されたものからアパーチャ制御情報に応じて係数処理回路８１５によって選択する構成であってもよいし、アパーチャ制御情報と共にスケーリング係数を圧縮画像データに多重して伝送する構成であってもよい。
【００８８】
（第４実施例）
符号化にＤＣＴ変換を用い、量子化テーブルの設定によりアパーチャ補正を行う実施例を説明する。図１１は、その実施例の概略構成ブロック図を示す。１１０１はＣＣＤ撮像素子などの撮像素子である。１１０２はＡ／Ｄ変換器である。１１０３は輝度信号成分（Ｙ）と色信号成分（Ｃ）の分離を行う輝度信号・色信号分離回路である。１１０４は得られた色信号を処理する色処理回路、１１０５は得られた輝度信号を処理する輝度信号処理回路である。１１０６は光学系制御回路である。１１０７は画像信号の自動利得制御回路（ＡＧＣ）である。１１０８は量子化テーブルである。１１０９は処理された輝度信号および色信号を符号化するエンコーダである。１１１０は符号化画像データとアパーチャ制御情報を多重化する多重化回路である。１１１１は画像の状態を解析しアパーチャ制御情報を生成する画像解析回路である。
【００８９】
１１１２は、伝送されたデータからアパーチャ制御情報を抽出するアパーチャ情報抽出回路である。１１１３は符号化された画像データを可変長復号化し、量子化されたＤＣＴ係数を得る可変長復号化器である。１１１４は逆量子化回路である。１１１５は逆ＤＣＴ回路である。１１１６は逆量子化回路１１１４で参照される量子化テーブルである。１１１７は量子化テーブル１１１６を調節する量子化テーブル処理回路である。
【００９０】
１１２０は、撮像された画像信号を圧縮符号化する画像入力部、１１２１は符号化データを復号し出力する画像出力部である。１１２２は、アパーチャ制御情報が多重された圧縮符号化データを記録再生可能な記録再生部である。
【００９１】
図１１に示す実施例の動作を説明する。画像入力部１１２０における、撮像素子１１０１で画像が入力され、各信号処理を経てエンコードされるまでの流れは、第２実施例と同様である。但し、エンコーダ１１０９では、量子化テーブル１１０８をもとに量子化処理が行われている。画像解析回路１１１１は、画像信号、光学系制御回路１１０６からの制御信号、ＡＧＣ１１０７からの制御信号、量子化テーブル、及びエンコーダ１１０９からの圧縮パラメータ等に従って画像の状態を解析し、アパーチャ制御情報を生成する。多重化回路１１１０は、エンコーダ１１０９で圧縮符号化された画像データとアパーチャ制御情報を多重化し、その多重化データは、画像出力部１１２１へ伝送される。
【００９２】
ここで、記録再生部１１２２は画像入力部１１２０から出力されたデータを入力して、記録することが可能である。記録再生部１１２２はハードディスク、光磁気ディスク、固体メモリあるいは磁気テープ等の記録媒体を備えている。また、記録再生部１１２２は、具備した記録媒体に記録されているデータを再生して、画像出力部１１２１へ出力することが可能である。
【００９３】
画像出力部１１２１では、アパーチャ制御情報抽出回路１１１２は、入力されたデータからアパーチャ制御情報を抽出し、量子化テーブル処理回路１１１７へ供給する。可変長復号化回路１１１３は、圧縮符号化された画像データを可変長復号化し、量子化されたＤＣＴ係数を逆量子化回路１１１４へ出力する。逆量子化回路１１１４で参照される量子化テーブル１１１６は、アパーチャ制御情報に基づき量子化テーブル処理回路１１１７により調節される。逆量子化回路１１１４は、量子化テーブル処理回路１１１７によって調節された量子化テーブル値を参照し、可変長復号化回路１１１３の出力データを逆量子化する。逆量子化回路１１１４で逆量子化されたＤＣＴ係数は、逆ＤＣＴ回路１１１５に印加される。逆ＤＣＴ回路１１１５は、入力するＤＣＴ係数を逆ＤＣＴ変換し、画像データを出力される。
【００９４】
量子化テーブル処理回路１１１７の動作を詳しく説明する。
【００９５】
先ず、画像が明るい状態と解析された場合を例に説明する。画像が明るくＳ／Ｎが良いと解析された場合には、前記実施例で説明したように、細かい輪郭を強調し解像感を増すために高周波成分を増幅するようなアパーチャ制御情報を生成する。このアパーチャ制御情報が量子化テーブル処理回路１１１７へ入力される。量子化テーブル処理回路１１１７は、量子化テーブル１１１６の値の中で高周波数成分にあたる係数値を量子化の際の係数よりも大きく設定する。高周波数成分が量子化時より大きくされた値を持った量子化テーブルで逆量子化することにより、ＤＣＴ係数と量子化係数を積算したときに高周波成分が元の画像信号よりも増幅する効果が得られる。
【００９６】
逆に、画像が暗く、Ｓ／Ｎが悪い状態と判断された場合には、ノイズを増幅することなく輪郭をはっきりさせるために低〜中周波数成分を増幅する必要がある。そこで、量子化テーブル処理回路１１１７は、量子化テーブル１１１６の値の中で低〜中周波数成分にあたる係数を増幅する。このようにスケーリングされた量子化テーブルを用いて逆量子化することにより、画像信号の低〜中周波数成分を増幅する効果を得ることができる。
【００９７】
逆量子化処理の際に、ＤＣＴ係数の値がベースクリップ閾値以下の場合は、ノイズ成分である可能性が高い。そこで、ノイズ成分を増幅しないように、そのようなＤＣＴ係数は量子化時と同じ量子化テーブル値を用いて逆量子化する。
【００９８】
以上のようにすることにより、全ブロックのＤＣＴ係数に対してスケーリング処理することなく、逆量子化の際に係数のスケーリングと同様の効果を得ることが可能となる。
【００９９】
画像入力部１１２０において、圧縮画像データに多重して量子化テーブル１１０８を画像出力部１１２１へ伝送するシステムの場合には、画像解析回路１１１１で判断された画像の状態に応じて予め量子化テーブルの高周波成分を増幅するなどの調節を行った後に、圧縮画像データに多重して画像出力部１１２１へ伝送し、画像出力部１１２１では、圧縮画像データを、これと一緒に伝送された量子化テーブルを参照して逆量子化するようにすればよい。もしくは、画像入力部１１２０に予め複数の量子化テーブルを用意しておき、アパーチャ制御情報に応じて、使用すべき量子化テーブルを選択する方式であってもよい。この場合、ＤＣＴ係数及び量子化テーブルの処理が不要になり、処理速度が向上する。
【０１００】
ＤＣＴを用いて符号化された画像データを例に説明したが、ウェーブレット変換など他の圧縮符号化方式を用いた場合であっても、対応する周波数帯域の量子化係数を制御することにより、同様の効果を得ることができる。
【０１０１】
（好ましい実施態様）
本発明の好ましい実施態様を以下に列挙する。
【０１０２】
【実施態様１】光学系により結像された被写体像を映像信号に変換する撮像手段により撮像し、該撮影画像データを圧縮符号化し圧縮符号化データとして伝送する圧縮符号化処理手段と、上記圧縮符号化データを復号する復号処理手段とを備え、
前記撮影画像に対するアパーチャ補正情報を生成し、上記圧縮符号化データに付加し前記復号処理側へ伝送し、
前記復号処理側では前記圧縮符号化データに付加された前記アパーチャ補正情報に基づき復号画像データに対しアパーチャ補正を行った後、該復号画像データを出力することを特徴とする輪郭補正システム。
【０１０３】
【実施態様２】前記圧縮符号化データに付加された前記アパーチャ補正情報とは、前記復号処理側で行われるアパーチャ補正におけるアパーチャ補正信号の中心周波数、ゲイン、又はアパーチャ信号の振幅が所定の閾値以下の場合、該アパーチャ信号の振幅を０にする制御（以降ベースクリップと表す）等のパラメータを決定するデータであることを特徴とする実施態様１に記載の輪郭補正システム。
【０１０４】
【実施態様３】前記圧縮符号化データに付加された前記アパーチャ補正情報は、該撮影画像データから得られる画像状態、前記撮影画像の圧縮符号化時のパラメータ、撮像装置の制御回路から得られる撮影パラメータ、に基づき決定されることを特徴とする実施態様１又は２に記載の輪郭補正システム。
【０１０５】
【実施態様４】前記撮影画像信号から得られる画像状態とは、該画像信号の明るさ、コントラスト、色のどれか一つ、もしくはこれらの組み合わせから判断される状態であることを特徴とする実施態様３に記載の輪郭補正システム。
【０１０６】
【実施態様５】前記撮影画像の圧縮符号化時のパラメータとは、圧縮符号化時の圧縮率、量子化テーブルのどれか一つもしくはこれらの両方から判断されるパラメータであることを特徴とする実施態様３に記載の輪郭補正システム。
【０１０７】
【実施態様６】前記撮像装置の制御回路から得られる撮影パラメータとは、前記撮影画像信号を撮影時の撮像装置の絞り、シャッタースピード、画像信号ゲイン、フォーカス、ズーム信号のどれか一つ、もしくはこれらの組み合わせから判断されるパラメータであることを特徴とする実施態様３に記載の輪郭補正システム。
【０１０８】
【実施態様７】前記アパーチャ補正情報は、前記復号処理部において行われる前記アパーチャ補正のアパーチャ信号の中心周波数、ゲイン、又はベースクリップの閾値のうち一つ以上を該撮影画像の明るさに応じて決定することを特徴とする実施態様３、４又は６に記載の輪郭補正システム。
【０１０９】
【実施態様８】前記撮影画像の明るさは、前記撮影画像信号が前記圧縮符号化処理において離散コサイン変換（ＤＣＴ）を用いて符号化されている場合、該撮影画像中のＤＣＴ処理単位ブロックの直流成分の値を元に判断されることを特徴とする実施態様７に記載の輪郭補正システム。
【０１１０】
【実施態様９】前記撮影画像の明るさは、前記撮影画像信号が前記圧縮符号化処理においてウェーブレット変換を用いて符号化されている場合、撮影画像データ中のサブバンド信号の最も低周波成分となる画像信号を元に判断されることを特徴とする実施態様７に記載の輪郭補正システム。
【０１１１】
【実施態様１０】前記撮影画像の明るさは、前記撮像装置の画像信号のゲイン制御値を元に判断されることを特徴とする実施態様７に記載の輪郭補正システム。
【０１１２】
【実施態様１１】前記アパーチャ補正情報は前記撮影画像が明るいと判断された場合は前記アパーチャ信号の中心周波数を高くし、撮影画像が暗いと判断された場合には前記アパーチャ信号の中心周波数を低くすることを特徴とする実施態様７乃至９の何れか１項に記載の輪郭補正システム。
【０１１３】
【実施態様１２】前記アパーチャ補正情報は前記撮影画像が明るいと判断された場合はアパーチャ信号のゲインを高く設定し、撮影画像が暗いと判断された場合にはアパーチャ信号のゲインを低く設定することを特徴とする実施態様７乃至１１の何れか１項に記載の輪郭補正システム。
【０１１４】
【実施態様１３】前記アパーチャ補正情報は前記撮影画像が明るいと判断された場合はアパーチャ信号のベースクリップ値を低く設定し、撮影画像が暗いと判断された場合にはアパーチャ信号のベースクリップ値を高く設定することを特徴とする実施態様７乃至１２の何れか１項に記載の輪郭補正システム。
【０１１５】
【実施態様１４】前記アパーチャ補正情報は、前記復号処理部において行われる前記アパーチャ補正の前記アパーチャ信号の中心周波数、又はゲインを該撮影画像のコントラストに応じて決定することを特徴とする実施態様３、４、６乃至１３の何れか１項に記載の輪郭補正システム。
【０１１６】
【実施態様１５】前記撮影画像のコントラストは、前記撮影画像信号が前記圧縮符号化処理においてウェーブレット変換を用いて符号化されている場合、撮影画像データのサブバンド信号の中で最も低周波成分となる画像信号の輝度ヒストグラムから判断されることを特徴とする実施態様１４に記載の輪郭補正システム。
【０１１７】
【実施態様１６】前記アパーチャ補正情報は前記撮影画像のコントラストが高いと判断された場合は前記アパーチャ信号の中心周波数を高くし、撮影画像のコントラストが低いと判断された場合には前記アパーチャ信号の中心周波数を低くすることを特徴とする実施態様１４又は１５に記載の輪郭補正システム。
【０１１８】
【実施態様１７】前記アパーチャ補正情報は前記撮影画像のコントラストが低いと判断された場合には前記アパーチャ信号のゲインを高くすることを特徴とする実施態様１４乃至１６の何れか１項に記載の輪郭補正システム。
【０１１９】
【実施態様１８】前記アパーチャ補正情報は、前記復号処理部において行われる前記アパーチャ補正の前記アパーチャ信号の中心周波数、又はゲイン、又はベースクリップ値を前記圧縮符号化時の圧縮率もしくは圧縮歪の大きさに応じて決定することを特徴とする請求項３又は５に記載の輪郭補正システム。
【０１２０】
【実施態様１９】前記撮影画像の圧縮率は、前記圧縮符号化処理において量子化処理が行われている場合、該量子化処理の量子化テーブルの値から判断されることを特徴とする実施態様１８に記載の輪郭補正システム。
【０１２１】
【実施態様２０】前記アパーチャ補正情報は前記撮影画像の圧縮率が高いと判断された場合は前記アパーチャ信号の中心周波数を低くし、撮影画像の圧縮率が低いと判断された場合には前記アパーチャ信号の中心周波数を高くすることを特徴とする実施態様１８又は１９に記載の輪郭補正システム。
【０１２２】
【実施態様２１】前記アパーチャ補正情報は前記撮影画像の圧縮率が高いと判断された場合は前記アパーチャ信号のゲインを低くし、撮影画像の圧縮率が低いと判断された場合には前記アパーチャ信号のゲインを高くすることを特徴とする実施態様１８乃至２０の何れか１項に記載の輪郭補正システム。
【０１２３】
【実施態様２２】前記アパーチャ補正情報は前記撮影画像の圧縮率が高いと判断された場合は前記アパーチャ信号のベースクリップ値を高く設定し、撮影画像の圧縮率が低いと判断された場合には前記アパーチャ信号のベースクリップ値を低く設定することを特徴とする実施態様１８乃至２１の何れか１項に記載の輪郭補正システム。
【０１２４】
【実施態様２３】前記アパーチャ補正情報は前記撮影画像の圧縮率が高いと判断された場合は前記アパーチャ補正を行わないことを特徴とする実施態様１８乃至２２の何れか１項に記載の輪郭補正システム。
【０１２５】
【実施態様２４】前記アパーチャ補正情報は、前記復号処理部において行われる前記アパーチャ補正の前記アパーチャ信号の中心周波数、又はゲインを前記撮影画像撮影時の撮像装置の絞り値に応じて決定することを特徴とする実施態様３又は６に記載の輪郭補正システム。
【０１２６】
【実施態様２５】前記アパーチャ補正情報は前記撮影画像を撮影時の絞りが開放状態と判断された場合は前記アパーチャ信号の中心周波数を高く設定し、撮影画像の絞り値によって入射光の回折が起こりＭＴＦの劣化が生じると判断された場合には前記アパーチャ信号の中心周波数を低く設定することを特徴とする実施態様２４に記載の輪郭補正システム。
【０１２７】
【実施態様２６】前記アパーチャ補正情報は前記撮影画像を撮影時の絞り値によって入射光の回折が起こりＭＴＦの劣化が生じると判断された場合には前記アパーチャ信号のゲインを高く設定することを特徴とする実施態様２４又は２５に記載の輪郭補正システム。
【０１２８】
【実施態様２７】前記アパーチャ補正情報は、前記復号処理部において行われる前記アパーチャ補正の前記アパーチャ信号の中心周波数、又はゲインを前記撮影画像撮影時の撮像装置のフォーカスの合焦状態に応じて決定することを特徴とする実施態様３又は６に記載の輪郭補正システム。
【０１２９】
【実施態様２８】前記アパーチャ補正情報は前記撮影画像を撮影時のフォーカスが非合焦状態であると判断された場合は前記アパーチャ信号の中心周波数を低く設定することを特徴とする実施態様２７に記載の輪郭補正システム。
【０１３０】
【実施態様２９】前記アパーチャ補正情報は前記撮影画像を撮影時のフォーカスが非合焦状態であると判断された場合は前記アパーチャ補正を行わないことを特徴とする実施態様２７に記載の輪郭補正システム。
【０１３１】
【実施態様３０】前記アパーチャ補正情報は、前記復号処理部において行われる前記アパーチャ補正の前記アパーチャ信号の中心周波数、又はゲインを前記撮影画像撮影時の撮像装置のズーム制御信号に応じて決定することを特徴とする実施態様３又は６に記載の輪郭補正システム。
【０１３２】
【実施態様３１】前記アパーチャ補正情報は前記撮影画像を撮影時にズーム中であると判断された場合は前記アパーチャ信号の中心周波数を低く設定することを特徴とする実施態様３０に記載の輪郭補正システム。
【０１３３】
【実施態様３２】前記アパーチャ補正情報は前記撮影画像を撮影時にズーム中であると判断された場合は前記アパーチャ補正を行わないことを特徴とする実施態様３０に記載の輪郭補正システム。
【０１３４】
【実施態様３３】前記復号処理側で行うアパーチャ補正手段は、前記圧縮符号化時の符号化係数の値を調節することで行うことを特徴とする実施態様１乃至３２に記載の輪郭補正システム。
【０１３５】
【実施態様３４】前記復号処理側で行うアパーチャ補正のアパーチャ信号の中心周波数、ゲインは、補正対象の前記符号化係数の対応する周波数成分の値を増減することで調節することを特徴とする実施態様３３に記載の輪郭補正システム。
【０１３６】
【実施態様３５】前記復号処理側で行うアパーチャ補正のアパーチャ信号の中心周波数は、前記圧縮符号化処理においてＤＣＴを用いた圧縮符号化がされている場合、主に増減を調節する前記ＤＣＴ係数値の周波数成分であることを特徴とする実施態様３４に記載の輪郭補正システム。
【０１３７】
【実施態様３６】前記復号処理側で行うアパーチャ補正のアパーチャ信号のゲインは、前記圧縮符号化処理においてＤＣＴを用いた圧縮符号化がされている場合、ＤＣＴ係数値に対する増減値もしくは増減の割合であることを特徴とする実施態様３４又は３５に記載の輪郭補正システム。
【０１３８】
【実施態様３７】前記復号処理側で行うアパーチャ補正のアパーチャ信号の中心周波数は、前記圧縮符号化処理においてウェーブレット変換を用いた圧縮符号化がされている場合、前記ウェーブレット係数値を調節する際に主に調節を行うサブバンド成分であることを特徴とする実施態様３４に記載の輪郭補正システム。
【０１３９】
【実施態様３８】前記復号処理側で行うアパーチャ補正のアパーチャ信号のゲインは、前記圧縮符号化処理においてウェーブレット変換を用いた圧縮符号化がされている場合、サブバンド毎の係数値に対する増減値もしくは増減の割合であることを特徴とする実施態様３４又は３５に記載の輪郭補正システム。
【０１４０】
【実施態様３９】前記復号処理側で行うアパーチャ補正のアパーチャ信号のベースクリップ値は、補正対象の前記符号化係数が所定の閾値（ベースクリップ閾値）以下の場合に該符号化係数の値を変化させないことを特徴とする実施態様３４乃至３８の何れか１項に記載の輪郭補正システム。
【０１４１】
【実施態様４０】前記復号処理側で行うアパーチャ補正は、圧縮符号化時に該撮影画像データを第１の量子化テーブルを用いて量子化し、復号化時には前記第１の量子化テーブルと異なる第２の量子化テーブルを用いて逆量子化することで行うことを特徴とする実施態様１乃至３２の何れか１項に記載の輪郭補正システム。
【０１４２】
【実施態様４１】前記復号処理側で行うアパーチャ補正のアパーチャ信号の中心周波数、ゲインは、補正対象の前記第２の量子化テーブルの対応する周波数成分の値を増減することで調節することを特徴とする実施態様４０に記載の輪郭補正システム。
【０１４３】
【実施態様４２】前記復号処理側で行うアパーチャ補正のアパーチャ信号の中心周波数は、主に増減を調節する前記量子化テーブル値の周波数成分であることを特徴とする実施態様４１に記載の輪郭補正システム。
【０１４４】
【実施態様４３】前記復号処理側で行うアパーチャ補正のアパーチャ信号のゲインは、前記第１の量子化テーブル値と第２の量子化テーブル値の差によって調節できることを特徴とする実施態様４１に記載の輪郭補正システム。
【０１４５】
【実施態様４４】前記復号処理側で行うアパーチャ補正のアパーチャ信号のベースクリップは、前記第１の量子化テーブル値によって量子化された量子化係数値が所定の閾値（ベースクリップ閾値）値よりも低い場合は、該量子化係数は第１の量子化テーブル値によって逆量子化されることを特徴とする実施態様４１に記載の輪郭補正システム。
【０１４６】
【実施態様４５】更に、前記アパーチャ補正情報が付加された前記圧縮符号化データを記録再生可能な記録再生手段を備えたことを特徴とする実施態様１に記載の輪郭補正システム。
【０１４７】
【実施態様４６】光学系により結像された被写体像を画像信号に変換する撮像手段と、
撮像された撮影画像データを圧縮符号化し、圧縮符号化データを生成する圧縮符号化処理手段と、
前記撮影画像データに対するアパーチャ補正情報を生成する生成手段と、
前記圧縮符号化データに付加して前記アパーチャ補正情報を出力する出力手段とを備えたことを特徴とする輪郭補正装置。
【０１４８】
【実施態様４７】前記アパーチャ補正情報とは、前記圧縮符号化データを復号するときに行われるアパーチャ補正におけるアパーチャ補正信号の中心周波数、ゲイン、又はアパーチャ信号の振幅が所定の閾値以下の場合、該アパーチャ信号の振幅を０にする制御等のパラメータを決定するデータであることを特徴とする実施態様４６に記載の輪郭補正装置。
【０１４９】
【実施態様４８】前記アパーチャ補正情報とは、前記撮影画像データから得られる画像状態、及び／または前記圧縮符号化処理手段から得られる圧縮符号化時のパラメータ、及び／または前記撮像手段から得られる撮影パラメータ、に基づき決定されることを特徴とする実施態様４６又は４７に記載の輪郭補正装置。
【０１５０】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、撮影画像のアパーチャ補正の制御情報を画像の状態に応じて生成して復号側へ伝送し、画像復号時にアパーチャ補正を行うことにより、画像圧縮の際の符号化効率を悪化させることなく輪郭補正された画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の概略構成ブロック図である。
【図２】第１実施例でのアパーチャ信号の特性例の示す図である。
【図３】本発明の第２実施例の概略構成ブロック図である。
【図４】第２実施例における画像データとブロック分割の様子を示す模式図である。
【図５】第２実施例におけるＤＣＴのブロック分割とスケーリング係数例である。
【図６】第２実施例における画像データの周波数特性の変化例を示す模式図である。
【図７】画像データのヒストグラム例である。
【図８】本発明の第３実施例の概略構成ブロック図である。
【図９】画像データのウェーブレット係数の模式図である。
【図１０】ウェーブレット係数の重み例である。
【図１１】本発明の第４実施例の概略構成ブロック図である。
【図１２】従来例の概略構成ブロック図である。
【符号の説明】
１０１：撮像素子
１０２：Ａ／Ｄ変換器
１０３：輝度信号・色信号分離回路
１０４：色処理回路
１０５：輝度信号処理回路
１０６：光学系制御回路
１０７：自動利得制御回路
１０９：エンコーダ
１１０：多重化回路
１１１：画像解析回路
１１２：アパーチャ情報抽出回路
１１３：デコーダ
１１４：アパーチャ補正回路
１２０：画像入力部
１２１：画像出力部
１２２：記録再生部
３０１：撮像素子
３０２：Ａ／Ｄ変換器
３０３：輝度信号・色信号分離回路
３０４：色処理回路
３０５：輝度信号処理回路
３０６：光学系制御回路
３０７：自動利得制御回路（ＡＧＣ）
３０８：量子化テーブル
３０９：エンコーダ
３１０：多重化回路
３１１：画像解析回路
３１２：アパーチャ情報抽出回路
３１３：可変長復号化器
３１４：逆量子化回路
３１５：係数処理回路
３１６：逆ＤＣＴ回路
３２０：画像入力部
３２１：画像出力部
３２２：記録再生部
８０１：撮像素子
８０２：Ａ／Ｄ変換器
８０３：輝度信号・色信号分離回路
８０４：色処理回路
８０５：輝度信号処理回路
８０６：光学系制御回路
８０７：自動利得制御回路（ＡＧＣ）
８０８：量子化テーブル
８０９：エンコーダ
８１０：多重化回路
８１１：画像解析回路
８１２：アパーチャ情報抽出回路
８１３：可変長復号化器
８１４：逆量子化回路
８１５：係数処理回路
８１６：逆ウェーブレット変換回路
８２０：画像入力部
８２１：画像出力部
８２２：記録再生部
１１０１：撮像素子
１１０２：Ａ／Ｄ変換器
１１０３：輝度信号・色信号分離回路
１１０４：色処理回路
１１０５：輝度信号処理回路
１１０６：光学系制御回路
１１０７：自動利得制御回路（ＡＧＣ）
１１０８：量子化テーブル
１１０９：エンコーダ
１１１０：多重化回路
１１１１：画像解析回路
１１１２：アパーチャ情報抽出回路
１１１３：可変長復号化器
１１１４：逆量子化回路
１１１５：逆ＤＣＴ回路
１１１６：量子化テーブル
１１１７：量子化テーブル処理回路
１１２０：画像入力部
１１２１：画像出力部
１１２２：記録再生部
１２０１：撮像素子
１２０２：Ａ／Ｄ変換器
１２０３：輝度信号・色信号分離回路
１２０４：色処理回路
１２０５：ガンマ処理回路
１２０６：遅延回路
１２０７：アパーチャ信号生成回路
１２０８：ゲインコントローラ
１２０９：加算回路
１２１０：エンコーダ

Claims (1)

1. 光学系により結像された被写体像を映像信号に変換する撮像手段による撮影画像データを圧縮符号化し、圧縮符号化データとして伝送する圧縮符号化処理手段と、前記圧縮符号化データを復号する復号処理手段とを備え、
   前記撮影画像データに対するアパーチャ補正情報を生成し、上記圧縮符号化データに付加し前記復号処理側へ伝送し、
   前記復号処理側では前記圧縮符号化データに付加された前記アパーチャ補正情報に基づき復号画像データに対しアパーチャ補正を行った後、前記復号画像データを出力することを特徴とする輪郭補正システム。

Images