JP2008072233A - 画像処理システム、画像処理プログラム - Google Patents

画像処理システム、画像処理プログラム Download PDF

Info

Publication number
JP2008072233A
JP2008072233A JP2006247169A JP2006247169A JP2008072233A JP 2008072233 A JP2008072233 A JP 2008072233A JP 2006247169 A JP2006247169 A JP 2006247169A JP 2006247169 A JP2006247169 A JP 2006247169A JP 2008072233 A JP2008072233 A JP 2008072233A
Authority
JP
Japan
Prior art keywords
unit
frequency component
gradation
image processing
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006247169A
Other languages
English (en)
Other versions
JP4837503B2 (ja
JP2008072233A5 (ja
Inventor
Takeo Tsuruoka
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006247169A priority Critical patent/JP4837503B2/ja
Priority to PCT/JP2007/067222 priority patent/WO2008032610A1/ja
Publication of JP2008072233A publication Critical patent/JP2008072233A/ja
Priority to US12/400,028 priority patent/US8194160B2/en
Publication of JP2008072233A5 publication Critical patent/JP2008072233A5/ja
Application granted granted Critical
Publication of JP4837503B2 publication Critical patent/JP4837503B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ノイズの増加を抑制しながら階調処理を行って高品位な映像信号を生成することができる画像処理システム等を提供する。
【解決手段】映像信号を高周波成分と低周波成分とに分解する周波数分解部１０９と、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離部１１２と、低周波成分に基づき変換特性を算出する変換特性算出部１１１と、算出された変換特性により低周波成分と有効成分とに対して階調変換を行う階調処理部１１３と、階調変換がなされた低周波成分と階調変換がなされた有効成分と無効成分とを合成して階調変換がなされた映像信号を生成する周波数合成部１１５と、を備えた画像処理システム。
【選択図】図１

Description

本発明は、映像信号に対して階調変換を行う画像処理システム、画像処理プログラムに関する。
映像信号に対する階調処理の手法としては、映像信号に対して単一の階調変換曲線を用いるスペースインバリアントな手法と、局所領域毎に異なる複数の階調変換曲線を用いるスペースバリアントな手法と、がある。
例えば、特許３４６５２２６号に係る公報には、テクスチャ情報に基づき映像信号を複数の領域に分割し、領域毎にヒストグラムに基づき階調変換曲線を求めて階調変換処理を行い、各領域間の距離に基づく重み付け補間を行う技術が記載されている。これにより、スペースバリアントな階調処理と領域間の連続性の維持とが可能となり、広ダイナミックレンジの画像に対しても明暗のつぶれを防止した高品位な映像信号を得ることができる。
また、特開平８−５６３１６号公報には、映像信号を高周波成分と低周波成分とに分離して、低周波成分にコントラスト強調処理を行い、コントラスト強調処理後の低周波成分を高周波成分と合成する技術が記載されている。このような技術を用いることにより、高周波成分のノイズが強調されるのを防止して、高品位な映像信号を得ることができる。
さらに、特開２００４−１２８９８５号公報には、ノイズモデルに基づいてノイズ量をブロック単位に推定し、ブロック単位に異なるノイズ低減処理を行う技術が記載されている。このような技術を用いることにより、スペースバリアントなノイズ低減処理を行うことが可能となり、エッジ成分の劣化が少ない高品位な映像信号を得ることができる。
特許３４６５２２６号 特開平８−５６３１６号公報 特開２００４−１２８９８５号公報
上述したような従来の単一の階調変換曲線を用いるスペースインバリアントな階調処理の手法では、逆光などの標準的でない状況においては適切な映像信号を得ることができないという課題がある。
また、上述した特許３４６５２２６号に係る公報に記載された技術では、ヒストグラムに基づいて画像毎に階調変換曲線を求めているが、ノイズ成分の増加に関しては考慮されていない。このために、例えば画像内における暗部の割合が大きいときには、ヒストグラムに基づく階調変換曲線によって該暗部に広い階調が与えられることになるが、この場合には暗部のノイズが顕著になってしまい、画質的に最適な階調変換処理が行われないという課題がある。
さらに、上述した特開平８−５６３１６号公報に記載された技術では、低周波成分のみにコントラスト強調処理が行われるために、エッジ領域などの高周波成分を多く含む領域では解像感が低下するという課題がある。また、該公報に記載された技術では、低周波成分とそれ以外とで異なる処理を行っているために、画像全体としての連続性および統一性が失われてしまうことがあるという課題がある。
そして、上述した特開２００４−１２８９８５号公報に記載された技術では、ノイズ低減処理と他の階調処理とが独立しているために、相互を最適に活用することができないという課題がある。
本発明は上記事情に鑑みてなされたものであり、スペースインバリアントおよびスペースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信号の生成を可能とする画像処理システム、画像処理プログラムを提供することを目的としている。
また本発明は、階調処理とノイズ低減処理との両方を行うことができ、かつ全体としての高性能化および低コスト化を可能とする画像処理システム、画像処理プログラムを提供することを目的としている。
上記の目的を達成するために、第１の発明による画像処理システムは、映像信号に対して階調変換を行う画像処理システムにおいて、上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離手段と、上記有効成分に対して階調変換を行う変換手段と、上記階調変換がなされた有効成分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成手段と、を具備したものである。
（第１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、実施形態３、および実施形態４が対応する。
分離手段は図１，図２，図１０に示す周波数分解部１０９および図１，図５，図１０に示す高周波分離部１１２および図１５，図１８に示す周波数分解部８０４および図１５，図２０に示す高周波分離部８０６および図２６に示す周波数分解部１２００および図２６，図２８に示す高周波分離部１２０１および図３１，図３２に示すノイズ低減部１４００および図３１に示す差分部１４０１が、変換手段は図１，図４，図１０，図２６，図３１に示す変換特性算出部１１１および図１，図６，図１０，図２６に示す階調処理部１１３および図１５，図１９に示す変換特性算出部８０５および図１５，図２１に示す階調処理部８０７および図３１，図３３に示す階調処理部１４０２が、合成手段は図１，図９，図１０に示す周波数合成部１１５および図１５に示す周波数合成部８０８および図２６に示す周波数合成部１２０３および図３１に示す信号合成部１４０３が、それぞれ該当する。
この発明の好ましい適用例は、周波数分解部１０９，高周波分離部１１２，周波数分解部８０４，高周波分離部８０６，周波数分解部１２００，高周波分離部１２０１，ノイズ低減部１４００，差分部１４０１によって映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、変換特性算出部１１１，階調処理部１１３，変換特性算出部８０５，階調処理部８０７，階調処理部１４０２によって有効成分に対して階調変換を行い、周波数合成部１１５，周波数合成部８０８，周波数合成部１２０３，信号合成部１４０３によって階調変換がなされた有効成分と無効成分とを合成する画像処理システムである。
（作用）
映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、有効成分を階調変換した後に無効成分と合成する。
（効果）
階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
また、第２の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離手段をさらに具備し、上記分離手段、上記変換手段、および上記合成手段が扱う上記映像信号は、上記Ｙ／Ｃ分離手段により分離された上記輝度信号である。
（第２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
Ｙ／Ｃ分離手段は図１５に示すＹ／Ｃ分離部８０２が該当する。
この発明の好ましい適用例は、Ｙ／Ｃ分離部８０２によってカラー映像信号を輝度信号と色信号とへ分離し、輝度信号に関してノイズに起因する無効成分とその他の有効成分とに分離し、有効成分に対して階調変換を行い、階調処理がなされた有効成分と無効成分とを合成する画像処理システムである。
（作用）
カラー映像信号を輝度信号と色信号とへ分離し、輝度信号に関してノイズに起因する無効成分とその他の有効成分とに分離し、有効成分を階調変換した後に無効成分と合成する。
（効果）
カラー映像信号に対する階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性を向上することができる。
さらに、第３の発明による画像処理システムは、上記第１または第２の発明による画像処理システムにおいて、上記分離手段が、上記映像信号を高周波成分と低周波成分とに分解する周波数分解手段と、上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離手段と、を有して構成されたものである。
（第３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
周波数分解手段は図１，図２，図１０に示す周波数分解部１０９および図１５，図１８に示す周波数分解部８０４および図２６に示す周波数分解部１２００が、高周波分離手段は図１，図５，図１０に示す高周波分離部１１２および図１５，図２０に示す高周波分離部８０６および図２６，図２８に示す高周波分離部１２０１が、それぞれ該当する。
この発明の好ましい適用例は、周波数分解部１０９，周波数分解部８０４，周波数分解部１２００によって映像信号を高周波成分と低周波成分とに分解し、高周波分離部１１２，高周波分離部８０６，高周波分離部１２０１によって高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する画像処理システムである。
（作用）
映像信号を高周波成分と低周波成分とに分解して、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。
（効果）
視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離するようにしたために、ノイズの抑制効果を向上することができ、高品位な映像信号を生成することが可能となる。また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
第４の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記周波数分解手段が、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
（第４の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
ウェーブレット（Wavelet）変換は図１，図２，図１０に示す周波数分解部１０９が、フーリエ（Fourier）変換は図１，図１０に示す周波数分解部１０９が、ＤＣＴ（Discrete Cosine Transform）変換は図２６に示す周波数分解部１２００が、それぞれ該当する。
この発明の好ましい適用例は、周波数分解における変換に、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いる画像処理システムである。
（作用）
周波数分解に、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いる。
（効果）
ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換は、周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
第５の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記周波数分解手段が、ローパスフィルタおよび差分フィルタを用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
（第５の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
ローパスフィルタは図１８に示すローパスフィルタ部９０１が、差分フィルタは図１８に示す差分フィルタ部９０３が、それぞれ該当する。
この発明の好ましい適用例は、周波数分解における変換にローパスフィルタおよび差分フィルタを用いる画像処理システムである。
（作用）
周波数分解にローパスフィルタおよび差分フィルタを用いる。
（効果）
ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
第６の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記周波数分解手段が、ガウシアンフィルタ（Gaussian Filter）およびラプラシアンフィルタ（Laplacian Filter）を用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
（第６の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
ガウシアンフィルタは図１８に示すローパスフィルタ部９０１が、ラプラシアンフィルタは図１８に示す差分フィルタ部９０３が、それぞれ該当する。
この発明の好ましい適用例は、周波数分解における変換にガウシアンフィルタおよびラプラシアンフィルタを用いる画像処理システムである。
（作用）
周波数分解にガウシアンフィルタおよびラプラシアンフィルタを用いる。
（効果）
ガウシアンフィルタおよびラプラシアンフィルタは、フィルタ構成の複雑さの程度と周波数の分離能とのバランスに優れているために、比較的高い処理性能を得ながらコストを抑制した画像処理システムを構成することが可能となる。
第７の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記変換手段が、上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理手段と、を有して構成されたものである。
（第７の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
変換特性算出手段は図１，図４，図１０，図２６に示す変換特性算出部１１１および図１５，図１９に示す変換特性算出部８０５が、階調処理手段は図１，図６，図１０，図２６に示す階調処理部１１３および図１５，図２１に示す階調処理部８０７が、それぞれ該当する。
この発明の好ましい適用例は、変換特性算出部１１１，変換特性算出部８０５によって低周波成分に基づき階調変換に用いる変換特性を算出し、階調処理部１１３，階調処理部８０７によって低周波成分と高周波成分中の有効成分とに対して階調処理を行う画像処理システムである。
（作用）
低周波成分に基づき階調変換に用いる変換特性を算出し、低周波成分と高周波成分中の有効成分とに対して階調処理を行う。
（効果）
低周波成分に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。また、低周波成分と高周波成分中の有効成分とに対して階調処理を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
第８の発明による画像処理システムは、上記第７の発明による画像処理システムにおいて、上記合成手段が、上記階調処理がなされた低周波成分と、上記階調処理がなされた高周波成分中の有効成分と、上記高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する周波数合成手段を有して構成されたものである。
（第８の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
周波数合成手段は図１，図９，図１０に示す周波数合成部１１５および図１５に示す周波数合成部８０８および図２６に示す周波数合成部１２０３が該当する。
この発明の好ましい適用例は、周波数合成部１１５，周波数合成部８０８，周波数合成部１２０３によって、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成する画像処理システムである。
（作用）
階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成する。
（効果）
階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成するようにしたために、有効成分と無効成分の分離処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
第９の発明による画像処理システムは、上記第７の発明による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
（第９の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
適正域抽出手段は図１９に示す適正域抽出部３０２が、エッジ算出手段は図１９に示すエッジ算出部３０３が、ヒストグラム作成手段は図１９に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図１９に示す階調変換曲線算出部３０５が、それぞれ該当する。
この発明の好ましい適用例は、適正域抽出部３０２によって低周波成分の信号値に基づき適正露光域を抽出し、エッジ算出部３０３によって適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によってエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によってヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
（作用）
階調変換処理を行うために必要な階調変換曲線を、映像信号の低周波成分から適用的に算出する。
（効果）
映像信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
第１０の発明による画像処理システムは、上記第９の発明による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分から関心領域を設定する関心領域設定手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、をさらに有して構成されたものであり、上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものである。
（第１０の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
関心領域設定手段は図１９に示すエッジ算出部３０３，色相算出部１０００，人物判断部１００１が、重み係数設定手段は図１９に示す重み係数設定部１００２が、ヒストグラム補正手段は図１９に示すヒストグラム補正部１００３が、それぞれ該当する。
この発明の好ましい適用例は、エッジ算出部３０３，色相算出部１０００，人物判断部１００１によって低周波成分から関心領域を設定し、重み係数設定部１００２によって関心領域に関して重み係数を設定し、ヒストグラム補正部１００３によって重み係数に基づきヒストグラムに補正を行う画像処理システムである。
（作用）
人物などの関心領域に基づき、階調変換曲線を算出するためのヒストグラムに補正を行う。
（効果）
関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
第１１の発明による画像処理システムは、上記第９または第１０の発明による画像処理システムにおいて、上記階調処理手段が、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、上記階調変換曲線に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、を有して構成されたものである。
（第１１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
第１の抽出手段は図２１に示す低周波成分抽出部５００が、第２の抽出手段は図２１に示す高周波成分抽出部５０４が、階調変換手段は図２１に示す階調変換部５０５が、それぞれ該当する。
この発明の好ましい適用例は、低周波成分抽出部５００によって低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出し、高周波成分抽出部５０４によって高周波成分中の有効成分から低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出し、階調変換部５０５によって階調変換曲線に基づき低周波成分注目画素と有効成分注目画素とに対して階調変換を行う画像処理システムである。
（作用）
同一位置にある低周波成分と高周波成分の中の有効成分とを抽出して、同等な階調変換を行う。
（効果）
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
第１２の発明による画像処理システムは、上記第７の発明による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分を複数の領域に分割する分割手段と、上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
（第１２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
各手段に該当する構成は、図１，図２６における変換特性算出部１１１の具体的な構成を示す図４に示される。すなわち、分割手段は図４に示す分割部３００が、適正域抽出手段は図４に示す適正域抽出部３０２が、エッジ算出手段は図４に示すエッジ算出部３０３が、ヒストグラム作成手段は図４に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図４に示す階調変換曲線算出部３０５が、それぞれ該当する。
この発明の好ましい適用例は、分割部３００によって低周波成分を複数の領域に分割し、適正域抽出部３０２によって領域毎に低周波成分の信号値に基づき適正露光域を抽出し、エッジ算出部３０３によって領域毎に適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によって領域毎にエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によって領域毎にヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
（作用）
階調変換処理を行うために必要な階調変換曲線を、映像信号の低周波成分から所定の領域毎に独立かつ適用的に算出する。
（効果）
映像信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
第１３の発明による画像処理システムは、上記第１２の発明による画像処理システムにおいて、上記階調処理手段が、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、を有して構成されたものである。
（第１３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
各手段に該当する構成は、図１，図２６における階調処理部１１３の具体的な構成を示す図６に示される。すなわち、第１の抽出手段は図６に示す低周波成分抽出部５００が、第２の抽出手段は図６に示す高周波成分抽出部５０４が、距離算出手段は図６に示す距離算出部５０１が、階調変換式設定手段は図６に示す階調変換式設定部５０２が、階調変換手段は図６に示す階調変換部５０５が、それぞれ該当する。
この発明の好ましい適用例は、低周波成分抽出部５００によって低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出し、高周波成分抽出部５０４によって高周波成分中の有効成分から低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出し、距離算出部５０１によって低周波成分注目画素と低周波成分注目画素の近傍に位置する領域の中心との距離情報を算出し、階調変換式設定部５０２によって低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と距離情報とに基づき階調変換に用いる階調変換式を設定し、階調変換部５０５によって階調変換式に基づき低周波成分注目画素と有効成分注目画素とに対して階調変換を行う画像処理システムである。
（作用）
同一位置にある低周波成分と高周波成分の中の有効成分とを抽出して、同等な階調変換を行う。また、領域毎に独立して求めた階調変換曲線を合成して階調変換に用いる。
（効果）
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
第１４の発明による画像処理システムは、上記第１１または第１３の発明による画像処理システムにおいて、上記階調処理手段が、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御手段をさらに有して構成されたものである。
（第１４の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
制御手段は図６，図２１に示す制御部１１８が該当する。
この発明の好ましい適用例は、低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に、制御部１１８が有効成分注目画素に対する階調変換を中止するように制御する画像処理システムである。
（作用）
高周波成分中の有効成分が存在しない場合には、有効成分に対する階調変換を中止するように制御する。
（効果）
不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
第１５の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記高周波分離手段が、上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定手段と、上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定手段と、上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断手段と、を有して構成されたものである。
（第１５の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
ノイズ推定手段は図５，図２８に示すゲイン算出部４０１，標準値付与部４０２，パラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５，制御部１１８および図２０に示すゲイン算出部４０１，標準値付与部４０２，ノイズＬＵＴ１１００，制御部１１８が、設定手段は図５，図２０，図２８に示す平均算出部４０７，上限下限設定部４０８が、判断手段は図５，図２０，図２８に示す判断部４０９が、それぞれ該当する。
この発明の好ましい適用例は、ゲイン算出部４０１，標準値付与部４０２，パラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５，制御部１１８，ノイズＬＵＴ１１００によって低周波成分に基づき高周波成分のノイズ量を推定し、上限下限設定部４０８によってノイズ量および高周波成分に基づき許容範囲を設定し、判断部４０９によって許容範囲に基づき高周波成分が無効成分と有効成分との何れに属するかを判断する画像処理システムである。
（作用）
低周波成分に基づき高周波成分のノイズ量を推定し、ノイズ量に基づき高周波成分が無効成分と有効成分との何れに属するかを判断する。
（効果）
ノイズ量に基づき高周波成分の有効性を判断するようにしたために、階調処理に伴うノイズの増加を抑制するために最適な判断が可能となる。
第１６の発明による画像処理システムは、上記第１５の発明による画像処理システムにおいて、上記設定手段が、上記高周波成分の平均値を算出する平均値算出手段と、上記ノイズ量および上記平均値に基づき高周波成分に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、を有して構成されたものである。
（第１６の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
平均算出手段は図５，図２０，図２８に示す平均算出部４０７が、上限下限設定手段は図５，図２０，図２８に示す上限下限設定部４０８が、それぞれ該当する。
この発明の好ましい適用例は、平均算出部４０７によって高周波成分の平均値を算出し、上限下限設定部４０８によってノイズ量および平均値に基づき高周波成分に関する上限値および下限値を設定する画像処理システムである。
（作用）
高周波成分の平均値とノイズ量とに基づき、上限値および下限値を設定する。
（効果）
高周波成分に関してノイズに該当する範囲が適切に設定されるために、処理を高精度化することが可能となる。
第１７の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記高周波成分に対してノイズ低減処理を行うノイズ低減手段をさらに具備したものである。
（第１７の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態３が対応する。
ノイズ低減手段は図２８に示す第１スムージング部１３００，第２スムージング部１３０１が該当する。
この発明の好ましい適用例は、第１スムージング部１３００，第２スムージング部１３０１によって高周波成分に対してノイズ低減処理を行う画像処理システムである。
（作用）
高周波成分に対してノイズ低減処理を行う。
（効果）
ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
第１８の発明による画像処理システムは、上記第１７の発明による画像処理システムにおいて、上記ノイズ低減手段が、上記高周波成分中の有効成分に対して補正を行う第１のスムージング手段と、上記高周波成分中の無効成分に対して平滑化を行う第２のスムージング手段と、を有して構成されたものである。
（第１８の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態３が対応する。
第１のスムージング手段は図２８に示す第１スムージング部１３００が、第２のスムージング手段は図２８に示す第２スムージング部１３０１が、それぞれ該当する。
この発明の好ましい適用例は、第１スムージング部１３００によって高周波成分中の有効成分に対して補正を行い、第２スムージング部１３０１によって高周波成分中の無効成分に対して平滑化を行う画像処理システムである。
（作用）
高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成分に対しては平滑化処理を行う。
（効果）
ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
第１９の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調手段をさらに具備したものである。
（第１９の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態３が対応する。
エッジ強調手段は図２６に示すエッジ強調部１２０２が該当する。
この発明の好ましい適用例は、エッジ強調部１２０２によって高周波成分中の有効成分に対してエッジ強調処理を行う画像処理システムである。
（作用）
高周波成分中の有効成分に対してエッジ強調処理を行う。
（効果）
ノイズ成分を強調することなくエッジ成分のみを強調することができるために、高品位な映像信号を生成することが可能となる。
第２０の発明による画像処理システムは、上記第１または第２の発明による画像処理システムにおいて、上記分離手段が、上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減手段と、上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分手段と、を有して構成されたものである。
（第２０の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
ノイズ低減手段は図３１，図３２に示すノイズ低減部１４００が、差分手段は図３１に示す差分部１４０１が、それぞれ該当する。
この発明の好ましい適用例は、ノイズ低減部１４００によって映像信号に対してノイズ低減を行うことにより有効成分を求めて、差分部１４０１によって映像信号とノイズ低減後の映像信号との差分から無効成分を求める画像処理システムである。
（作用）
映像信号に対してノイズ低減を行うことにより有効成分を求めて、映像信号とノイズ低減後の映像信号との差分から無効成分を求める。
（効果）
ノイズ低減処理により有効成分を求めて、差分処理により無効成分を求めるようにしたために、既存のシステムとの親和性および互換性が高く、多くの画像処理システムに適用することが可能となる。また、ノイズ低減処理を有効成分の算出に利用することができるために、システムの規模を縮小して低コスト化を図ることが可能となる。
第２１の発明による画像処理システムは、上記第２０の発明による画像処理システムにおいて、上記ノイズ低減手段が、上記映像信号のノイズ量を推定するノイズ推定手段と、上記ノイズ量および上映像信号に基づき許容範囲を設定する設定手段と、上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断手段と、上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージング手段と、上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージング手段と、を有して構成されたものである。
（第２１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
ノイズ推定手段は図３２に示す平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３，ノイズＬＵＴ１５０４，制御部１１８が、設定手段は図３２に示す上限下限設定部１５０５が、判断手段は図３２に示す判断部１５０６が、第１のスムージング手段は図３２に示す第１スムージング部１５０７が、第２のスムージング手段は図３２に示す第２スムージング部１５０８が、それぞれ該当する。
この発明の好ましい適用例は、平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３，ノイズＬＵＴ１５０４，制御部１１８によって映像信号のノイズ量を推定し、上限下限設定部１５０５によってノイズ量および映像信号に基づき許容範囲を設定し、判断部１５０６によって許容範囲に基づき映像信号がノイズに属するか否かを判断し、映像信号がノイズに属さないと判断された場合に第１スムージング部１５０７によって補正を行い、映像信号がノイズに属すると判断された場合に第２スムージング部１５０８によって平滑化を行う画像処理システムである。
（作用）
映像信号のノイズ量を推定して、ノイズ量に基づき映像信号がノイズに属するか否かを判断し、ノイズに属さないと判断された場合には補正処理を、ノイズに属すると判断された場合には平滑化処理を行う。
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
第２２の発明による画像処理システムは、上記第２０の発明による画像処理システムにおいて、上記変換手段が、上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理手段と、を有して構成されたものである。
（第２２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
変換特性算出手段は図３１に示す変換特性算出部１１１が、階調処理手段は図３１，図３３に示す階調処理部１４０２が、それぞれ該当する。
この発明の好ましい適用例は、変換特性算出部１１１によってノイズ低減後の映像信号に基づき階調変換に用いる変換特性を算出し、階調処理部１４０２によってノイズ低減後の映像信号に対して階調処理を行う画像処理システムである。
（作用）
ノイズ低減後の映像信号に基づき階調変換に用いる変換特性を算出し、ノイズ低減後の映像信号に対して階調処理を行う。
（効果）
ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。また、ノイズ低減後の映像信号に対して階調処理を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
第２３の発明による画像処理システムは、上記第２２の発明による画像処理システムにおいて、上記合成手段が、上記階調処理がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する信号合成手段を有して構成されたものである。
（第２３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
信号合成手段は図３１に示す信号合成部１４０３が該当する。
この発明の好ましい適用例は、信号合成部１４０３によって、階調処理がなされたノイズ低減後の映像信号と、映像信号とノイズ低減後の映像信号との差分からなる無効成分と、を合成する画像処理システムである。
（作用）
階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成する。
（効果）
階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するようにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
第２４の発明による画像処理システムは、上記第２２の発明による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
（第２４の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
各手段に該当する構成は、図３１における変換特性算出部１１１の具体的な構成を示す図１９に示される。すなわち、適正域抽出手段は図１９に示す適正域抽出部３０２が、エッジ算出手段は図１９に示すエッジ算出部３０３が、ヒストグラム作成手段は図１９に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図１９に示す階調変換曲線算出部３０５が、それぞれ該当する。
この発明の好ましい適用例は、適正域抽出部３０２によってノイズ低減後の映像信号に基づき適正露光域を抽出し、エッジ算出部３０３によって適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によってエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によってヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
（作用）
階調変換処理を行うために必要な階調変換曲線を、ノイズ低減後の映像信号から適用的に算出する。
（効果）
ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、ノイズ低減後の映像信号に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
第２５の発明による画像処理システムは、上記第２４の発明による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分から関心領域を設定する関心領域設定手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、をさらに有して構成されたものであり、上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものである。
（第２５の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
各手段に該当する構成は、図３１における変換特性算出部１１１の具体的な構成を示す図１９に示される。すなわち、関心領域設定手段は図１９に示すエッジ算出部３０３，色相算出部１０００，人物判断部１００１が、重み係数設定手段は図１９に示す重み係数設定部１００２が、ヒストグラム補正手段は図１９に示すヒストグラム補正部１００３が、それぞれ該当する。
この発明の好ましい適用例は、エッジ算出部３０３，色相算出部１０００，人物判断部１００１によってノイズ低減後の映像信号から関心領域を設定し、重み係数設定部１００２によって関心領域に関して重み係数を設定し、ヒストグラム補正部１００３によって重み係数に基づきヒストグラムに補正を行う画像処理システムである。
（作用）
人物などの関心領域に基づき、階調変換曲線を算出するためのヒストグラムに補正を行う。
（効果）
関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
第２６の発明による画像処理システムは、上記第２４または第２５の発明による画像処理システムにおいて、上記階調処理手段が、上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、上記階調変換曲線に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、を有して構成されたものである。
（第２６の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
抽出手段は図３３に示す映像信号抽出部１６００が、階調変換手段は図３３に示す階調変換部５０５が、それぞれ該当する。
この発明の好ましい適用例は、映像信号抽出部１６００によってノイズ低減後の映像信号から階調処理を行う対象となる有効成分注目画素を順次抽出し、階調変換部５０５によって階調変換曲線に基づき有効成分注目画素に対して階調変換を行う画像処理システムである。
（作用）
ノイズ低減後の映像信号を順次抽出して、階調変換を行う。
（効果）
ノイズ低減後の映像信号に階調変換を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
第２７の発明による画像処理システムは、上記第２２の発明による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分を複数の領域に分割する分割手段と、上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
（第２７の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
各手段に該当する構成は、図３１における変換特性算出部１１１の具体的な構成を示す図４に示される。すなわち、分割手段は図４に示す分割部３００が、適正域抽出手段は図４に示す適正域抽出部３０２が、エッジ算出手段は図４に示すエッジ算出部３０３が、ヒストグラム作成手段は図４に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図４に示す階調変換曲線算出部３０５が、それぞれ該当する。
この発明の好ましい適用例は、分割部３００によってノイズ低減後の映像信号を複数の領域に分割し、適正域抽出部３０２によって領域毎にノイズ低減後の映像信号に基づき適正露光域を抽出し、エッジ算出部３０３によって領域毎に適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によって領域毎にエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によって領域毎にヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
（作用）
階調変換処理を行うために必要な階調変換曲線を、ノイズ低減後の映像信号から所定の領域毎に独立かつ適用的に算出する。
（効果）
ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。また、ノイズ低減後の映像信号に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
第２８の発明による画像処理システムは、上記第２７の発明による画像処理システムにおいて、上記階調処理手段が、上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、上記有効成分注目画素と上記有効成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、上記有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、上記設定された階調変換式に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、を有して構成されたものである。
（第２８の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
抽出手段は図３３に示す映像信号抽出部１６００が、距離算出手段は図３３に示す距離算出部５０１が、階調変換式設定手段は図３３に示す階調変換式設定部５０２が、階調変換手段は図３３に示す階調変換部５０５が、それぞれ該当する。
この発明の好ましい適用例は、映像信号抽出部１６００によってノイズ低減後の映像信号から階調処理を行う対象となる有効成分注目画素を順次抽出し、距離算出部５０１によって有効成分注目画素と有効成分注目画素の近傍に位置する領域の中心との距離情報を算出し、階調変換式設定部５０２によって有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と距離情報とに基づき階調変換に用いる階調変換式を設定し、階調変換部５０５によって階調変換式に基づき有効成分注目画素に対して階調変換を行う画像処理システムである。
（作用）
ノイズ低減後の映像信号を順次抽出して、階調変換を行う。また、領域毎に独立して求めた階調変換曲線を合成して階調変換に用いる。
（効果）
ノイズ低減後の映像信号に階調変換を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
第２９の発明による画像処理システムは、上記第２１の発明による画像処理システムにおいて、上記設定手段が、上記映像信号の平均値を算出する平均値算出手段と、上記ノイズ量および上記平均値に基づき上記映像信号に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、を有して構成されたものである。
（第２９の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
平均算出手段は図３２に示す平均算出部１５０１が、上限下限設定手段は図３２に示す上限下限設定部１５０５が、それぞれ該当する。
この発明の好ましい適用例は、平均算出部１５０１によって映像信号の平均値を算出し、上限下限設定部１５０５によってノイズ量および平均値に基づき映像信号に関する上限値および下限値を設定する画像処理システムである。
（作用）
映像信号の平均値とノイズ量とに基づき、上限値および下限値を設定する。
（効果）
映像信号に関してノイズに該当する範囲が適切に設定されるために、処理を高精度化することが可能となる。
第３０の発明による画像処理システムは、上記第１５または第２１の発明による画像処理システムにおいて、上記ノイズ推定手段が、基準ノイズモデルに関するパラメータ群を記録する記録手段と、上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記低周波成分または上記映像信号と上記選択されたパラメータとに基づき補間演算によりノイズ量を求める補間手段と、を有して構成されたものである。
（第３０の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
記録手段は図５，図２８に示すパラメータ用ＲＯＭ４０３が、収集手段は図５，図２８に示すゲイン算出部４０１，制御部１１８が、付与手段は図５，図２８に示す標準値付与部４０２が、パラメータ選択手段は図５，図２８に示すパラメータ選択部４０４が、補間手段は図５，図２８に示す補間部４０５が、それぞれ該当する。
この発明の好ましい適用例は、パラメータ用ＲＯＭ４０３に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、ゲイン算出部４０１，制御部１１８によって映像信号を撮像する際に用いた撮像素子の温度値と映像信号に対するゲイン値とに関する情報を収集し、標準値付与部４０２によってゲイン算出部４０１，制御部１１８からの情報が得られない場合に標準値を付与し、パラメータ選択部４０４によって収集手段または付与手段からの情報と低周波成分または映像信号とに基づきパラメータ群から必要となるパラメータを選択し、補間部４０５によって低周波成分または映像信号と選択されたパラメータとに基づき補間演算によりノイズ量を求める画像処理システムである。
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、基準ノイズモデルに基づき補間処理を行うことによりノイズ量を求める。
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にモデルを用いているために、ノイズ量を高精度に推定することが可能となる。また、補間処理は実装が容易であり、低コストなシステムを構成することが可能となる。
第３１の発明による画像処理システムは、上記第１５または第２１の発明による画像処理システムにおいて、上記ノイズ推定手段が、上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づきノイズ量を出力するテーブル変換手段と、を有して構成されたものである。
（第３１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２および実施形態４が対応する。
収集手段は図２０に示すゲイン算出部４０１，制御部１１８および図３２に示すゲイン算出部１５０２，制御部１１８が、付与手段は図２０に示す標準値付与部４０２および図３２に示す標準値付与部１５０３が、テーブル変換手段は図２０に示すノイズＬＵＴ１１００および図３２に示すノイズＬＵＴ１５０４が、それぞれ該当する。
この発明の好ましい適用例は、ゲイン算出部４０１，制御部１１８，ゲイン算出部１５０２によって映像信号を撮像する際に用いた撮像素子の温度値と映像信号に対するゲイン値とに関する情報を収集し、標準値付与部４０２，標準値付与部１５０３によってゲイン算出部４０１，制御部１１８，ゲイン算出部１５０２からの情報が得られない場合に標準値を付与し、ノイズＬＵＴ１１００，ノイズＬＵＴ１５０４によって収集手段または付与手段からの情報と低周波成分または映像信号とに基づきノイズ量を求める画像処理システムである。
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、ルックアップテーブルからノイズ量を求める。
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。
第３２の発明による画像処理システムは、上記第２の発明による画像処理システムにおいて、上記階調変換がなされた輝度信号と上記色信号とに基づき、階調変換がなされたカラー映像信号を合成するＹ／Ｃ合成手段をさらに具備したものである。
（第３２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
Ｙ／Ｃ合成手段は図１５に示すＹ／Ｃ合成部８０９が該当する。
この発明の好ましい適用例は、Ｙ／Ｃ合成部８０９によって、階調変換がなされた輝度信号と、色信号と、に基づき階調変換がなされたカラー映像信号を合成する画像処理システムである。
（作用）
色信号と階調変換がなされた輝度信号とを合成し、階調変換がなされたカラー映像信号を得る。
（効果）
階調処理後の輝度信号と、色信号と、を本来のカラー映像信号へ戻すようにしたために、後段の処理系との互換性が維持される。これにより、多様なシステムと組み合わせることが可能となる。
第３３の発明による画像処理システムは、上記第２の発明による画像処理システムにおいて、上記カラー映像信号が、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子から得られたカラー映像信号である。
（第３３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
ベイヤー（Bayer）型原色フィルタは図１６に、色差線順次型補色フィルタは図１７に、それぞれ示される。
この発明の好ましい適用例は、図１６に示すベイヤー（Bayer）型原色フィルタ、または図１７に示す色差線順次型補色フィルタを、単板撮像素子の前面に配置したカメラシステムである。
（作用）
ベイヤー（Bayer）型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。
（効果）
従来の撮影部との親和性が高く、多くの画像処理システムに適用することが可能となる。
第３４の発明による画像処理プログラムは、コンピュータに、映像信号に対して階調変換を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離ステップと、上記有効成分に対して階調変換を行う変換ステップと、上記階調変換がなされた有効成分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成ステップと、を実行させるためのプログラムである。
（第３４の発明に対応する実施形態および作用、効果）
第１の発明と同様である。
第３５の発明による画像処理プログラムは、上記第３４の発明による画像処理プログラムにおいて、コンピュータに、上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離ステップをさらに実行させるためのものであり、上記分離ステップ、上記変換ステップ、および上記合成ステップにより扱う上記映像信号は、上記Ｙ／Ｃ分離ステップにより分離された上記輝度信号である。
（第３５の発明に対応する実施形態および作用、効果）
第２の発明と同様である。
第３６の発明による画像処理プログラムは、上記第３４または第３５の発明による画像処理プログラムにおいて、上記分離ステップが、上記映像信号を高周波成分と低周波成分とに分解する周波数分解ステップと、上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離ステップと、を有する。
（第３６の発明に対応する実施形態および作用、効果）
第３の発明と同様である。
第３７の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、上記変換ステップが、上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理ステップと、を有し、さらに、上記変換特性算出ステップは、上記低周波成分を複数の領域に分割する分割ステップと、上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、を有する。
（第３７の発明に対応する実施形態および作用、効果）
第１２の発明と同様である。
第３８の発明による画像処理プログラムは、上記第３７の発明による画像処理プログラムにおいて、上記階調処理ステップが、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出ステップと、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出ステップと、上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出ステップと、上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定ステップと、上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換ステップと、を有する。
（第３８の発明に対応する実施形態および作用、効果）
第１３の発明と同様である。
第３９の発明による画像処理プログラムは、上記第３８の発明による画像処理プログラムにおいて、上記階調処理ステップが、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御ステップをさらに有する。
（第３９の発明に対応する実施形態および作用、効果）
第１４の発明と同様である。
第４０の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、上記高周波分離ステップが、上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定ステップと、上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定ステップと、上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断ステップと、を有する。
（第４０の発明に対応する実施形態および作用、効果）
第１５の発明と同様である。
第４１の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、コンピュータに、上記高周波成分に対してノイズ低減処理を行うノイズ低減ステップをさらに実行させるためのものである。
（第４１の発明に対応する実施形態および作用、効果）
第１７の発明と同様である。
第４２の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、コンピュータに、上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調ステップをさらに実行させるためのものである。
（第４２の発明に対応する実施形態および作用、効果）
第１９の発明と同様である。
第４３の発明による画像処理プログラムは、上記第３４または第３５の発明による画像処理プログラムにおいて、上記分離ステップが、上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減ステップと、上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分ステップと、を有する。
（第４３の発明に対応する実施形態および作用、効果）
第２０の発明と同様である。
第４４の発明による画像処理プログラムは、上記第４３の発明による画像処理プログラムにおいて、上記ノイズ低減ステップが、上記映像信号のノイズ量を推定するノイズ推定ステップと、上記ノイズ量および上映像信号に基づき許容範囲を設定する設定ステップと、上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断ステップと、上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージングステップと、上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージングステップと、を有する。
（第４４の発明に対応する実施形態および作用、効果）
第２１の発明と同様である。
第４５の発明による画像処理プログラムは、上記第４３の発明による画像処理プログラムにおいて、上記変換ステップが、上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理ステップと、を有し、さらに、上記変換特性算出ステップは、上記有効成分を複数の領域に分割する分割ステップと、上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、を有する。
（第４５の発明に対応する実施形態および作用、効果）
第２７の発明と同様である。
本発明の画像処理システム、画像処理プログラムによれば、スペースインバリアントおよびスペースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信号を生成することが可能となる。
また本発明の画像処理システム、画像処理プログラムによれば、階調処理とノイズ低減処理との両方を行うことができ、かつ全体としての高性能化および低コスト化を図ることが可能となる。
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
図１から図１４は本発明の実施形態１を示したものであり、図１は画像処理システムの構成を示すブロック図である。
この図１に示す画像処理システムは、撮像部を含む撮像システムとして構成された例となっている。
すなわち、この画像処理システムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、増幅部１０３と、Ａ／Ｄ変換部（図中では、単に「Ａ／Ｄ」と記載する。）１０４と、バッファ１０５と、測光評価部１０６と、合焦点検出部１０７と、ＡＦモータ１０８と、分離手段であり周波数分解手段たる周波数分解部１０９と、バッファ１１０と、変換手段であり変換特性算出手段たる変換特性算出部１１１と、分離手段であり高周波分離手段たる高周波分離部１１２と、変換手段であり階調処理手段たる階調処理部１１３と、バッファ１１４と、合成手段であり周波数合成手段たる周波数合成部１１５と、信号処理部１１６と、出力部１１７と、制御手段でありノイズ推定手段と収集手段とを兼ねた制御部１１８と、外部Ｉ／Ｆ部１１９と、温度センサ１２０と、を備えている。
レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影し出力されたアナログの映像信号は、増幅部１０３によって増幅され、Ａ／Ｄ変換部１０４によってデジタル信号へ変換される。
このＡ／Ｄ変換部１０４からの映像信号は、バッファ１０５を介して周波数分解部１０９へ転送される。バッファ１０５は、測光評価部１０６および合焦点検出部１０７へも接続されている。
測光評価部１０６は、絞り１０１とＣＣＤ１０２と増幅部１０３とへ接続されている。また、合焦点検出部１０７は、ＡＦモータ１０８へ接続されている。
周波数分解部１０９からの信号は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部１１１と高周波分離部１１２と階調処理部１１３とへ接続されている。
変換特性算出部１１１は、階調処理部１１３へ接続されている。高周波分離部１１２は、階調処理部１１３とバッファ１１４とへ接続されている。階調処理部１１３は、バッファ１１４へ接続されている。
バッファ１１４は、周波数合成部１１５と信号処理部１１６とを経由して、メモリカードなどの出力部１１７へ接続されている。
制御部１１８は、例えばマイクロコンピュータにより構成されていて、増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，周波数分解部１０９，変換特性算出部１１１，高周波分離部１１２，階調処理部１１３，周波数合成部１１５，信号処理部１１６，出力部１１７と双方向に接続されており、これらを制御するようになっている。
また、外部Ｉ／Ｆ部１１９も制御部１１８と双方向に接続されている。この外部Ｉ／Ｆ部１１９は、電源スイッチ，シャッタボタン，撮影時の各種モードの切り替えを行うためのモードボタン等を備えたインタフェースである。
さらに、温度センサ１２０からの信号も制御部１１８へ接続されている。この温度センサ１２０は、ＣＣＤ１０２の近傍に配置されていて、該ＣＣＤ１０２の温度を実質的に測定するためのものである。
次に、図１に示したような画像処理システムの作用を、映像信号の流れに沿って説明する。
ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１１９を介してＩＳＯ感度などの撮影条件を設定する。
その後、ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを半押しすると、この画像処理システムがプリ撮影モードに入る。
レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。
絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。
ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力する。なお、本実施形態においては、ＣＣＤ１０２として、白黒用単板ＣＣＤを想定している。また、撮像素子も、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いてももちろん構わない。
こうしてＣＣＤ１０２から出力されたアナログ信号は、増幅部１０３によってＩＳＯ感度を考慮した所定量だけの増幅が行われた後に、Ａ／Ｄ変換部１０４によってデジタル信号へ変換されてバッファ１０５へ転送される。なお、本実施形態においては、デジタル化された映像信号の階調幅を例えば１２ビットとする。
このバッファ１０５内に記憶された映像信号は、測光評価部１０６と、合焦点検出部１０７と、へそれぞれ転送される。
測光評価部１０６は、映像信号に基づき、設定されたＩＳＯ感度，手ぶれ限界のシャッタ速度などを考慮して、上述した絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを適正露光となるように制御する。
また、合焦点検出部１０７は、映像信号に基づき、エッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１０８を制御して、合焦信号を得る。
こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを全押しにすると、この画像処理システムが本撮影モードに入る。
すると、プリ撮影と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１８へ転送される。
本撮影によって得られたバッファ１０５内の映像信号は、周波数分解部１０９へ転送される。
周波数分解部１０９は、制御部１１８の制御に基づき、転送されてきた映像信号に所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部１０９は、得られた高周波成分および低周波成分を順次バッファ１１０へ転送する。なお、本実施形態においては、周波数分解として二回のウェーブレット（Wavelet）変換を用いることを想定している。
変換特性算出部１１１は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を読み込み、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、局所領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部１１１は、算出した階調特性を、階調処理部１１３へ転送する。
高周波分離部１１２は、制御部１１８の制御に基づき、バッファ１１０から高周波成分を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部１１２は、分離した上記有効成分を階調処理部１１３へ、上記無効成分をバッファ１１４へ、それぞれ転送する。
階調処理部１１３は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、高周波分離部１１２から高周波成分中の有効成分を、変換特性算出部１１１から階調特性を、それぞれ読み込む。そして、階調処理部１１３は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部１１３は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分とを、バッファ１１４へ転送する。
周波数合成部１１５は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を合成する。なお、本実施形態においては、周波数合成として逆ウェーブレット（Wavelet）変換を用いることを想定している。そして、周波数合成部１１５は、合成した映像信号を信号処理部１１６へ転送する。
信号処理部１１６は、制御部１１８の制御に基づき、周波数合成部１１５からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図２は、周波数分解部１０９の構成の一例を示すブロック図である。
この周波数分解部１０９は、データ読取部２００と、バッファ２０１と、水平ハイパスフィルタ（図中では、単に「水平ハイパス」とのみ記載する。以下同様。）２０２と、水平ローパスフィルタ（図中では、単に「水平ローパス」とのみ記載する。以下同様。）２０３と、サブサンプラ２０４と、サブサンプラ２０５と、垂直ハイパスフィルタ（図中では、単に「垂直ハイパス」とのみ記載する。以下同様。）２０６と、垂直ローパスフィルタ（図中では、単に「垂直ローパス」とのみ記載する。以下同様。）２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、サブサンプラ２１０と、サブサンプラ２１１と、サブサンプラ２１２と、サブサンプラ２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７と、を有して構成されている。
バッファ１０５は、データ読取部２００を介して、バッファ２０１へ接続されている。
バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。
水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。
垂直ハイパスフィルタ２０６はサブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、垂直ハイパスフィルタ２０８はサブサンプラ２１２へ、垂直ローパスフィルタ２０９はサブサンプラ２１３へ、それぞれ接続されている。
サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２は切換部２１４へ接続されている。
サブサンプラ２１３は、切換部２１４およびデータ転送制御部２１５へ接続されている。切換部２１４は、バッファ１１０へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。
基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９へ、それぞれ接続されている。
制御部１１８は、データ読取部２００，切換部２１４，データ転送制御部２１５，フィルタ係数読取部２１７と双方向に接続されていて、これらを制御するようになっている。
基底関数ＲＯＭ２１６には、Harr関数やDaubechies関数などのウェーブレット（Wavelet）変換に用いられるフィルタ係数が記録されている。これらの内の、例えば、Harr関数におけるハイパスフィルタの係数を数式１に、ローパスフィルタの係数を数式２に、それぞれ示す。
［数１］
ハイパスフィルタ係数＝｛０．５，−０．５｝
［数２］
ローパスフィルタ係数＝｛０．５，０．５｝
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
フィルタ係数読取部２１７は、制御部１１８の制御に基づき、基底関数ＲＯＭ２１６からフィルタ係数を読み込んで、水平ハイパスフィルタ２０２，垂直ハイパスフィルタ２０６，垂直ハイパスフィルタ２０８へハイパスフィルタ係数を、水平ローパスフィルタ２０３，垂直ローパスフィルタ２０７，垂直ローパスフィルタ２０９へローパスフィルタ係数を、それぞれ転送する。
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、制御部１１８の制御に基づき、バッファ１０５から映像信号を読み込んで、バッファ２０１へ転送する。なお、これ以後は、バッファ１０５から読み込まれてバッファ２０１上に記憶されている映像信号を、Ｌ0とする。
バッファ２０１上の映像信号は、水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９によって水平方向および垂直方向のフィルタリング処理がなされる。
ここで、サブサンプラ２０４，サブサンプラ２０５は、入力映像信号を水平方向に１／２にサブサンプリングし、サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２，サブサンプラ２１３は、入力映像信号を垂直方向に１／２にサブサンプリングする。
従って、サブサンプラ２１０の出力は１回目の変換における斜め方向の高周波成分Ｈｓ１ijを、サブサンプラ２１１の出力は１回目の変換における水平方向の１次高周波成分Ｈｈ１ijを、サブサンプラ２１２の出力は１回目の変換における垂直方向の１次高周波成分Ｈｖ１ijを、サブサンプラ２１３の出力は１回目の変換における１次低周波成分Ｌ１ijを、それぞれ与えることになる。ここに、添え字のｉ，ｊは、変換後の１次の信号におけるｘ，ｙ方向の座標をそれぞれ意味している。
図３はウェーブレット（Wavelet）変換を説明するための図であり、図３（Ａ）は実空間における映像信号を、図３（Ｂ）は１回目のウェーブレット（Wavelet）変換を行った後の信号を、図３（Ｃ）は２回目のウェーブレット（Wavelet）変換を行った後の信号を、それぞれ示している。
図３（Ａ）に示すような実空間における映像信号に対して、１回目のウェーブレット変換を行うと、信号は図３（Ｂ）に示すようになる。また、この図３（Ｂ）には、低周波成分Ｌ１00に対応する斜め方向の１次高周波成分Ｈｓ１00と、水平方向の１次高周波成分Ｈｈ１00と、垂直方向の１次高周波成分Ｈｖ１00と、も示している。
１回目の変換においては、１画素の１次低周波成分Ｌ１ijに対応する３つの１次高周波成分Ｈｓ１ij，Ｈｈ１ij，Ｈｖ１ijは、全て１画素となる。
切換部２１４は、制御部１１８の制御に基づき、上記３つの１次高周波成分Ｈｓ１ij，Ｈｈ１ij，Ｈｖ１ijと、１次低周波成分Ｌ１ijと、をバッファ１１０へ順次転送する。
また、データ転送制御部２１５は、制御部１１８の制御に基づき、サブサンプラ２１３から１次低周波成分Ｌ１ijをバッファ２０１へ転送する。
バッファ２０１上の１次低周波成分Ｌ１ijに対して、上述と同様のフィルタリング処理がなされることにより、３つの２次高周波成分Ｈｓ２kl，Ｈｈ２kl，Ｈｖ２klと、２次低周波成分Ｌ２klと、が出力される。ここに、添え字のｋ，ｌは、変換後の２次の信号におけるｘ，ｙ方向の座標をそれぞれ意味している。
図３（Ｃ）は、このような２回目の変換における信号を示している。
図３（Ｃ）に示すように、２回目の変換においては、１画素の２次低周波成分Ｌ２00に対応する斜め方向の２次高周波成分はＨｓ２00、水平方向の２次高周波成分はＨｈ２00、垂直方向の２次高周波成分はＨｖ２00で全て１画素となるが、対応する斜め方向の１次高周波成分はＨｓ１00，Ｈｓ１10，Ｈｓ１01，Ｈｓ１11、水平方向の１次高周波成分はＨｈ１00，Ｈｈ１10，Ｈｈ１01，Ｈｈ１11、垂直方向の１次高周波成分はＨｖ１00，Ｈｖ１10，Ｈｖ１01，Ｈｖ１11で全て４画素となる。上述したような過程は、制御部１１８の制御に基づいて、所定のｎ（ｎは１以上の整数であり、本実施形態においては上述したようにｎ＝２を想定している。）段階の分解が行われるまで繰り返して行われる。
次に、図４は、変換特性算出部１１１の構成の一例を示すブロック図である。
この変換特性算出部１１１は、分割手段たる分割部３００と、バッファ３０１と、適正域抽出手段たる適正域抽出部３０２と、関心領域設定手段でありエッジ算出手段たるエッジ算出部３０３と、ヒストグラム作成手段たるヒストグラム作成部３０４と、階調変換曲線算出手段たる階調変換曲線算出部３０５と、バッファ３０６と、を有して構成されている。
バッファ１１０は、分割部３００を介してバッファ３０１へ接続されている。
バッファ３０１は、適正域抽出部３０２およびヒストグラム作成部３０４へ接続されている。適正域抽出部３０２は、エッジ算出部３０３を介してヒストグラム作成部３０４へ接続されている。
ヒストグラム作成部３０４は、階調変換曲線算出部３０５，バッファ３０６を介して階調処理部１１３へ接続されている。
制御部１１８は、分割部３００，適正域抽出部３０２，エッジ算出部３０３，ヒストグラム作成部３０４，階調変換曲線算出部３０５と双方向に接続されていて、これらを制御するようになっている。
続いて、このような変換特性算出部１１１の作用について説明する。
分割部３００は、制御部１１８の制御に基づき、バッファ１１０から映像信号の低周波成分を読み込んで、これを図７に示すような所定サイズの領域、例えば３２×３２画素サイズの領域に、各領域同士が重複することのないように分割する。ここに、図７は、階調変換曲線の合成演算における低周波成分の領域への分割を説明するための図である。そして、分割部３００は、分割した領域を、バッファ３０１へ順次転送する。
適正域抽出部３０２は、制御部１１８の制御に基づき、バッファ３０１から領域単位で低周波成分を読み込んで、暗部に関する所定の閾値（一例としての１２ビット階調の場合には例えば１２８）および明部に関する所定の閾値（この１２ビット階調の場合には例えば３９６８）とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を適正露光域としてエッジ算出部３０３へ転送する。
エッジ算出部３０３は、制御部１１８の制御に基づき、適正域抽出部３０２からの適正露光域の低周波成分を読み込んで、ラプラシアンフィルタなどを用いて公知のエッジ強度の算出を行う。エッジ算出部３０３は、算出したエッジ強度をヒストグラム作成部３０４へ転送する。
ヒストグラム作成部３０４は、制御部１１８の制御に基づき、エッジ算出部３０３からのエッジ強度に関して所定の閾値（上述した１２ビット階調の場合には例えば６４）以上のエッジ強度のある画素を選別して、バッファ３０１から対応する画素位置の低周波成分を読み込む。そして、ヒストグラム作成部３０４は、読み込んだ低周波成分に関してヒストグラムを作成し、作成したヒストグラムを階調変換曲線算出部３０５へ転送する。
階調変換曲線算出部３０５は、制御部１１８の制御に基づき、ヒストグラム作成部３０４からのヒストグラムを累積し、さらに正規化することにより階調変換曲線を算出する。この正規化は、映像信号の階調に従って行われ、上述した１２ビット階調である場合には０〜４０９５の範囲になるように正規化される。階調変換曲線算出部３０５は、算出した階調変換曲線を、バッファ３０６へ転送する。
なお、上述した適正域抽出部３０２，エッジ算出部３０３，ヒストグラム作成部３０４，階調変換曲線算出部３０５における各処理は、制御部１１８の制御に基づき、領域単位で同期して行われるようになっている。
次に、図５は、高周波分離部１１２の構成の一例を示すブロック図である。
この高周波分離部１１２は、低周波成分抽出部４００と、ノイズ推定手段であり収集手段たるゲイン算出部４０１と、ノイズ推定手段であり付与手段たる標準値付与部４０２と、ノイズ推定手段であり記録手段たるパラメータ用ＲＯＭ４０３と、ノイズ推定手段でありパラメータ選択手段たるパラメータ選択部４０４と、ノイズ推定手段であり補間手段たる補間部４０５と、高周波成分抽出部４０６と、設定手段であり平均算出手段たる平均算出部４０７と、設定手段であり上限下限設定手段たる上限下限設定部４０８と、判断手段たる判断部４０９と、を有して構成されている。
バッファ１１０は、低周波成分抽出部４００および高周波成分抽出部４０６へ接続されている。低周波成分抽出部４００は、パラメータ選択部４０４へ接続されている。
ゲイン算出部４０１，標準値付与部４０２，パラメータ用ＲＯＭ４０３は、パラメータ選択部４０４へ接続されている。パラメータ選択部４０４は、補間部４０５を介して上限下限設定部４０８へ接続されている。
高周波成分抽出部４０６は、平均算出部４０７および判断部４０９へ接続されている。平均算出部４０７は、上限下限設定部４０８を介して判断部４０９へ接続されている。
判断部４０９は、階調処理部１１３およびバッファ１１４へ接続されている。
制御部１１８は、低周波成分抽出部４００，ゲイン算出部４０１，標準値付与部４０２，パラメータ選択部４０４，補間部４０５，高周波成分抽出部４０６，平均算出部４０７，上限下限設定部４０８，判断部４０９と双方向に接続されていて、これらを制御するようになっている。
続いて、このような高周波分離部１１２の作用について説明する。
低周波成分抽出部４００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を画素単位で順次抽出する。なお、本実施形態においては、ウェーブレット（Wavelet）変換を２回行うことを想定している。この場合には、低周波成分抽出部４００がバッファ１１０から抽出する低周波成分は、図３（Ｃ）に示すような２次低周波成分Ｌ２klとなる。
ゲイン算出部４０１は、制御部１１８から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０３におけるゲイン情報を求めて、求めたゲイン情報をパラメータ選択部４０４へ転送する。
また、制御部１１８は、温度センサ１２０からＣＣＤ１０２の温度情報を取得して、取得した温度情報をパラメータ選択部４０４へ転送する。
標準値付与部４０２は、制御部１１８の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をパラメータ選択部４０４へ転送する。
パラメータ選択部４０４は、低周波成分抽出部４００からの注目画素の画素値と、ゲイン算出部４０１または標準値付与部４０２からのゲイン情報と、制御部１１８または標準値付与部４０２からの温度情報とに基づき、ノイズ量を推定するために使用する基準ノイズモデルのパラメータをパラメータ用ＲＯＭ４０３から探索する。そして、パラメータ選択部４０４は、探索したパラメータを補間部４０５へ転送する。また、パラメータ選択部４０４は、低周波成分抽出部４００からの低周波成分の映像信号も補間部４０５へ転送する。
補間部４０５は、上記基準ノイズモデルのパラメータに基づき上記低周波成分に関するノイズ量Ｎを算出して、算出したノイズ量Ｎを上限下限設定部４０８へ転送する。
なお、上述したようなパラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５によるノイズ量Ｎの算出は、具体的には、例えば上述した特開２００４−１２８９８５号公報に記載されている技術により実現することができる。
高周波成分抽出部４０６は、制御部１１８の制御に基づき、低周波成分抽出部４００により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する。
例えば、低周波成分として、図３（Ｃ）に示すような２次低周波成分Ｌ２00が抽出された場合には、この２次低周波成分Ｌ２00に対応する高周波成分は、２次高周波成分であるＨｓ２00，Ｈｈ２00，Ｈｖ２00の計３画素と、１次高周波成分であるＨｓ１00，Ｈｓ１10，Ｈｓ１01，Ｈｓ１11，Ｈｈ１00，Ｈｈ１10，Ｈｈ１01，Ｈｈ１11，Ｈｖ１00，Ｈｖ１10，Ｈｖ１01，Ｈｖ１11の計１２画素と、になる。
また、高周波成分の近傍に位置する高周波成分としては、対応する高周波成分を含む例えば２×２画素の領域が選択される。
高周波成分抽出部４０６は、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を平均算出部４０７へ順次転送するとともに、低周波成分に対応する高周波成分については判断部４０９へ順次転送する。
平均算出部４０７は、制御部１１８の制御に基づき、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値ＡＶを算出して、算出した平均値ＡＶを上限下限設定部４０８へ転送する。
上限下限設定部４０８は、制御部１１８の制御に基づき、平均算出部４０７からの平均値ＡＶと補間部４０５からのノイズ量Ｎとを用いて、有効成分と無効成分とを識別するための上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、次の数式３に示すように設定する。
［数３］
Ａｐｐ＿Ｕｐ ＝ＡＶ＋Ｎ／２
Ａｐｐ＿Ｌｏｗ＝ＡＶ−Ｎ／２
上限下限設定部４０８は、このようにして設定した上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、判断部４０９へ転送する。
判断部４０９は、制御部１１８の制御に基づき、高周波成分抽出部４０６から低周波成分に対応する高周波成分を読み込むとともに、上限下限設定部４０８から数式３に示す上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを読み込む。そして、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐと下限Ａｐｐ＿Ｌｏｗとの範囲内（例えば、下限Ａｐｐ＿Ｌｏｗ以上かつ上限Ａｐｐ＿Ｕｐ以下の範囲内）にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周波成分をバッファ１１４へ転送する。一方、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐを上回る（上限Ａｐｐ＿Ｕｐよりも大きい）か、または下限Ａｐｐ＿Ｌｏｗを下回る（下限Ａｐｐ＿Ｌｏｗよりも小さい）かする場合には、該高周波成分が有効成分であると判断して、高周波成分を階調処理部１１３へ転送する。
なお、上述した平均算出部４０７，上限下限設定部４０８，判断部４０９における各処理は、制御部１１８の制御に基づき、対応する高周波成分の各画素単位で同期して行われるようになっている。
次に、図６は、階調処理部１１３の構成の一例を示すブロック図である。
この階調処理部１１３は、第１の抽出手段たる低周波成分抽出部５００と、距離算出手段たる距離算出部５０１と、階調変換式設定手段たる階調変換式設定部５０２と、バッファ５０３と、第２の抽出手段たる高周波成分抽出部５０４と、階調変換手段たる階調変換部５０５と、を有して構成されている。
変換特性算出部１１１は、階調変換式設定部５０２へ接続されている。
バッファ１１０は、低周波成分抽出部５００へ接続されている。低周波成分抽出部５００は、距離算出部５０１および階調変換部５０５へ接続されている。距離算出部５０１は、階調変換式設定部５０２，バッファ５０３を介して階調変換部５０５へ接続されている。
高周波分離部１１２は、高周波成分抽出部５０４を介して階調変換部５０５へ接続されている。
階調変換部５０５は、バッファ１１４へ接続されている。
制御部１１８は、低周波成分抽出部５００，距離算出部５０１，階調変換式設定部５０２，高周波成分抽出部５０４，階調変換部５０５と双方向に接続されていて、これらを制御するようになっている。
続いて、このような階調処理部１１３の作用について説明する。
低周波成分抽出部５００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を画素単位で順次抽出する。なお、本実施形態においては、上述したように、ウェーブレット（Wavelet）変換を２回行うことを想定している。この場合には、低周波成分抽出部５００がバッファ１１０から抽出する低周波成分の注目画素は、図３（Ｃ）に示すような２次低周波成分Ｌ２klとなる。
低周波成分抽出部５００は、抽出した低周波成分を、距離算出部５０１および階調変換部５０５へそれぞれ転送する。
距離算出部５０１は、低周波成分抽出部５００により抽出された注目画素に関して、該注目画素の近傍に位置する４つの領域との間の距離を算出する。
図８は、階調変換曲線の合成演算における注目画素と近傍４領域との間の距離ｄ1〜ｄ4を説明するための図である。
注目画素と近傍４領域との間の距離は、該注目画素と各領域の中心との間の距離としてそれぞれ算出される。これ以後は、算出された注目画素と近傍４領域との間の各距離をｄm（ｍ＝１〜４）により表し、近傍４領域の各階調変換曲線をＴm（）により表すことにする。距離算出部５０１は、算出した距離ｄmを、階調変換式設定部５０２へ転送する。
階調変換式設定部５０２は、制御部１１８の制御に基づき、距離算出部５０１から距離ｄmを読み込むとともに、変換特性算出部１１１から対応する近傍４領域の階調変換曲線Ｔm（）を読み込んで、注目画素に対する階調変換式を次の数式４に示すように設定する。
［数４］
Figure 2008072233
ここに、数式４におけるＰは階調変換処理の対象となる画素を、Ｐ’は階調変換処理後の画素を、それぞれ意味している。
階調変換式設定部５０２は、この数式４に示すように設定した階調変換式を、バッファ５０３へ転送する。
一方、高周波成分抽出部５０４は、制御部１１８の制御に基づき、低周波成分抽出部５００が抽出した低周波成分に対応する高周波成分を高周波分離部１１２から抽出する。本実施形態においては、低周波成分の注目画素が図３（Ｃ）に示す２次低周波成分Ｌ２klであるとしているために、抽出される高周波成分は、２次高周波成Ｈｓ２kl，Ｈｈ２kl，Ｈｖ２klから１画素毎の計３画素と、１次高周波成分Ｈｓ１ij，Ｈｈ１ij，Ｈｖ１ijから４画素毎の計１２画素と、になる。そして高周波成分抽出部５０４は、抽出した高周波成分を、階調変換部５０５へ転送する。
その後に、階調変換部５０５は、高周波成分抽出部５０４からの高周波成分が存在する場合には、該高周波成分を読み込むとともに、バッファ５０３から数式４に示す階調変換式を読み込んで、読み込んだ階調変換式に基づき高周波成分に階調変換を行う。階調変換部５０５は、階調変換後の高周波成分を、バッファ１１４へ転送する。一方、階調変換部５０５は、対応する高周波成分が無効成分であると判断されて抽出される高周波成分が存在しない場合には、制御部１１８の制御に基づき、高周波成分に対する階調変換を中止する。
また、階調変換部５０５は、低周波成分抽出部５００から低周波成分を、バッファ５０３から数式４に示す階調変換式を、それぞれ読み込んで、低周波成分に対する階調変換を行う。階調変換部５０５は、階調変換後の低周波成分を、バッファ１１４へ転送する。
次に、図９は周波数合成部１１５の構成の一例を示すブロック図である。
この周波数合成部１１５は、データ読取部６００と、切換部６０１と、アップサンプラ６０２と、アップサンプラ６０３と、アップサンプラ６０４と、アップサンプラ６０５と、垂直ハイパスフィルタ６０６と、垂直ローパスフィルタ６０７と、垂直ハイパスフィルタ６０８と、垂直ローパスフィルタ６０９と、アップサンプラ６１０と、アップサンプラ６１１と、水平ハイパスフィルタ６１２と、水平ローパスフィルタ６１３と、バッファ６１４と、データ転送制御部６１５と、基底関数ＲＯＭ６１６と、フィルタ係数読取部６１７と、を有して構成されている。
バッファ１１４は、データ読取部６００を介して切換部６０１へ接続されている。切換部６０１は、アップサンプラ６０２，アップサンプラ６０３，アップサンプラ６０４，アップサンプラ６０５へそれぞれ接続されている。アップサンプラ６０２は垂直ハイパスフィルタ６０６へ、アップサンプラ６０３は垂直ローパスフィルタ６０７へ、アップサンプラ６０４は垂直ハイパスフィルタ６０８へ、アップサンプラ６０５は垂直ローパスフィルタ６０９へ、接続されている。
垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７はアップサンプラ６１０へ、垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９はアップサンプラ６１１へ、接続されている。アップサンプラ６１０は水平ハイパスフィルタ６１２へ、アップサンプラ６１１は水平ローパスフィルタ６１３へ、接続されている。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３は、バッファ６１４へ接続されている。バッファ６１４は、信号処理部１１６およびデータ転送制御部６１５へ接続されている。
データ転送制御部６１５は、切換部６０１へ接続されている。
基底関数ＲＯＭ６１６は、フィルタ係数読取部６１７へ接続されている。フィルタ係数読取部６１７は、垂直ハイパスフィルタ６０６，垂直ローパスフィルタ６０７，垂直ハイパスフィルタ６０８，垂直ローパスフィルタ６０９，水平ハイパスフィルタ６１２，水平ローパスフィルタ６１３へ接続されている。
制御部１１８は、データ読取部６００，切換部６０１，データ転送制御部６１５，フィルタ係数読取部６１７と双方向に接続されていて、これらを制御するようになっている。
続いて、このような周波数合成部１１５の作用について説明する。
基底関数ＲＯＭ６１６には、Harr関数やDaubechies関数などの逆ウェーブレット（Wavelet）変換に用いられるフィルタ係数が記録されている。
フィルタ係数読取部６１７は、制御部１１８の制御に基づき、基底関数ＲＯＭ６１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ６０６，垂直ハイパスフィルタ６０８，水平ハイパスフィルタ６１２へハイパスフィルタ係数を、垂直ローパスフィルタ６０７，垂直ローパスフィルタ６０９，水平ローパスフィルタ６１３へローパスフィルタ係数を、それぞれ転送する。
フィルタ係数が転送された後に、データ読取部６００は、制御部１１８の制御に基づき、バッファ１１４から階調処理がなされた低周波成分と階調処理がなされたｎ段階の高周波成分中の有効成分とｎ段階の高周波成分中の無効成分とを読み込んで、切換部６０１へ転送する。なお、階調処理がなされたｎ段階の高周波成分中の有効成分とｎ段階の高周波成分中の無効成分とは、データ読取部６００により読み取られた時点で、一体化されたｎ段階の高周波成分となる。
切換部６０１は、制御部１１８の制御に基づき、斜め方向の高周波成分をアップサンプラ６０２を介して垂直ハイパスフィルタ６０６へ、水平方向の高周波成分をアップサンプラ６０３を介して垂直ローパスフィルタ６０７へ、垂直方向の高周波成分をアップサンプラ６０４を介して垂直ハイパスフィルタ６０８へ、低周波成分をアップサンプラ６０５を介して垂直ローパスフィルタ６０９へそれぞれ転送し、垂直方向のフィルタリング処理を実行させる。
垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７からの周波数成分はアップサンプラ６１０を介して水平ハイパスフィルタ６１２へ、垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９からの周波数成分はアップサンプラ６１１を介して水平ローパスフィルタ６１３へ転送され、水平方向のフィルタリング処理がなされる。
水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３からの周波数成分がバッファ６１４へ転送されて一つに合成されることにより、（ｎ−１）段階の低周波成分が生成される。
ここで、アップサンプラ６０２，アップサンプラ６０３，アップサンプラ６０４，アップサンプラ６０５は入力周波数成分を垂直方向に２倍にアップサンプリングし、アップサンプラ６１０，アップサンプラ６１１は入力周波数成分を水平方向に２倍にアップサンプリングする。
データ転送制御部６１５は、制御部１１８の制御に基づき、低周波成分を切換部６０１へ転送する。
データ読取部６００は、制御部１１８の制御に基づき、バッファ１１４から（ｎ−１）段階の斜め，水平，垂直方向の三種類の高周波成分を読み込んで、切換部６０１へ転送する。そして、分解の段階数（ｎ−１）の周波数成分に対して、上述と同様のフィルタリング処理がなされることによりｎ−２段階の低周波成分がバッファ６１４へ出力される。
上述したような過程は、制御部１１８により所定のｎ段階の合成が行われるまで繰り返して行われる。これにより、最終的にバッファ６１４には０段階の低周波成分が出力され、この０段階の低周波成分を階調変換がなされた映像信号として信号処理部１１６へ転送する。
なお、上述ではレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサ１２０を含む撮像部を一体化した構成の画像処理システムについて説明したが、画像処理システムとしてはこのような構成に限定される必要はない。例えば、図１０に示すように、撮像部が別体であっても構わない。すなわち、図１０に示す画像処理システムは、別体の撮像部により撮像され、未処理のロー（Raw）データ形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度や露光条件などの映像信号に係る付随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
ここに、図１０は画像処理システムの他の構成例を示す図である。
この図１０に示す画像処理システムは、図１に示した画像処理システムから、レンズ系１００，絞り１０１，ＣＣＤ１０２，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサ１２０を省略して、入力部７００，ヘッダ情報解析部７０１を追加した構成となっている。この図１０に示す画像処理システムにおけるその他の基本的な構成は図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
入力部７００は、バッファ１０５およびヘッダ情報解析部７０１へ接続されている。制御部１１８は、入力部７００，ヘッダ情報解析部７０１と双方向に接続されていて、これらを制御するようになっている。
次に、この図１０に示す画像処理システムにおいて異なる作用は、以下のようになっている。
例えばマウスやキーボードなどの外部Ｉ／Ｆ部１１９を介して再生操作を開始すると、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部７００を介して読み込まれる。
入力部７００から読み込まれた情報の内の、映像信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部７０１へ、それぞれ転送される。
ヘッダ情報解析部７０１は、入力部７００から転送されたヘッダ情報に基づき、撮影時の情報（すなわち、上述したような露光条件、撮像素子の温度など）を抽出して制御部１１８へ転送する。
これ以後の処理は、図１に示したような画像処理システムと同様である。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図１１は、画像処理プログラムのメインルーチンを示すフローチャートである。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、ウェーブレット（Wavelet）変換などの周波数分解を行って、高周波成分と低周波成分とを取得する（ステップＳ２）。
続いて、後で図１２を参照して説明するように、変換特性を算出する（ステップＳ３）。
さらに、後で図１３を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する（ステップＳ４）。
そして、後で図１４を参照して説明するように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う（ステップＳ５）。
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する（ステップＳ６）。
続いて、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
そして、処理後の映像信号を出力して（ステップＳ８）、この処理を終了する。
図１２は、上記ステップＳ３における変換特性算出の処理を示すフローチャートである。
この処理を開始すると、図７に示すように、低周波成分を所定サイズの領域に分割して順次抽出する（ステップＳ１０）。
次に、低周波成分を暗部に関する所定の閾値および明部に関する所定の閾値とそれぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を適正露光域として抽出する（ステップＳ１１）。
続いて、適正露光域の低周波成分に対してラプラシアンフィルタを用いるなどして、公知のエッジ強度の算出を行う（ステップＳ１２）。
そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成する（ステップＳ１３）。
その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出する（ステップＳ１４）。
こうして算出した階調変換曲線を出力する（ステップＳ１５）。
続いて、全ての領域についての処理が完了したか否かを判断して（ステップＳ１６）、完了していないと判断した場合には上記ステップＳ１０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図１１に示した処理へリターンする。
図１３は、上記ステップＳ４における高周波分離の処理を示すフローチャートである。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ２０）。
次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ２１）。
続いて、基準ノイズモデルに関するパラメータを読み込む（ステップＳ２２）。
そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補間処理によって算出する（ステップＳ２３）。
その後、図３（Ｂ）または図３（Ｃ）に示すように、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を順次抽出する（ステップＳ２４）。
次に、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値を算出する（ステップＳ２５）。
続いて、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ２６）。
そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する（ステップＳ２７）。
さらに、有効成分と無効成分とを分離して出力する（ステップＳ２８）。
そして、全ての高周波成分の処理が完了したか否かを判断し（ステップＳ２９）、完了していないと判断した場合には上記ステップＳ２４へ戻って上述したような処理を繰り返して行う。
一方、このステップＳ２９において、全ての高周波成分の処理が完了したと判断した場合には、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ３０）、完了していないと判断した場合には上記ステップＳ２０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図１１に示した処理へリターンする。
図１４は、上記ステップＳ５における階調処理を示すフローチャートである。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ４０）。
次に、図８に示すように、低周波成分の注目画素とその近傍４領域の中心との間の距離を算出する（ステップＳ４１）。
続いて、近傍４領域における階調変換曲線を読み込む（ステップＳ４２）。
さらに、数式４に示したように、注目画素に対する階調変換式を設定する（ステップＳ４３）。
そして、図３（Ｂ）または図３（Ｃ）に示すように、低周波成分に対応する、有効成分とされる高周波成分を順次抽出する（ステップＳ４４）。
その後、有効成分とされる高周波成分が存在するか否かを判断する（ステップＳ４５）。
ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分とされる高周波成分に対して数式４に示した階調変換式を適用して階調変換を行う（ステップＳ４６）。
このステップＳ４６の処理が終了するか、または、上記ステップＳ４５において、有効成分とされる高周波成分が存在していないと判断した場合には、低周波成分に対して数式４に示した階調変換式を適用して階調変換を行う（ステップＳ４７）。
そして、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、を出力する（ステップＳ４８）。
その後、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ４９）、完了していないと判断した場合には上記ステップＳ４０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図１１に示した処理へリターンする。
なお、上述においては周波数分解および周波数合成にウェーブレット（Wavelet）変換を用いる構成を採用していたが、このような構成に限定される必要はない。例えば、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換などの、公知の周波数分解や周波数合成のための変換を用いるように構成することも可能である。
また、上述ではウェーブレット（Wavelet）変換の変換回数を２回としていたが、このような構成に限定される必要はない。例えば変換回数を増やすことによりノイズに起因する無効成分とその他の有効成分との分離能を向上させたり、あるいは変換回数を減らすことにより画像の統一性を向上させたりするように構成することが可能である。
このような実施形態１によれば、視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
また、ウェーブレット（Wavelet）変換は周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
そして、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
［実施形態２］
図１５から図２５は本発明の実施形態２を示したものであり、図１５は画像処理システムの構成を示すブロック図である。
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の画像処理システムは、上述した実施形態１の図１に示した画像処理システムに、プレホワイトバランス部８０１，Ｙ／Ｃ分離手段たるＹ／Ｃ分離部８０２，バッファ８０３，Ｙ／Ｃ合成手段たるＹ／Ｃ合成部８０９を追加し、ＣＣＤ１０２，周波数分解部１０９，変換特性算出部１１１，高周波分離部１１２，階調処理部１１３，周波数合成部１１５をカラーＣＣＤ８００，分離手段であり周波数分解手段たる周波数分解部８０４，変換手段であり変換特性算出手段たる変換特性算出部８０５，分離手段であり高周波分離手段たる高周波分離部８０６，変換手段であり階調処理手段たる階調処理部８０７，合成手段であり周波数合成手段たる周波数合成部８０８にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
レンズ系１００，絞り１０１，カラーＣＣＤ８００を介して撮影されたカラー映像信号は、増幅部１０３へ転送される。
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，プレホワイトバランス部８０１，Ｙ／Ｃ分離部８０２へ接続されている。
プレホワイトバランス部８０１は、増幅部１０３へ接続されている。
Ｙ／Ｃ分離部８０２はバッファ８０３へ、バッファ８０３は周波数分解部８０４，変換特性算出部８０５，Ｙ／Ｃ合成部８０９へ接続されている。
周波数分解部８０４は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部８０５，高周波分離部８０６，階調処理部８０７へ接続されている。変換特性算出部８０５は、階調処理部８０７へ接続されている。高周波分離部８０６は、バッファ１１４および階調処理部８０７へ接続されている。階調処理部８０７は、バッファ１１４へ接続されている。
バッファ１１４は、周波数合成部８０８，Ｙ／Ｃ合成部８０９を介して信号処理部１１６へ接続されている。
制御部１１８は、プレホワイトバランス部８０１，Ｙ／Ｃ分離部８０２，周波数分解部８０４，変換特性算出部８０５，高周波分離部８０６，階調処理部８０７，周波数合成部８０８，Ｙ／Ｃ合成部８０９とも双方向に接続されていて、これらも制御するようになっている。
また、本実施形態の温度センサ１２０は、上述したカラーＣＣＤ８００の近傍に配置されていて、この温度センサ１２０からの信号も制御部１１８へ接続されている。
次に、図１５に示したような画像処理システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを半押しすると、この画像処理システムがプリ撮影モードに入る。
すると、レンズ系１００，絞り１０１，カラーＣＣＤ８００を介して撮影されたカラー映像信号が、増幅部１０３，Ａ／Ｄ変換部１０４を介してバッファ１０５へ転送される。なお、本実施形態においては、カラーＣＣＤ８００として、ベイヤー（Bayer）型原色フィルタを前面に配置した単板ＣＣＤを想定している。
ここに、図１６は、ベイヤー（Bayer）型原色フィルタの構成を示す図である。
ベイヤー（Bayer）型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇ）フィルタがそれぞれ、配置されたものとなっている。
続いて、バッファ１０５内のカラー映像信号は、プレホワイトバランス部８０１へ転送される。プレホワイトバランス部８０１は、所定レベルの信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部８０１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
すると、プリ撮影と同様にして、カラー映像信号がバッファ１０５へ転送される。このときにプレホワイトバランス部８０１によって求められたホワイトバランス係数は、制御部１１８へ転送される。
本撮影によって得られたバッファ１０５内のカラー映像信号は、Ｙ／Ｃ分離部８０２へ転送される。
Ｙ／Ｃ分離部８０２は、制御部１１８の制御に基づき、公知の補間処理によりＲ，Ｇ，Ｂの三板からなるカラー映像信号を生成し、さらに、Ｒ，Ｇ，Ｂ信号を次の数式５に示すように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離する。
［数５］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
Ｙ／Ｃ分離部８０２により分離された輝度信号および色差信号は、バッファ８０３へ転送される。
周波数分解部８０４は、制御部１１８の制御に基づき、バッファ１０５内の輝度信号に対して周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部８０４は、得られた高周波成分と低周波成分とを順次バッファ１１０へ転送する。
変換特性算出部８０５は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、バッファ８０３から色差信号を、それぞれ読み込んで、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、映像信号に対して単一の階調変換曲線を用いるスペースインバリアントな処理を想定している。そして、変換特性算出部８０５は、算出した階調特性を、階調処理部８０７へ転送する。
高周波分離部８０６は、制御部１１８の制御に基づき、バッファ１１０から高周波成分を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部８０６は、分離した上記有効成分を階調処理部８０７へ、上記無効成分をバッファ１１４へ、それぞれ転送する。
階調処理部８０７は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、高周波分離部８０６から高周波成分中の有効成分を、変換特性算出部８０５から階調特性を、それぞれ読み込む。そして、階調処理部８０７は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部８０７は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分とを、バッファ１１４へ転送する。
周波数合成部８０８は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき加算処理することにより階調変換がなされた輝度信号を合成する。そして、周波数合成部８０８は、合成した輝度信号をＹ／Ｃ合成部８０９へ転送する。
Ｙ／Ｃ合成部８０９は、制御部１１８の制御に基づき、周波数合成部８０８から階調変換がなされた輝度信号Ｙ’を、バッファ８０３から色差信号Ｃｂ，Ｃｒを、それぞれ読み込んで、次の数式６に示すように、階調変換がなされたカラー映像信号Ｒ’，Ｇ’，Ｂ’を合成する。
［数６］
Ｒ’＝Ｙ’ ＋１．４０２００Ｃｒ
Ｇ’＝Ｙ’−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ’＝Ｙ’＋１．７７２００Ｃｂ
Ｙ／Ｃ合成部８０９は、合成したカラー映像信号Ｒ’，Ｇ’，Ｂ’を、信号処理部１１６へ転送する。
信号処理部１１６は、制御部１１８の制御に基づき、Ｙ／Ｃ合成部８０９からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図１８は、周波数分解部８０４の構成の一例を示すブロック図である。
この周波数分解部８０４は、信号抽出部９００と、ローパスフィルタ部９０１と、低周波用バッファ９０２と、差分フィルタ部９０３と、を有して構成されている。
バッファ８０３は、信号抽出部９００へ接続されている。信号抽出部９００は、ローパスフィルタ部９０１および差分フィルタ部９０３へ接続されている。ローパスフィルタ部９０１は、低周波用バッファ９０２へ接続されている。低周波用バッファ９０２は、差分フィルタ部９０３へ接続されている。差分フィルタ部９０３は、バッファ１１０へ接続されている。
制御部１１８は、信号抽出部９００，ローパスフィルタ部９０１，差分フィルタ部９０３と双方向に接続されていて、これらを制御するようになっている。
続いて、このような周波数分解部８０４の作用について説明する。
信号抽出部９００は、制御部１１８の制御に基づき、バッファ８０３から輝度信号を読み込んで、ローパスフィルタ部９０１と差分フィルタ部９０３とへ転送する。
ローパスフィルタ部９０１は、制御部１１８の制御に基づき、信号抽出部９００からの輝度信号に対して公知のローパスフィルタ処理を行い、輝度信号の低周波成分を算出する。なお、本実施形態においては、ローパスフィルタ部９０１が用いるローパスフィルタとして、例えば７×７画素サイズの平均値フィルタを想定している。ローパスフィルタ部９０１は、算出した低周波成分を、低周波用バッファ９０２へ転送する。
差分フィルタ部９０３は、信号抽出部９００から輝度信号を読み込むとともに、低周波用バッファ９０２から輝度信号の低周波成分を読み込んで、これらの差分をとることにより、輝度信号の高周波成分を算出する。差分フィルタ部９０３は、算出した高周波成分と、読み込んだ低周波成分とを、バッファ１１０へ転送する。
次に、図１９は、変換特性算出部８０５の構成の一例を示すブロック図である。
この変換特性算出部８０５は、上述した実施形態１の図４に示した変換特性算出部１１１に、関心領域設定手段たる色相算出部１０００，関心領域設定手段たる人物判断部１００１，重み係数設定手段たる重み係数設定部１００２，ヒストグラム補正手段たるヒストグラム補正部１００３を追加し、分割部３００，バッファ３０１を削除した構成になっている。その他の基本的な構成は図４に示した変換特性算出部１１１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ８０３およびバッファ１１０は、適正域抽出部３０２へ接続されている。適正域抽出部３０２は、エッジ算出部３０３および色相算出部１０００へ接続されている。
色相算出部１０００は、人物判断部１００１，重み係数設定部１００２を介してヒストグラム補正部１００３へ接続されている。
ヒストグラム作成部３０４は、ヒストグラム補正部１００３へ接続されている。
ヒストグラム補正部１００３は、階調変換曲線算出部３０５，バッファ３０６を介して階調処理部８０７へ接続されている。
制御部１１８は、色相算出部１０００，人物判断部１００１，重み係数設定部１００２，ヒストグラム補正部１００３とも双方向に接続されていて、これらも制御するようになっている。
続いて、このような変換特性算出部８０５の作用について説明する。
適正域抽出部３０２は、制御部１１８の制御に基づき、バッファ１１０から輝度信号を読み込んで、暗部に関する所定の閾値（一例としての１２ビット階調の場合には例えば１２８）および明部に関する所定の閾値（この１２ビット階調の場合には例えば３９６８）とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号を適正露光域としてエッジ算出部３０３へ転送する。
また、適正域抽出部３０２は、適正露光域の輝度信号と対応する座標の色差信号Ｃｂ，Ｃｒをバッファ８０３から読み込んで、色相算出部１０００へ転送する。
エッジ算出部３０３およびヒストグラム作成部３０４は、上述した実施形態１と同様にして、輝度信号からエッジ部のヒストグラムを作成し、作成したヒストグラムをヒストグラム補正部１００３へ転送する。
色相算出部１０００は、制御部１１８の制御に基づき、適正域抽出部３０２から色差信号Ｃｂ，Ｃｒを読み込んで、所定の閾値と比較することにより肌色領域を抽出し、この結果を人物判断部１００１へ転送する。
人物判断部１００１は、制御部１１８の制御に基づき、色相算出部１０００からの肌色領域とエッジ算出部３０３からのエッジ量の情報とを用いて、人物の顔と判断される領域を抽出し、この結果を重み係数設定部１００２へ転送する。
重み係数設定部１００２は、制御部１１８の制御に基づき、人物の顔と判断される領域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに関する補正用の重み係数を算出する。なお、人物の顔と判断される領域内に存在しない輝度レベルに関しては、上記重み係数は０となる。重み係数設定部１００２は、算出した重み係数を、ヒストグラム補正部１００３へ転送する。
ヒストグラム補正部１００３は、制御部１１８の制御に基づき、ヒストグラム作成部３０４からヒストグラムを読み込むとともに、重み係数設定部１００２から重み係数を読み込んで、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。補正されたヒストグラムは、階調変換曲線算出部３０５へ転送され、上述した実施形態１と同様に階調変換曲線が算出される。
算出された階調変換曲線は、バッファ３０６へ転送され，必要に応じて階調処理部８０７へ転送される。なお、本実施形態においては、スペースインバリアントな処理を想定しているために、算出される階調変換曲線は１種類となる。
次に、図２０は、高周波分離部８０６の構成の一例を示すブロック図である。
この高周波分離部８０６は、上述した実施形態１の図５に示した高周波分離部１１２に、ノイズ推定手段でありテーブル変換手段たるノイズＬＵＴ１１００を追加し、パラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５を削除した構成になっている。その他の基本的な構成は図５に示した高周波分離部１１２と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
低周波成分抽出部４００，ゲイン算出部４０１，標準値付与部４０２は、ノイズＬＵＴ１１００へ接続されている。ノイズＬＵＴ１１００は、上限下限設定部４０８へ接続されている。
判断部４０９は、階調処理部８０７およびバッファ１１４へ接続されている。
制御部１１８は、ノイズＬＵＴ１１００とも双方向に接続されて、これも制御するようになっている。
続いて、このような高周波分離部８０６の作用について説明する。
ゲイン算出部４０１は、制御部１１８から転送されるＩＳＯ感度、露光条件に関する情報、およびホワイトバランス係数に基づき、増幅部１０３におけるゲイン情報を求めて、ノイズＬＵＴ１１００へ転送する。
また、制御部１１８は、温度センサ１２０からカラーＣＣＤ８００の温度情報を取得して、取得した温度情報をノイズＬＵＴ１１００へ転送する。
標準値付与部４０２は、制御部１１８の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズＬＵＴ１１００へ転送する。
ノイズＬＵＴ１１００は、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開２００４−１２８９８５号公報に記載されている技術を用いて設計される。ノイズＬＵＴ１１００は、低周波成分抽出部４００からの注目画素の画素値と、ゲイン算出部４０１または標準値付与部４０２からのゲイン情報と、制御部１１８または標準値付与部４０２からの温度情報とに基づき、ノイズ量を出力する。出力されたノイズ量は、上限下限設定部４０８へ転送される。
高周波成分抽出部４０６は、制御部１１８の制御に基づき、低周波成分抽出部４００により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する。
なお、本実施形態においては、周波数分解部８０４が上述したようにローパスフィルタと差分フィルタとを用いて低周波成分と高周波成分とを抽出しているために、低周波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波成分は１画素となる。
これ以後の高周波分離部８０６の作用は、上述した実施形態１の高周波分離部１１２と同様であって、高周波成分を有効成分と無効成分とに分離して、有効成分を階調処理部８０７へ、無効成分をバッファ１１４へ、それぞれ転送する。
次に、図２１は、階調処理部８０７の構成の一例を示すブロック図である。
この階調処理部８０７は、上述した実施形態１の図６に示した階調処理部１１３から、距離算出部５０１，階調変換式設定部５０２，バッファ５０３を削除した構成になっている。その他の基本的な構成は図６に示した階調処理部１１３と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
変換特性算出部８０５は、階調変換部５０５へ接続されている。
バッファ１１０は、低周波成分抽出部５００を介して階調変換部５０５へ接続されている。高周波分離部８０６は、高周波成分抽出部５０４を介して階調変換部５０５へ接続されている。
制御部１１８は、低周波成分抽出部５００，高周波成分抽出部５０４，階調変換部５０５と双方向に接続されていて、これらを制御するようになっている。
続いて、このような階調処理部８０７の作用について説明する。
低周波成分抽出部５００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を画素単位で順次抽出する。低周波成分抽出部５００は、抽出した低周波成分を、階調変換部５０５へ転送する。
高周波成分抽出部５０４は、制御部１１８の制御に基づき、低周波成分抽出部５００が抽出した低周波成分に対応する高周波成分を高周波分離部８０６から抽出する。本実施形態においては、上述したように、低周波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波成分は１画素となる。なお、低周波成分に対応する高周波成分が無効成分であると判断されて抽出される高周波成分が存在しない場合には、高周波成分抽出部５０４は、エラー情報を制御部１１８へ転送する。
階調変換部５０５は、制御部１１８の制御に基づき、低周波成分抽出部５００から低周波成分を読み込むとともに、変換特性算出部８０５から階調変換曲線を読み込んで、低周波成分に対する階調変換を行う。階調変換部５０５は、階調変換後の低周波成分を、バッファ１１４へ転送する。
その後に、階調変換部５０５は、高周波成分抽出部５０４から低周波成分に対応する有効成分の高周波成分を読み込んで、階調変換を行う。そして、階調変換部５０５は、階調変換後の高周波成分を、バッファ１１４へ転送する。なお、低周波成分に対応する有効な高周波成分が存在しない場合には、階調変換部５０５は、制御部１１８の制御に基づき、高周波成分に対する階調変換を中止する。
なお、本実施形態においても、上述した実施形態１と同様に、撮像部が別体となっている画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、カラーＣＣＤ８００からのカラー映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図２２は、画像処理プログラムのメインルーチンを示すフローチャートである。
なお、この図２２において、上述した実施形態１の図１１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、カラー映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、数式５に示したように、輝度信号と色差信号とを算出する（ステップＳ５０）。
続いて、ローパスフィルタおよび差分フィルタ用いて輝度信号の周波数分解を行い、高周波成分と低周波成分とを取得する（ステップＳ２）。
さらに、後で図２３を参照して説明するように、変換特性を算出する（ステップＳ５１）。
そして、後で図２４を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する（ステップＳ５２）。
次に、後で図２５を参照して説明するように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う（ステップＳ５３）。
続いて、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた輝度信号を合成する（ステップＳ６）。
そして、数式６に示したように輝度信号と色差信号とを合成して、階調変換がなされたカラー映像信号を得る（ステップＳ５４）。
さらに、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
その後、処理後のカラー映像信号を出力して（ステップＳ８）、この処理を終了する。
図２３は、上記ステップＳ５１における変換特性算出の処理を示すフローチャートである。
なお、この図２３において、上述した実施形態１の図１２に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、輝度信号を暗部に関する所定の閾値および明部に関する所定の閾値とそれぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号を適正露光域として抽出する（ステップＳ１１）。
続いて、適正露光域の輝度信号に対してラプラシアンフィルタを用いるなどして、公知のエッジ強度の算出を行う（ステップＳ１２）。
そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成する（ステップＳ１３）。
その後、色差信号を所定の閾値と比較することにより、特定の色相領域、例えば肌色領域を抽出する（ステップＳ６０）。
さらに、肌色領域とエッジ強度の情報とに基づき、人物の顔と判断される領域を抽出して、これを関心領域として設定する（ステップＳ６１）。
次に、関心領域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに関する補正用の重み係数を算出する（ステップＳ６２）。
続いて、ヒストグラムの各輝度レベルに対して重み係数を加算することにより、ヒストグラムの補正を行う（ステップＳ６３）。
その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出する（ステップＳ１４）。
こうして算出した階調変換曲線を出力して（ステップＳ１５）、この処理から図２２に示した処理へリターンする。
図２４は、上記ステップＳ５２における高周波分離の処理を示すフローチャートである。
なお、この図２４において、上述した実施形態１の図１３に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ２０）。
次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ２１）。
続いて、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む（ステップＳ７０）。
そして、ノイズ量に関するテーブルに基づき、ノイズ量を求める（ステップＳ７１）。
その後、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する（ステップＳ２４）。
さらに、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値を算出する（ステップＳ２５）。
次に、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ２６）。
続いて、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する（ステップＳ２７）。
そして、有効成分と無効成分とを分離して出力する（ステップＳ２８）。
さらに、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ３０）、完了していないと判断した場合には上記ステップＳ２０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図２２に示した処理へリターンする。
図２５は、上記ステップＳ５３における階調処理を示すフローチャートである。
なお、この図２５において、上述した実施形態１の図１４に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ４０）。
次に、階調変換曲線を読み込む（ステップＳ４２）。
続いて、低周波成分に対応する、有効成分とされる高周波成分を抽出する（ステップＳ４４）。
そして、有効成分とされる高周波成分が存在するか否かを判断する（ステップＳ４５）。
ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分とされる高周波成分に対して階調変換を行う（ステップＳ４６）。
このステップＳ４６の処理が終了するか、または、上記ステップＳ４５において、有効成分とされる高周波成分が存在していないと判断した場合には、低周波成分に対し階調変換を行う（ステップＳ４７）。
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、を出力する（ステップＳ４８）。
その後、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ４９）、完了していないと判断した場合には上記ステップＳ４０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図２２に示した処理へリターンする。
なお、上述では、周波数分解および周波数合成にローパスフィルタおよび差分フィルタを用いる構成を採用していたが、このような構成に限定される必要はない。例えば、ガウシアンフィルタおよびラプラシアンフィルタを用いて、周波数分解および周波数合成を行うように構成することも可能である。この場合には、演算量が増加するものの、周波数分解能がより優れるという利点がある。そして、ガウシアンフィルタおよびラプラシアンフィルタを用いる場合には、上述した実施形態１と同様に、多段階の周波数分解、周波数合成を行うように構成することも可能である。
また、上述では、カラー撮像素子としてベイヤー（Bayer）型原色フィルタを用いる構成を採用していたが、このような構成に限定される必要はない。例えば、図１７に示すような色差線順次型補色フィルタを用いた単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。
ここに、図１７は色差線順次型補色フィルタの構成を示す図である。
この色差線順次方式の補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）およびイエロー（Ｙｅ）が２×２画素の同一ラインに、マゼンタ（Ｍｇ）および緑（Ｇ）が２×２画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Ｍｇ），緑（Ｇ）の位置は、ライン毎に反転するように構成されている。
このような実施形態２によれば、カラー映像信号に対して視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位なカラー映像信号を生成することが可能となる。
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ないカラー映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
そして、ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
加えて、輝度信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様なカラー映像信号に対して高精度な階調変換を行うことが可能となる。
また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
さらに、人物などの関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
そして、同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
加えて、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
［実施形態３］
図２６から図３０は本発明の実施形態３を示したものであり、図２６は画像処理システムの構成を示すブロック図である。
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の画像処理システムは、上述した実施形態１の図１に示した画像処理システムに、エッジ強調手段たるエッジ強調部１２０２を追加し、周波数分解部１０９，高周波分離部１１２，周波数合成部１１５を分離手段であり周波数分解手段たる周波数分解部１２００，分離手段であり高周波分離手段たる高周波分離部１２０１，合成手段であり周波数合成手段たる周波数合成部１２０３にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，変換特性算出部１１１，周波数分解部１２００へ接続されている。
周波数分解部１２００は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部１１１，高周波分離部１２０１，階調処理部１１３へ接続されている。
高周波分離部１２０１は、エッジ強調部１２０２およびバッファ１１４へ接続されている。エッジ強調部１２０２は、階調処理部１１３へ接続されている。
バッファ１１４は、周波数合成部１２０３を介して信号処理部１１６へ接続されている。
制御部１１８は、周波数分解部１２００，高周波分離部１２０１，エッジ強調部１２０２，周波数合成部１２０３とも双方向に接続されていて、これらも制御するようになっている。
次に、図２６に示したような画像処理システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
バッファ１０５内の映像信号は、周波数分解部１２００へ転送される。
周波数分解部１２００は、制御部１１８の制御に基づき、転送されてきた映像信号に所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部１２００は、得られた高周波成分および低周波成分を順次バッファ１１０へ転送する。なお、本実施形態においては、周波数分解として例えば６４×６４画素単位の公知のＤＣＴ（Discrete Cosine Transform）変換を用いることを想定している。
図２７はＤＣＴ（Discrete Cosine Transform）変換を説明するための図であり、図２７（Ａ）は実空間における映像信号を、図２７（Ｂ）はＤＣＴ（Discrete Cosine Transform）変換後の周波数空間における信号を、それぞれ示している。
図２７（Ｂ）の周波数空間において、左上を原点、すなわち０次成分として、１次以上の高周波成分はこの０次成分を原点とする同心円上に配置される。
変換特性算出部１１１は、制御部１１８の制御に基づき、バッファ１０５から周波数分解部１２００において使用する６４×６４画素単位に映像信号を読み込む。その後、変換特性算出部１１１は、上述した実施形態１と同様に、階調変換処理に用いる階調特性を算出する。すなわち、本実施形態においては、階調変換処理として、６４×６４画素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部１１１は、算出した上記階調特性を、階調処理部１１３へ転送する。
高周波分離部１２０１は、制御部１１８の制御に基づき、バッファ１１０から高周波成分を読み込んで、高周波成分に対してノイズ低減処理を行った後に、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部１２０１は、分離した上記有効成分をエッジ強調部１２０２へ、上記無効成分をバッファ１１４へ、それぞれ転送する。
エッジ強調部１２０２は、高周波分離部１２０１から転送される有効成分に対して所定の係数を乗算することによりエッジ強調処理を行い、処理結果を階調処理部１１３へ転送する。
階調処理部１１３は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、エッジ強調部１２０２から高周波成分中の有効成分を、変換特性算出部１１１から階調特性を、それぞれ読み込む。そして、階調処理部１１３は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部１１３は、階調処理がなされた低周波成分と、高周波成分中の有効成分とを、バッファ１１４へ転送する。
周波数合成部１２０３は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を合成する。なお、本実施形態においては、周波数合成として公知の逆ＤＣＴ（Inverse Discrete Cosine Transform）変換を用いることを想定している。そして、周波数合成部１２０３は、合成した映像信号を信号処理部１１６へ転送する。
信号処理部１１６は、制御部１１８の制御に基づき、周波数合成部１２０３からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図２８は、高周波分離部１２０１の構成の一例を示すブロック図である。
この高周波分離部１２０１は、上述した実施形態１の図５に示した高周波分離部１１２に、ノイズ低減手段であり第１のスムージング手段たる第１スムージング部１３００，ノイズ低減手段であり第２のスムージング手段たる第２スムージング部１３０１を追加した構成になっている。その他の基本的な構成は図５に示した高周波分離部１１２と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
判断部４０９は、第１スムージング部１３００および第２スムージング部１３０１へ接続されている。第１スムージング部１３００は、エッジ強調部１２０２へ接続されている。第２スムージング部１３０１は、バッファ１１４へ接続されている。
制御部１１８は、第１スムージング部１３００および第２スムージング部１３０１とも双方向に接続されていて、これらも制御するようになっている。
続いて、このような高周波分離部１２０１の作用について説明する。
低周波成分抽出部４００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を順次抽出する。なお、本実施形態においては、上述したように、６４×６４画素のＤＣＴ（Discrete Cosine Transform）変換を想定している。そして、低周波成分抽出部４００は、図２７（Ｂ）に示すような各次の周波成分の内の、所定のｎ次以下の周波数成分を低周波成分として、６４×６４画素の各領域から抽出する。
抽出された低周波成分に関して、パラメータ選択部４０４および補間部４０５を介して、上述した実施形態１と同様にノイズ量が算出される。そして、補間部４０５は、算出したノイズ量を上限下限設定部４０８へ転送する。
高周波成分抽出部４０６は、制御部１１８の制御に基づき、低周波成分抽出部４００により抽出された低周波成分に対応する６４×６４画素の各領域から（ｎ＋１）次以上の周波成分を高周波成分として抽出する。
平均算出部４０７は、制御部１１８の制御に基づき、次数毎に高周波成分を分離して、各々の平均値ＡＶを算出し、算出した平均値ＡＶを上限下限設定部４０８へ転送する。
上限下限設定部４０８は、制御部１１８の制御に基づき、次数毎に、平均算出部４０７からの平均値ＡＶと補間部４０５からのノイズ量Ｎとを用いて、有効成分と無効成分とを識別するための上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、数式３に示したように設定する。
上限下限設定部４０８は、このようにして設定した上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを判断部４０９へ、平均値ＡＶを第１スムージング部１３００へ、平均値ＡＶおよびノイズ量Ｎを第２スムージング部１３０１へ、それぞれ転送する。
判断部４０９は、制御部１１８の制御に基づき、高周波成分抽出部４０６から高周波成分を読み込むとともに、上限下限設定部４０８から高周波成分の次数に対応する上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを読み込む。そして、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐを上回るか、または下限Ａｐｐ＿Ｌｏｗを下回るかする場合には、該高周波成分が有効成分であると判断して、高周波成分を第１スムージング部１３００へ転送する。
一方、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐと下限Ａｐｐ＿Ｌｏｗとの範囲内にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周波成分を第２スムージング部１３０１へ転送する。
第１スムージング部１３００は、次の数式７に示すように、高周波成分（ここに、高周波成分をＰとする）に上限下限設定部４０８からの平均値ＡＶを代入する処理を行う。
［数７］
Ｐ＝ＡＶ
また、第２スムージング部１３０１は、高周波成分Ｐに上限下限設定部４０８からの平均値ＡＶとノイズ量Ｎとを用いて補正する処理を行う。この補正には２種類の処理があり、まず、高周波成分が上限Ａｐｐ＿Ｕｐを上回る場合は、第２スムージング部１３０１は、次の数式８に示すような補正を行う。
［数８］
Ｐ＝ＡＶ−Ｎ／２
また、第２スムージング部１３０１は、高周波成分が下限Ａｐｐ＿Ｌｏｗを下回る場合には、次の数式９に示すような補正を行う。
［数９］
Ｐ＝ＡＶ＋Ｎ／２
そして、第１スムージング部１３００による処理結果はエッジ強調部１２０２へ、第２スムージング部１３０１による処理結果はバッファ１１４へ、それぞれ転送される。
従って、有効成分であると判断された高周波成分のみが、エッジ強調部１２０２を介して階調処理部１１３へ転送され、階調処理が行われることになる。これに対して、無効成分であると判断された高周波成分は、階調処理が行われることなくバッファ１１４へ転送される。
なお、本実施形態においても、上述した実施形態１，２と同様に、撮像部が別体となっている画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図２９は、画像処理プログラムのメインルーチンを示すフローチャートである。
なお、この図２９において、上述した実施形態１の図１１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、ＤＣＴ（Discrete Cosine Transform）変換などの周波数分解を行って、高周波成分と低周波成分とを取得する（ステップＳ２）。
続いて、図１２に示したように、変換特性を算出する（ステップＳ３）。
さらに、後で図３０を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する（ステップＳ８０）。
そして、図１４に示したように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う（ステップＳ５）。
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する（ステップＳ６）。
続いて、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
そして、処理後の映像信号を出力して（ステップＳ８）、この処理を終了する。
図３０は、上記ステップＳ８０における高周波分離の処理を示すフローチャートである。
なお、この図３０において、上述した実施形態１の図１３に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ２０）。
次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ２１）。
続いて、基準ノイズモデルに関するパラメータを読み込む（ステップＳ２２）。
そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補間処理によって算出する（ステップＳ２３）。
その後、図２７（Ｂ）に示すように、低周波成分に対応する高周波成分を順次抽出する（ステップＳ２４）。
次に、低周波成分に対応する高周波成分の平均値を、次数毎に算出する（ステップＳ２５）。
続いて、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ２６）。
そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する（ステップＳ９０）。
ここで、高周波成分が有効成分であると判断した場合には、高周波成分に対して数式７に示した補正処理を行う（ステップＳ９１）。
また、ステップＳ９０において、高周波成分が無効成分である場合と判断したには、高周波成分に対して数式８または数式９に示した補正処理を行う（ステップＳ９２）。
ステップＳ９１またはステップＳ９２の処理が終了したら、補正された有効成分と補正された無効成分とを分離して出力する（ステップＳ９３）。
そして、全ての高周波成分の処理が完了したか否かを判断し（ステップＳ２９）、完了していないと判断した場合には上記ステップＳ２４へ戻って上述したような処理を繰り返して行う。
一方、このステップＳ２９において、全ての高周波成分の処理が完了したと判断した場合には、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ３０）、完了していないと判断した場合には上記ステップＳ２０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図２９に示した処理へリターンする。
なお、上述では、周波数分解および周波数合成にＤＣＴ（Discrete Cosine Transform）変換を用いる構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態１と同様にウェーブレット（Wavelet）変換を用いる構成を採用することも可能であるし、上述した実施形態２と同様にローパスフィルタと差分フィルタとを組み合わせる構成を採用することも可能である。
さらに、上述では、白黒の映像信号を処理する構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態２と同様に、カラー撮像素子から得られるカラー映像信号から輝度信号を算出して処理する構成を採用することも可能である。
このような実施形態３によれば、視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
また、ＤＣＴ（Discrete Cosine Transform）変換は周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
そして、ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成分に対しては平滑化処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
さらに、高周波成分中の有効成分に対してのみエッジ強調処理を行い、高周波成分中の無効成分に対してはエッジ強調処理を行わないために、ノイズ成分を強調することなくエッジ成分のみを強調することができる。これにより、高品位な映像信号を生成することが可能となる。
［実施形態４］
図３１から図３６は本発明の実施形態４を示したものであり、図３１は画像処理システムの構成を示すブロック図である。
この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の画像処理システムは、上述した実施形態１の図１に示した画像処理システムに、分離手段でありノイズ低減手段たるノイズ低減部１４００，分離手段であり差分手段たる差分部１４０１，合成手段であり信号合成手段たる信号合成部１４０３を追加し、階調処理部１１３を変換手段であり階調処理手段たる階調処理部１４０２に置換し、周波数分解部１０９，高周波分離部１１２，周波数合成部１１５を削除した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，ノイズ低減部１４００，差分部１４０１へ接続されている。
ノイズ低減部１４００は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部１１１，差分部１４０１，階調処理部１４０２へ接続されている。
変換特性算出部１１１は、階調処理部１４０２へ接続されている。差分部１４０１は、バッファ１１４へ接続されている。階調処理部１４０２は、バッファ１１４へ接続されている。バッファ１１４は、信号合成部１４０３を介して信号処理部１１６へ接続されている。
制御部１１８は、ノイズ低減部１４００，差分部１４０１，階調処理部１４０２，信号合成部１４０３とも双方向に接続されていて、これらも制御するようになっている。
次に、図３１に示したような画像処理システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
バッファ１０５内の映像信号は、ノイズ低減部１４００へ転送される。
ノイズ低減部１４００は、制御部１１８の制御に基づき、ノイズ低減処理を行い、ノイズ低減処理後の映像信号を有効成分としてバッファ１１０へ転送する。
変換特性算出部１１１は、バッファ１１０から有効成分を読み込んで、上述した実施形態１と同様に、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、例えば６４×６４画素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部１１１は、算出した上記階調特性を、階調処理部１４０２へ転送する。
差分部１４０１は、制御部１１８の制御に基づき、バッファ１０５内からノイズ低減処理前の映像信号を読み込むとともに、バッファ１１０からノイズ低減処理後の映像信号を有効成分として読み込んで、これらの差分をとる処理を行う。この差分部１４０１は、差分をとった結果として得られる信号を、無効成分としてバッファ１１４へ転送する。
階調処理部１４０２は、制御部１１８の制御に基づき、バッファ１１０から有効成分を、変換特性算出部１１１から階調特性を、それぞれ読み込む。そして、階調処理部１４０２は、上記階調特性に基づき、上記有効成分に対して階調処理を行う。階調処理部１４０２は、階調処理を行った有効成分をバッファ１１４へ転送する。
信号合成部１４０３は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた有効成分と、無効成分と、を読み出して、これらを加算することにより、階調変換がなされた映像信号を合成する。信号合成部１４０３は、こうして合成した映像信号を、信号処理部１１６へ転送する。
信号処理部１１６は、制御部１１８の制御に基づき、信号合成部１４０３からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
次に、図３２は、ノイズ低減部１４００の構成の一例を示すブロック図である。
このノイズ低減部１４００は、映像信号抽出部１５００と、ノイズ推定手段であり平均算出手段たる平均算出部１５０１と、ノイズ推定手段であり収集手段たるゲイン算出部１５０２と、ノイズ推定手段であり付与手段たる標準値付与部１５０３と、ノイズ推定手段でありテーブル変換手段たるノイズＬＵＴ１５０４と、設定手段であり上限下限設定手段たる上限下限設定部１５０５と、判断手段たる判断部１５０６と、第１のスムージング手段たる第１スムージング部１５０７と、第２のスムージング手段たる第２スムージング部１５０８と、を有して構成されている。
バッファ１０５は、映像信号抽出部１５００へ接続されている。映像信号抽出部１５００は、平均算出部１５０１および判断部１５０６へ接続されている。
平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３は、ノイズＬＵＴ１５０４へ接続されている。ノイズＬＵＴ１５０４は、上限下限設定部１５０５へ接続されている。上限下限設定部１５０５は、判断部１５０６，第１スムージング部１５０７，第２スムージング部１５０８へ接続されている。
判断部１５０６は、第１スムージング部１５０７および第２スムージング部１５０８へ接続されている。第１スムージング部１５０７および第２スムージング部１５０８は、バッファ１１０へ接続されている。
制御部１１８は、映像信号抽出部１５００，平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３，ノイズＬＵＴ１５０４，上限下限設定部１５０５，判断部１５０６，第１スムージング部１５０７，第２スムージング部１５０８と双方向に接続されていて、これらを制御するようになっている。
続いて、このようなノイズ低減部１４００の作用について説明する。
映像信号抽出部１５００は、制御部１１８の制御に基づき、バッファ１０５からノイズ低減処理を行うべき注目画素と、この注目画素を含む例えば３×３画素の近傍画素と、を順次抽出する。映像信号抽出部１５００は、抽出した注目画素および近傍画素を平均算出部１５０１へ、注目画素を判断部１５０６へ、それぞれ転送する。
平均算出部１５０１は、制御部１１８の制御に基づき、映像信号抽出部１５００から注目画素および近傍画素を読み込んで、これらの平均値ＡＶを算出する。平均算出部１５０１は、算出した平均値ＡＶをノイズＬＵＴ１５０４へ転送する。
ゲイン算出部１５０２は、制御部１１８から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０３におけるゲイン情報を求めて、ノイズＬＵＴ１５０４へ転送する。
また、制御部１１８は、温度センサ１２０からＣＣＤ１０２の温度情報を取得して、取得した温度情報をノイズＬＵＴ１５０４へ転送する。
標準値付与部１５０３は、制御部１１８の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズＬＵＴ１５０４へ転送する。
ノイズＬＵＴ１５０４は、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開２００４−１２８９８５号公報に記載されている技術を用いて設計される。
ノイズＬＵＴ１５０４は、平均算出部１５０１からの注目画素に関する平均値ＡＶと、ゲイン算出部１５０２または標準値付与部１５０３からのゲイン情報と、制御部１１８または標準値付与部１５０３からの温度情報とに基づき、ノイズ量Ｎを出力する。このノイズ量Ｎと平均算出部１５０１からの平均値ＡＶとは、ノイズＬＵＴ１５０４から上限下限設定部１５０５へ転送される。
上限下限設定部１５０５は、制御部１１８の制御に基づき、ノイズＬＵＴ１５０４からの平均値ＡＶおよびノイズ量Ｎを用いて、ノイズに属するか否かの識別を行うための上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、数式３に示したように設定する。
上限下限設定部１５０５は、このようにして設定した上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを判断部１５０６へ、平均値ＡＶを第１スムージング部１５０７へ、平均値ＡＶおよびノイズ量Ｎを第２スムージング部１５０８へ、それぞれ転送する。
判断部１５０６は、制御部１１８の制御に基づき、映像信号抽出部１５００から注目画素を、上限下限設定部１５０５から上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、それぞれ読み込む。そして、判断部１５０６は、注目画素が上限Ａｐｐ＿Ｕｐを上回るか、または下限Ａｐｐ＿Ｌｏｗを下回るかする場合には、該注目画素がノイズに属さないと判断し、注目画素を第１スムージング部１５０７へ転送する。
一方、判断部１５０６は、注目画素が上限Ａｐｐ＿Ｕｐと下限Ａｐｐ＿Ｌｏｗとの範囲内にある場合には、該注目画素がノイズに属すると判断して、注目画素を第２スムージング部１５０８へ転送する。
第１スムージング部１５０７は、数式７に示したように、注目画素（ここでは、注目画素をＰとする）に上限下限設定部１５０５からの平均値ＡＶを代入する処理を行う。
また、第２スムージング部１５０８は、注目画素Ｐに上限下限設定部１５０５からの平均値ＡＶとノイズ量Ｎを用いて補正する処理を行う。この補正には２種類の処理があり、注目画素Ｐが上限Ａｐｐ＿Ｕｐを上回る場合は、第２スムージング部１５０８は、数式８に示したような補正を行う。一方、第２スムージング部１５０８は、注目画素Ｐが下限Ａｐｐ＿Ｌｏｗを下回る場合には、数式９に示したような補正を行う。
そして、第１スムージング部１５０７による処理結果および第２スムージング部１５０８による処理結果は、何れもバッファ１１０へ転送される。
次に、図３３は、階調処理部１４０２の構成の一例を示すブロック図である。
この階調処理部１４０２は、上述した実施形態１の図６に示した階調処理部１１３から、低周波成分抽出部５００，高周波成分抽出部５０４を削除し、抽出手段たる映像信号抽出部１６００を追加した構成になっている。その他の基本的な構成は図６に示した階調処理部１１３と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
バッファ１１０は、映像信号抽出部１６００へ接続されている。映像信号抽出部１６００は、距離算出部５０１および階調変換部５０５へ接続されている。
制御部１１８は、映像信号抽出部１６００とも双方向に接続されていて、これも制御するようになっている。
続いて、このような階調処理部１４０２の作用について説明する。
映像信号抽出部１６００は、制御部１１８の制御に基づき、バッファ１１０からノイズ低減処理後の映像信号を有効成分として画素単位で順次抽出する。映像信号抽出部１６００は、抽出した有効成分を、距離算出部５０１および階調変換部５０５へそれぞれ転送する。
この後は、上述した実施形態１と同様にして、距離算出部５０１，階調変換式設定部５０２により、数式４に示したように注目画素に対する階調変換式を設定する。そして、階調変換式設定部５０２は、設定した階調変換式を、バッファ５０３へ転送する。
階調変換部５０５は、制御部１１８の制御に基づき、映像信号抽出部１６００から有効成分を読み込むとともに、バッファ５０３から階調変換式を読み込んで、有効成分に対する階調変換を行う。階調変換部５０５は、階調変換後の有効成分を、バッファ１１４へ転送する。
なお、本実施形態においても、上述した実施形態１〜３と同様に、撮像部が別体となっている画像処理システムであっても構わない。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
図３４は、画像処理プログラムのメインルーチンを示すフローチャートである。
なお、この図３４において、上述した実施形態１の図１１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
次に、後で図３５を参照して明するように、ノイズ低減処理を行い、ノイズ低減処理後の映像信号を有効成分として算出する（ステップＳ１００）。
続いて、図１２に示したように、変換特性を算出する（ステップＳ３）。
さらに、映像信号とノイズ低減処理後の映像信号との差分から無効成分を算出する（ステップＳ１０１）。
そして、後で図３６を参照して説明するように、有効成分に対して階調処理を行う（ステップＳ１０２）。
次に、階調処理がなされた有効成分と、無効成分と、に基づき、階調変換がなされた映像信号を合成する（ステップＳ１０３）。
続いて、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
そして、処理後の映像信号を出力して（ステップＳ８）、この処理を終了する。
図３５は、上記ステップＳ１００におけるノイズ低減の処理を示すフローチャートである。
この処理を開始すると、まず、ノイズ低減処理を行うべき注目画素と、この注目画素を含む例えば３×３画素の近傍画素と、を順次抽出する（ステップＳ１１０）。
次に、注目画素および近傍画素の平均値を算出する（ステップＳ１１１）。
続いて、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ１１２）。
そして、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む（ステップＳ１１３）。
さらに、ノイズ量に関するテーブルに基づき、ノイズ量を求める（ステップＳ１１４）。
その後、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ１１５）。
次に、注目画素がノイズに属さないかまたは属するかを、上限、下限と比較することにより判断する（ステップＳ１１６）。
ここで、注目画素が上限を上回るかまたは下限を下回るかする場合には、該注目画素がノイズに属さないと判断して、注目画素に対して数式８または数式９に示したような補正処理を行う（ステップＳ１１７）。
一方、ステップＳ１１６において、注目画素が上限と下限との範囲内にある場合には、該注目画素がノイズに属すると判断して、注目画素に対して数式７に示したような補正処理を行う（ステップＳ１１８）。
そして、補正された注目画素を、ノイズ低減処理後の画素として出力する（ステップＳ１１９）。
その後、ノイズ低減処理後の映像信号を有効成分として、全ての有効成分についての処理が完了したか否かを判断し（ステップＳ１２０）、完了していないと判断した場合には上記ステップＳ１１０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図３４に示した処理へリターンする。
図３６は、上記ステップＳ１０２における階調処理を示すフローチャートである。
なお、この図３６において、上述した実施形態１の図１４に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
この処理を開始すると、まず、ノイズ低減処理後の映像信号を有効成分として画素単位で順次抽出する（ステップＳ１３０）。
次に、図８に示すように、有効成分の注目画素とその近傍４領域の中心との間の距離を算出する（ステップＳ４１）。
続いて、近傍４領域における階調変換曲線を読み込む（ステップＳ４２）。
さらに、数式４に示したように、注目画素に対する階調変換式を設定する（ステップＳ４３）。
そして、有効成分の注目画素に対して数式４に示した階調変換式を適用して、階調変換を行う（ステップＳ４７）。
次に、階調処理がなされた注目画素を出力する（ステップＳ４８）。
その後、ノイズ低減処理後の全ての映像信号の処理が完了したか否かを判断し（ステップＳ１３１）、完了していないと判断した場合には上記ステップＳ１３０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図３４に示した処理へリターンする。
なお、上述では、白黒の映像信号を処理する構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態２と同様に、カラー撮像素子から得られるカラー映像信号を処理する構成を採用することも可能である。
このような実施形態４によれば、ノイズ低減後の映像信号にのみ階調処理を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
また、ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。このとき、ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
さらに、本実施形態は階調変換処理をノイズ低減処理と組み合わせる処理系となっているために、既存のシステムとの親和性および互換性が高く、多くの画像処理システムに適用することが可能となり、さらに全体としての高性能化を図るとともに、システムの規模を縮小して低コスト化を図ることが可能となる。
そして、階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するようにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
加えて、適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本発明は、映像信号に対して階調変換を行う画像処理システム、画像処理プログラムに好適に利用することができる。
本発明の実施形態１における画像処理システムの構成を示すブロック図。 上記実施形態１における周波数分解部の構成の一例を示すブロック図。 上記実施形態１において、ウェーブレット（Wavelet）変換を説明するための図。 上記実施形態１における変換特性算出部の構成の一例を示すブロック図。 上記実施形態１における高周波分離部の構成の一例を示すブロック図。 上記実施形態１における階調処理部の構成の一例を示すブロック図。 上記実施形態１において、階調変換曲線の合成演算における低周波成分の領域への分割を説明するための図。 上記実施形態１において、階調変換曲線の合成演算における注目画素と近傍４領域との間の距離ｄ1〜ｄ4を説明するための図。 上記実施形態１における周波数合成部の構成の一例を示すブロック図。 上記実施形態１における画像処理システムの他の構成例を示す図。 上記実施形態１における画像処理プログラムのメインルーチンを示すフローチャート。 上記実施形態１において、図１１のステップＳ３における変換特性算出の処理を示すフローチャート。 上記実施形態１において、図１１のステップＳ４における高周波分離の処理を示すフローチャート。 上記実施形態１において、図１１のステップＳ５における階調処理を示すフローチャート。 本発明の実施形態２における画像処理システムの構成を示すブロック図。 上記実施形態２において、ベイヤー（Bayer）型原色フィルタの構成を示す図。 上記実施形態２において、色差線順次型補色フィルタの構成を示す図。 上記実施形態２における周波数分解部の構成の一例を示すブロック図。 上記実施形態２における変換特性算出部の構成の一例を示すブロック図。 上記実施形態２における高周波分離部の構成の一例を示すブロック図。 上記実施形態２における階調処理部の構成の一例を示すブロック図。 上記実施形態２における画像処理プログラムのメインルーチンを示すフローチャート。 上記実施形態２において、図２２のステップＳ５１における変換特性算出の処理を示すフローチャート。 上記実施形態２において、図２２のステップＳ５２における高周波分離の処理を示すフローチャート。 上記実施形態２において、図２２のステップＳ５３における階調処理を示すフローチャート。 本発明の実施形態３における画像処理システムの構成を示すブロック図。 上記実施形態３において、ＤＣＴ（Discrete Cosine Transform）変換を説明するための図。 上記実施形態３における高周波分離部の構成の一例を示すブロック図。 上記実施形態３における画像処理プログラムのメインルーチンを示すフローチャート。 上記実施形態３において、図２９のステップＳ８０における高周波分離の処理を示すフローチャート。 本発明の実施形態４における画像処理システムの構成を示すブロック図。 上記実施形態４におけるノイズ低減部の構成の一例を示すブロック図。 上記実施形態４における階調処理部の構成の一例を示すブロック図。 上記実施形態４における画像処理プログラムのメインルーチンを示すフローチャート。 上記実施形態４において、図３４のステップＳ１００におけるノイズ低減の処理を示すフローチャート。 上記実施形態４において、図３４のステップＳ１０２における階調処理を示すフローチャート。
符号の説明
１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ
１０６…測光評価部
１０７…合焦点検出部
１０８…ＡＦモータ
１０９…周波数分解部（分離手段、周波数分解手段）
１１０…バッファ
１１１…変換特性算出部（変換手段、変換特性算出手段）
１１２…高周波分離部（分離手段、高周波分離手段）
１１３…階調処理部（変換手段、階調処理手段）
１１４…バッファ
１１５…周波数合成部（合成手段、周波数合成手段）
１１６…信号処理部
１１７…出力部
１１８…制御部（制御手段、ノイズ推定手段、収集手段）
１１９…外部Ｉ／Ｆ部
１２０…温度センサ
２００…データ読取部
２０１…バッファ
２０２…水平ハイパスフィルタ
２０３…水平ローパスフィルタ
２０４，２０５，２１０，２１１，２１２，２１３…サブサンプラ
２０６，２０８…垂直ハイパスフィルタ
２０７，２０９…垂直ローパスフィルタ
２１４…切換部
２１５…データ転送制御部
２１６…基底関数ＲＯＭ
２１７…フィルタ係数読取部
３００…分割部（分割手段）
３０１…バッファ
３０２…適正域抽出部（適正域抽出手段）
３０３…エッジ算出部（関心領域設定手段、エッジ算出手段）
３０４…ヒストグラム作成部（ヒストグラム作成手段）
３０５…階調変換曲線算出部（階調変換曲線算出手段）
３０６…バッファ
４００…低周波成分抽出部
４０１…ゲイン算出部（ノイズ推定手段、収集手段）
４０２…標準値付与部（ノイズ推定手段、付与手段）
４０３…パラメータ用ＲＯＭ（ノイズ推定手段、記録手段）
４０４…パラメータ選択部（ノイズ推定手段、パラメータ選択手段）
４０５…補間部（ノイズ推定手段、補間手段）
４０６…高周波成分抽出部
４０７…平均算出部（設定手段、平均算出手段）
４０８…上限下限設定部（設定手段、上限下限設定手段）
４０９…判断部（判断手段）
５００…低周波成分抽出部（第１の抽出手段）
５０１…距離算出部（距離算出手段）
５０２…階調変換式設定部（階調変換式設定手段）
５０３…バッファ
５０４…高周波成分抽出部（第２の抽出手段）
５０５…階調変換部（階調変換手段）
６００…データ読取部
６０１…切換部
６０２，６０３，６０４，６０５，６１０，６１１…アップサンプラ
６０６，６０８…垂直ハイパスフィルタ
６０７，６０９…垂直ローパスフィルタ
６１２…水平ハイパスフィルタ
６１３…水平ローパスフィルタ
６１４…バッファ
６１５…データ転送制御部
６１６…基底関数ＲＯＭ
６１７…フィルタ係数読取部
７００…入力部
７０１…ヘッダ情報解析部
８００…カラーＣＣＤ
８０１…プレホワイトバランス部
８０２…Ｙ／Ｃ分離部（Ｙ／Ｃ分離手段）
８０３…バッファ
８０４…周波数分解部（分離手段、周波数分解手段）
８０５…変換特性算出部（変換手段、変換特性算出手段）
８０６…高周波分離部（分離手段、高周波分離手段）
８０７…階調処理部（変換手段、階調処理手段）
８０８…周波数合成部（合成手段、周波数合成手段）
８０９…Ｙ／Ｃ合成部（Ｙ／Ｃ合成手段）
９００…信号抽出部
９０１…ローパスフィルタ部
９０２…低周波用バッファ
９０３…差分フィルタ部
１０００…色相算出部（関心領域設定手段）
１００１…人物判断部（関心領域設定手段）
１００２…重み係数設定部（重み係数設定手段）
１００３…ヒストグラム補正部（ヒストグラム補正手段）
１１００…ノイズＬＵＴ（ノイズ推定手段、テーブル変換手段）
１２００…周波数分解部（分離手段、周波数分解手段）
１２０１…高周波分離部（分離手段、高周波分離手段）
１２０２…エッジ強調部（エッジ強調手段）
１２０３…周波数合成部（合成手段、周波数合成手段）
１３００…第１スムージング部（ノイズ低減手段、第１のスムージング手段）
１３０１…第２スムージング部（ノイズ低減手段、第２のスムージング手段）
１４００…ノイズ低減部（分離手段、ノイズ低減手段）
１４０１…差分部（分離手段、差分手段）
１４０２…階調処理部（変換手段、階調処理手段）
１４０３…信号合成部（合成手段、信号合成手段）
１５００…映像信号抽出部
１５０１…平均算出部（ノイズ推定手段、平均算出手段）
１５０２…ゲイン算出部（ノイズ推定手段、収集手段）
１５０３…標準値付与部（ノイズ推定手段、付与手段）
１５０４…ノイズＬＵＴ（ノイズ推定手段、テーブル変換手段）
１５０５…上限下限設定部（設定手段、上限下限設定手段）
１５０６…判断部（判断手段）
１５０７…第１スムージング部（第１のスムージング手段）
１５０８…第２スムージング部（第２のスムージング手段）
１６００…映像信号抽出部（抽出手段）

Claims (45)

  1. 映像信号に対して階調変換を行う画像処理システムにおいて、
    上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離手段と、
    上記有効成分に対して階調変換を行う変換手段と、
    上記階調変換がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する合成手段と、
    を具備したことを特徴とする画像処理システム。
  2. 上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離手段をさらに具備し、
    上記分離手段、上記変換手段、および上記合成手段が扱う上記映像信号は、上記Ｙ／Ｃ分離手段により分離された上記輝度信号であることを特徴とする請求項１に記載の画像処理システム。
  3. 上記分離手段は、
    上記映像信号を高周波成分と低周波成分とに分解する周波数分解手段と、
    上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離手段と、
    を有して構成されたものであることを特徴とする請求項１または請求項２に記載の画像処理システム。
  4. 上記周波数分解手段は、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いて、上記映像信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項３に記載の画像処理システム。
  5. 上記周波数分解手段は、ローパスフィルタおよび差分フィルタを用いて、上記映像信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項３に記載の画像処理システム。
  6. 上記周波数分解手段は、ガウシアンフィルタ（Gaussian Filter）およびラプラシアンフィルタ（Laplacian Filter）を用いて、上記映像信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項３に記載の画像処理システム。
  7. 上記変換手段は、
    上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、
    上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の画像処理システム。
  8. 上記合成手段は、上記階調処理がなされた低周波成分と、上記階調処理がなされた高周波成分中の有効成分と、上記高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する周波数合成手段を有して構成されたものであることを特徴とする請求項７に記載の画像処理システム。
  9. 上記変換特性算出手段は、
    上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
    上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
    上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
    上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
    を有して構成されたものであることを特徴とする請求項７に記載の画像処理システム。
  10. 上記変換特性算出手段は、
    上記低周波成分から関心領域を設定する関心領域設定手段と、
    上記関心領域に関して重み係数を設定する重み係数設定手段と、
    上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、
    をさらに有して構成されたものであり、
    上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものであることを特徴とする請求項９に記載の画像処理システム。
  11. 上記階調処理手段は、
    上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、
    上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、
    上記階調変換曲線に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、
    を有して構成されたものであることを特徴とする請求項９または請求項１０に記載の画像処理システム。
  12. 上記変換特性算出手段は、
    上記低周波成分を複数の領域に分割する分割手段と、
    上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
    上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
    上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
    上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
    を有して構成されたものであることを特徴とする請求項７に記載の画像処理システム。
  13. 上記階調処理手段は、
    上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、
    上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、
    上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、
    上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、
    上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、
    を有して構成されたものであることを特徴とする請求項１２に記載の画像処理システム。
  14. 上記階調処理手段は、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御手段をさらに有して構成されたものであることを特徴とする請求項１１または請求項１３に記載の画像処理システム。
  15. 上記高周波分離手段は、
    上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定手段と、
    上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定手段と、
    上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の画像処理システム。
  16. 上記設定手段は、
    上記高周波成分の平均値を算出する平均値算出手段と、
    上記ノイズ量および上記平均値に基づき高周波成分に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、
    を有して構成されたものであることを特徴とする請求項１５に記載の画像処理システム。
  17. 上記高周波成分に対してノイズ低減処理を行うノイズ低減手段をさらに具備したことを特徴とする請求項３に記載の画像処理システム。
  18. 上記ノイズ低減手段は、
    上記高周波成分中の有効成分に対して補正を行う第１のスムージング手段と、
    上記高周波成分中の無効成分に対して平滑化を行う第２のスムージング手段と、
    を有して構成されたものであることを特徴とする請求項１７に記載の画像処理システム。
  19. 上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項３に記載の画像処理システム。
  20. 上記分離手段は、
    上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減手段と、
    上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分手段と、
    を有して構成されたものであることを特徴とする請求項１または請求項２に記載の画像処理システム。
  21. 上記ノイズ低減手段は、
    上記映像信号のノイズ量を推定するノイズ推定手段と、
    上記ノイズ量および上映像信号に基づき許容範囲を設定する設定手段と、
    上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断手段と、
    上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージング手段と、
    上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージング手段と、
    を有して構成されたものであることを特徴とする請求項２０に記載の画像処理システム。
  22. 上記変換手段は、
    上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、
    上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理手段と、
    を有して構成されたものであることを特徴とする請求項２０に記載の画像処理システム。
  23. 上記合成手段は、上記階調処理がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する信号合成手段を有して構成されたものであることを特徴とする請求項２２に記載の画像処理システム。
  24. 上記変換特性算出手段は、
    上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
    上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
    上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
    上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
    を有して構成されたものであることを特徴とする請求項２２に記載の画像処理システム。
  25. 上記変換特性算出手段は、
    上記有効成分から関心領域を設定する関心領域設定手段と、
    上記関心領域に関して重み係数を設定する重み係数設定手段と、
    上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、
    をさらに有して構成されたものであり、
    上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものであることを特徴とする請求項２４に記載の画像処理システム。
  26. 上記階調処理手段は、
    上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、
    上記階調変換曲線に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、
    を有して構成されたものであることを特徴とする請求項２４または請求項２５に記載の画像処理システム。
  27. 上記変換特性算出手段は、
    上記有効成分を複数の領域に分割する分割手段と、
    上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
    上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
    上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
    上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
    を有して構成されたものであることを特徴とする請求項２２に記載の画像処理システム。
  28. 上記階調処理手段は、
    上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、
    上記有効成分注目画素と上記有効成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、
    上記有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、
    上記設定された階調変換式に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、
    を有して構成されたものであることを特徴とする請求項２７に記載の画像処理システム。
  29. 上記設定手段は、
    上記映像信号の平均値を算出する平均値算出手段と、
    上記ノイズ量および上記平均値に基づき上記映像信号に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、
    を有して構成されたものであることを特徴とする請求項２１に記載の画像処理システム。
  30. 上記ノイズ推定手段は、
    基準ノイズモデルに関するパラメータ群を記録する記録手段と、
    上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、
    上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
    上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記低周波成分または上記映像信号と上記選択されたパラメータとに基づき補間演算によりノイズ量を求める補間手段と、
    を有して構成されたものであることを特徴とする請求項１５または請求項２１に記載の画像処理システム。
  31. 上記ノイズ推定手段は、
    上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、
    上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
    上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づきノイズ量を出力するテーブル変換手段と、
    を有して構成されたものであることを特徴とする請求項１５または請求項２１に記載の画像処理システム。
  32. 上記階調変換がなされた輝度信号と上記色信号とに基づき、階調変換がなされたカラー映像信号を合成するＹ／Ｃ合成手段をさらに具備したものであることを特徴とする請求項２に記載の画像処理システム。
  33. 上記カラー映像信号は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子から得られたカラー映像信号であることを特徴とする請求項２に記載の画像処理システム。
  34. コンピュータに、映像信号に対して階調変換を行わせるための画像処理プログラムであって、
    コンピュータに、
    上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離ステップと、
    上記有効成分に対して階調変換を行う変換ステップと、
    上記階調変換がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する合成ステップと、
    を実行させるための画像処理プログラム。
  35. 当該画像処理プログラムは、コンピュータに、
    上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離ステップをさらに実行させるためのものであり、
    上記分離ステップ、上記変換ステップ、および上記合成ステップにより扱う上記映像信号は、上記Ｙ／Ｃ分離ステップにより分離された上記輝度信号であることを特徴とする請求項３４に記載の画像処理プログラム。
  36. 上記分離ステップは、
    上記映像信号を高周波成分と低周波成分とに分解する周波数分解ステップと、
    上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離ステップと、
    を有することを特徴とする請求項３４または請求項３５に記載の画像処理プログラム。
  37. 上記変換ステップは、
    上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、
    上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理ステップと、
    を有し、
    さらに、上記変換特性算出ステップは、
    上記低周波成分を複数の領域に分割する分割ステップと、
    上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、
    上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、
    上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、
    上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、
    を有することを特徴とする請求項３６に記載の画像処理プログラム。
  38. 上記階調処理ステップは、
    上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出ステップと、
    上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出ステップと、
    上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出ステップと、
    上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定ステップと、
    上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換ステップと、
    を有することを特徴とする請求項３７に記載の画像処理プログラム。
  39. 上記階調処理ステップは、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御ステップをさらに有することを特徴とする請求項３８に記載の画像処理プログラム。
  40. 上記高周波分離ステップは、
    上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定ステップと、
    上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定ステップと、
    上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断ステップと、
    を有することを特徴とする請求項３６に記載の画像処理プログラム。
  41. コンピュータに、
    上記高周波成分に対してノイズ低減処理を行うノイズ低減ステップをさらに実行させるためのものであることを特徴とする請求項３６に記載の画像処理プログラム。
  42. コンピュータに、
    上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調ステップをさらに実行させるためのものであることを特徴とする請求項３６に記載の画像処理プログラム。
  43. 上記分離ステップは、
    上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減ステップと、
    上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分ステップと、
    を有することを特徴とする請求項３４または請求項３５に記載の画像処理プログラム。
  44. 上記ノイズ低減ステップは、
    上記映像信号のノイズ量を推定するノイズ推定ステップと、
    上記ノイズ量および上映像信号に基づき許容範囲を設定する設定ステップと、
    上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断ステップと、
    上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージングステップと、
    上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージングステップと、
    を有することを特徴とする請求項４３に記載の画像処理プログラム。
  45. 上記変換ステップは、
    上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、
    上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理ステップと、
    を有し、
    さらに、上記変換特性算出ステップは、
    上記有効成分を複数の領域に分割する分割ステップと、
    上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、
    上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、
    上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、
    上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、
    を有することを特徴とする請求項４３に記載の画像処理プログラム。
JP2006247169A 2006-09-12 2006-09-12 画像処理システム、画像処理プログラム Expired - Fee Related JP4837503B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006247169A JP4837503B2 (ja) 2006-09-12 2006-09-12 画像処理システム、画像処理プログラム
PCT/JP2007/067222 WO2008032610A1 (fr) 2006-09-12 2007-09-04 Système de traitement d'image et programme de traitement d'image
US12/400,028 US8194160B2 (en) 2006-09-12 2009-03-09 Image gradation processing apparatus and recording

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006247169A JP4837503B2 (ja) 2006-09-12 2006-09-12 画像処理システム、画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2008072233A true JP2008072233A (ja) 2008-03-27
JP2008072233A5 JP2008072233A5 (ja) 2009-04-16
JP4837503B2 JP4837503B2 (ja) 2011-12-14

Family

ID=39183671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006247169A Expired - Fee Related JP4837503B2 (ja) 2006-09-12 2006-09-12 画像処理システム、画像処理プログラム

Country Status (3)

Country Link
US (1) US8194160B2 (ja)
JP (1) JP4837503B2 (ja)
WO (1) WO2008032610A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025569B1 (ko) 2009-10-13 2011-03-28 중앙대학교 산학협력단 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법
WO2011158572A1 (ja) * 2010-06-16 2011-12-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013055552A (ja) * 2011-09-05 2013-03-21 Hitachi Consumer Electronics Co Ltd 撮像装置
KR20150100405A (ko) * 2014-02-25 2015-09-02 한화테크윈 주식회사 자동 초점 조절 방법
WO2016203690A1 (ja) * 2015-06-19 2016-12-22 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
JP2018078613A (ja) * 2017-12-18 2018-05-17 パナソニックＩｐマネジメント株式会社 通信システム、画像生成方法、及び通信装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318280A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 画像処理装置
JP4916341B2 (ja) * 2007-02-28 2012-04-11 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP5261796B2 (ja) * 2008-02-05 2013-08-14 富士フイルム株式会社 撮像装置、撮像方法、画像処理装置、画像処理方法、およびプログラム
JP5201038B2 (ja) * 2009-03-18 2013-06-05 株式会社Ｊｖｃケンウッド 映像信号処理方法及び映像信号処理装置
JP4795473B2 (ja) * 2009-06-29 2011-10-19 キヤノン株式会社 画像処理装置及びその制御方法
JP2011015277A (ja) * 2009-07-03 2011-01-20 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体
BR112012007312A2 (pt) * 2009-09-30 2016-04-19 Sharp Kk dispositivo de ampliação de imagens, programa de ampliação de imagens e aparelho de exibição
JP5089783B2 (ja) * 2010-04-30 2012-12-05 キヤノン株式会社 画像処理装置及びその制御方法
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP6287100B2 (ja) 2013-11-20 2018-03-07 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP6327869B2 (ja) * 2014-01-29 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9667842B2 (en) 2014-08-30 2017-05-30 Apple Inc. Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
US9525804B2 (en) * 2014-08-30 2016-12-20 Apple Inc. Multi-band YCbCr noise modeling and noise reduction based on scene metadata
US9626745B2 (en) 2015-09-04 2017-04-18 Apple Inc. Temporal multi-band noise reduction
CN107615749B (zh) * 2016-04-13 2020-09-18 索尼公司 信号处理装置和成像装置
WO2018227943A1 (en) * 2017-06-14 2018-12-20 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image processing
CN109684926A (zh) * 2018-11-21 2019-04-26 佛山市第一人民医院（中山大学附属佛山医院） 一种非接触式静脉图像采集方法及装置
CN114066784A (zh) * 2020-07-29 2022-02-18 北京小米移动软件有限公司 一种图像处理方法、装置和存储介质
CN113423024B (zh) * 2021-06-21 2022-07-26 上海宏英智能科技股份有限公司 一种车载无线遥控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210323A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 階調補正装置ならびにそれを用いた映像信号処理装置
JP2001167264A (ja) * 1999-09-30 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2004128985A (ja) * 2002-10-03 2004-04-22 Olympus Corp 撮像システム、再生システム、撮像プログラム、再生プログラム
JP2004287794A (ja) * 2003-03-20 2004-10-14 Minolta Co Ltd 画像処理装置
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856316A (ja) 1994-06-09 1996-02-27 Sony Corp 画像処理装置
EP1059811A2 (en) 1999-06-10 2000-12-13 Fuji Photo Film Co., Ltd. Method and system for image processing, and recording medium
JP3465226B2 (ja) 1999-10-18 2003-11-10 学校法人慶應義塾 画像濃度変換処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210323A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 階調補正装置ならびにそれを用いた映像信号処理装置
JP2001167264A (ja) * 1999-09-30 2001-06-22 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2003134352A (ja) * 2001-10-26 2003-05-09 Konica Corp 画像処理方法及び装置並びにプログラム
JP2004128985A (ja) * 2002-10-03 2004-04-22 Olympus Corp 撮像システム、再生システム、撮像プログラム、再生プログラム
JP2004287794A (ja) * 2003-03-20 2004-10-14 Minolta Co Ltd 画像処理装置
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101025569B1 (ko) 2009-10-13 2011-03-28 중앙대학교 산학협력단 이산 웨이블렛 변환을 기반으로 하는 영상의 노이즈 제거 장치 및 방법
WO2011158572A1 (ja) * 2010-06-16 2011-12-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013055552A (ja) * 2011-09-05 2013-03-21 Hitachi Consumer Electronics Co Ltd 撮像装置
KR20150100405A (ko) * 2014-02-25 2015-09-02 한화테크윈 주식회사 자동 초점 조절 방법
KR102104414B1 (ko) * 2014-02-25 2020-04-24 한화테크윈 주식회사 자동 초점 조절 방법
WO2016203690A1 (ja) * 2015-06-19 2016-12-22 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
JP2018078613A (ja) * 2017-12-18 2018-05-17 パナソニックＩｐマネジメント株式会社 通信システム、画像生成方法、及び通信装置

Also Published As

Publication number Publication date
US20090219416A1 (en) 2009-09-03
JP4837503B2 (ja) 2011-12-14
US8194160B2 (en) 2012-06-05
WO2008032610A1 (fr) 2008-03-20

Similar Documents

Publication Publication Date Title
JP4837503B2 (ja) 画像処理システム、画像処理プログラム
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP4837365B2 (ja) 画像処理システム、画像処理プログラム
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JPWO2007049418A1 (ja) 画像処理システム、画像処理プログラム
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
JP4869653B2 (ja) 画像処理装置
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP2004088149A (ja) 撮像システムおよび画像処理プログラム
US8223226B2 (en) Image processing apparatus and storage medium storing image processing program
WO2007037325A1 (ja) 撮像装置
JP2008263507A (ja) 映像処理装置及び映像処理プログラム
JP4637812B2 (ja) 画像信号処理装置、画像信号処理プログラム、画像信号処理方法
JP5259616B2 (ja) 画像処理システムおよび画像処理プログラム
US8351695B2 (en) Image processing apparatus, image processing program, and image processing method
JP3863808B2 (ja) 輪郭強調回路
JP2020198540A (ja) 画像信号処理方法
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5586031B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2008310666A (ja) 画像処理装置およびこれを備えた撮像システム
JP2008271101A (ja) 映像処理装置及び映像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4837503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees