JP2010020523A - Image processor and imaging system - Google Patents
Image processor and imaging system Download PDFInfo
- Publication number
- JP2010020523A JP2010020523A JP2008180119A JP2008180119A JP2010020523A JP 2010020523 A JP2010020523 A JP 2010020523A JP 2008180119 A JP2008180119 A JP 2008180119A JP 2008180119 A JP2008180119 A JP 2008180119A JP 2010020523 A JP2010020523 A JP 2010020523A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- image
- noise
- frequency band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 21
- 230000009467 reduction Effects 0.000 claims abstract description 158
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims description 106
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000011946 reduction process Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 39
- 238000003786 synthesis reaction Methods 0.000 description 39
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理装置及び撮像システムに係り、特にノイズ低減方法に関するものである。 The present invention relates to an image processing apparatus and an imaging system, and more particularly to a noise reduction method.
画像に含まれるノイズ信号を除去するノイズ低減方法として、多重解像度変換を用いたノイズ低減方法が知られている。これは、フィルタバンクやラプラシアンピラミッドの手法を用いて、画像を複数の周波数帯域の信号に分割し、それぞれの帯域信号に対して何らかのノイズ低減処理を施した後、これらを再合成するものである。この方法によれば、分割した帯域それぞれに適した強度のノイズ低減処理を行うことが可能となる。 As a noise reduction method for removing a noise signal included in an image, a noise reduction method using multi-resolution conversion is known. In this method, a filter bank or Laplacian pyramid method is used to divide an image into signals of a plurality of frequency bands, and after applying some noise reduction processing to each band signal, these are recombined. . According to this method, it is possible to perform noise reduction processing having an intensity suitable for each divided band.
図12に、ラプラシアンピラミッドによる多重解像度変換と、それを用いたノイズ低減方法の一例を示す。図12において、入力画像100は、フィルタ・縮小処理部101にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタリング部111に供給され、順次、縮小されていく。
FIG. 12 shows an example of multi-resolution conversion using a Laplacian pyramid and a noise reduction method using the same. In FIG. 12, the input image 100 is reduced after the low-pass filter processing by the filter /
フィルタ・縮小処理部101にて縮小された画像は、拡大処理部102において元の画像サイズに拡大された後、減算部103に供給される。減算部103では、入力画像100と拡大処理部102から供給された画像との差分信号が生成される。この差分信号は、フィルタ・縮小処理部101で用いられたローパスフィルタ特性により遮断された高域成分に相当する。この高域成分を多く含む差分信号はノイズ低減部104に供給され、ノイズ低減処理が施される。
The image reduced by the filter /
そして、同様の処理が、2段目以降においても行われる。即ち、フィルタ・縮小処理部111、拡大処理部112、減算部113により、2段目に相当する帯域信号が生成され、これに対してノイズ低減部114でノイズ低減処理が行われる。このようにして順次、帯域分割された信号に対してノイズ低減処理が適用されることとなる。
The same process is performed in the second and subsequent stages. That is, the filter /
最も周波数の低い帯域におけるノイズ低減部134の出力は、低域側の信号と加算部136で加算された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算部106により加算されて、出力画像121となる。
なお図11に示した例においては、最後段のフィルタ・縮小処理部131においてローパスフィルタ処理及び縮小処理をした後、拡大処理部132、拡大処理部135にて拡大処理を行うこととしたが、フィルタ・縮小処理部131における縮小処理、及び、拡大処理部132、135については、省く構成としてもよい。
The output of the
In the example illustrated in FIG. 11, after the low-pass filter processing and the reduction processing are performed in the last-stage filter /
特許文献1には、図11におけるノイズ低減部104、114、・・・134相当の処理に、方向性を有するフィルタ処理を適用した構成(例えば、特許文献2参照)が開示されている。また、特許文献3には、周波数分割としてウェーブレット変換を使用し、分割した各帯域信号に対して、閾値以下の信号を0にするというコアリング処理を施す方法が開示されている。
上述したような多重解像度変換を用いたノイズ低減方法は、分割した帯域信号それぞれに適した強度のノイズ低減処理を行えるという利点を有すると共に、多重解像度変換の段数を増やして分割する帯域数を増やせば、より低周波に存在するノイズ成分もノイズ低減の対象とすることができるという利点を有する。 The noise reduction method using multi-resolution conversion as described above has an advantage that noise reduction processing having an intensity suitable for each divided band signal can be performed, and can increase the number of bands to be divided by increasing the number of stages of multi-resolution conversion. For example, a noise component existing at a lower frequency can be an object of noise reduction.
しかしながら、多重解像度変換の段数を増やすと、必要とされる演算量もそれに応じて増えるという問題がある。特に、LSI等によるハードウェア実現を想定した場合、ハードウェア規模の制約から、多重解像度変換の段数が制限される場合があり、これによりノイズ量が大きい場合等に、所望のノイズ低減性能を得られないという問題があった。 However, when the number of stages of multi-resolution conversion is increased, there is a problem that the amount of calculation required increases accordingly. In particular, assuming hardware implementation by LSI, etc., the number of stages of multi-resolution conversion may be limited due to hardware scale limitations, and this can provide the desired noise reduction performance when the amount of noise is large. There was a problem that it was not possible.
本発明は、上記問題を解決するためになされたもので、ハードウェア規模の増大を抑制しつつ、ノイズ低減性能の向上を図ることのできる画像処理装置及び撮像システムを提供することを目的とする。 The present invention has been made to solve the above-described problem, and an object thereof is to provide an image processing apparatus and an imaging system capable of improving noise reduction performance while suppressing an increase in hardware scale. .
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第1の態様は、画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力するフィルタリング手段を有するとともに、該画像信号の第1の周波数帯域に含まれる信号を生成する第1の帯域信号生成手段と、前記第1の周波数帯域に含まれる信号のノイズ量を低減する第1のノイズ低減手段と、前記画像信号の第2の周波数帯域に含まれ、ノイズ量が低減された信号を記憶する第1の記憶手段と、前記第1のノイズ低減手段によりノイズ量が低減された前記第1の周波数帯域の信号と入力された信号とを合成する第1の画像合成手段と、前記第1の画像合成手段に入力される前記信号として、前記第1のフィルタリング手段から出力される信号に基づく信号及び前記第1の記憶手段から出力される前記第2の周波数帯域に含まれる信号のいずれかを選択する第1の選択手段とを具備することを特徴とする画像処理装置である。
In order to solve the above problems, the present invention employs the following means.
According to a first aspect of the present invention, there is provided filtering means for blocking a signal in a part of a frequency band in an image signal by filtering and outputting a signal in another frequency band, and the first frequency band of the image signal A first band signal generating unit that generates a signal included in the first frequency band, a first noise reducing unit that reduces a noise amount of the signal included in the first frequency band, and a second frequency band of the image signal. First storage means for storing a signal that is included and has a reduced noise amount, and a signal in the first frequency band in which the noise amount is reduced by the first noise reduction means and the input signal are combined. And a signal based on a signal output from the first filtering unit and a signal output from the first storage unit as the signal input to the first image synthesizing unit and the first image synthesizing unit. An image processing apparatus characterized by comprising a first selection means for selecting one of the signal included in the second frequency band.
この態様によれば、第1の帯域信号生成手段により取得され、第1のノイズ低減手段によりノイズ量が低減された第1の周波数帯域に含まれる信号と第1の記憶手段に記憶された第2の周波数帯域に含まれ、ノイズ量が低減された信号とを合成する構成を備えるので、第1の周波数帯域に含まれる信号と第2の周波数帯域に含まれる信号との両方を、それぞれに対応する別個の帯域信号生成手段及びノイズ低減手段を用いてノイズ低減する構成と比較して、ハードウェアの規模を抑制することが可能となる。 According to this aspect, the signal included in the first frequency band acquired by the first band signal generation unit and reduced in the noise amount by the first noise reduction unit and the first storage unit stored in the first storage unit. 2 is configured to synthesize a signal with a reduced amount of noise, so that both the signal included in the first frequency band and the signal included in the second frequency band are respectively Compared with a configuration in which noise is reduced by using a corresponding separate band signal generation unit and noise reduction unit, the scale of hardware can be suppressed.
本発明の第2の態様は、画像信号の第1の周波数帯域に含まれる信号を生成する第1の帯域信号生成手段と、前記第1の周波数帯域に含まれる信号のノイズ量を低減する第1のノイズ低減手段と、前記画像信号の第2の周波数帯域に含まれるとともに、ノイズ量が低減された信号と前記第1のノイズ低減手段によりノイズ量が低減された前記第1の周波数帯域の信号とを合成する第1の画像合成手段とを有し、前記第1の帯域信号生成手段は、前記画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断する第1のフィルタリング手段を有し、前記第1の画像合成手段に入力される前記第2の周波数帯域に含まれる信号は、前記第1のフィルタリング手段から出力される信号に基づく信号ではないことを特徴とする画像処理装置である。 According to a second aspect of the present invention, there is provided first band signal generation means for generating a signal included in a first frequency band of an image signal, and a first amount of noise reduced in the signal included in the first frequency band. 1 noise reduction means and the first frequency band of the first frequency band that is included in the second frequency band of the image signal, the noise amount of which is reduced by the signal of which the noise amount is reduced, and the first noise reduction means. A first image synthesizing unit that synthesizes the signal, and the first band signal generating unit includes a first filtering unit that blocks a signal in a part of the frequency band in the image signal by filtering. In the image processing apparatus, the signal included in the second frequency band input to the first image synthesizing unit is not a signal based on the signal output from the first filtering unit. That.
本発明の第3の態様は、画像信号の第1の周波数帯域に含まれる信号を生成する帯域信号生成手段と、前記第1の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減手段と、前記画像信号の第2の周波数帯域に含まれる信号のノイズ量を低減するプロセッサと、前記ノイズ低減手段によりノイズ量が低減された前記第1の周波数帯域に含まれる信号と前記プロセッサによりノイズ量が低減された前記第2の周波数帯域に含まれる信号とを合成する画像合成手段とを具備することを特徴とする画像処理装置である。 According to a third aspect of the present invention, band signal generation means for generating a signal included in the first frequency band of the image signal, and noise reduction means for reducing the noise amount of the signal included in the first frequency band, A processor for reducing a noise amount of a signal included in the second frequency band of the image signal, a signal included in the first frequency band in which the noise amount is reduced by the noise reduction unit, and a noise amount by the processor An image synthesizing unit that synthesizes a signal included in the second frequency band in which the frequency is reduced.
本発明の第4の態様は、被写体を撮影する撮像手段と、前記撮像手段にて取得された画像信号を処理する上記いずれかに記載の画像処理装置とを具備する撮像システムである。 According to a fourth aspect of the present invention, there is provided an imaging system including an imaging unit that captures an image of a subject and the image processing apparatus according to any one of the above that processes an image signal acquired by the imaging unit.
本発明の第5の態様は、画像信号の第1の周波数帯域に含まれる信号に対しノイズ低減手段を用いてノイズ量を低減し、前記画像信号の第2の周波数帯域に含まれる信号に対し前記ノイズ低減手段を用いてノイズ量を低減し、前記ノイズ量が低減された第1の周波数帯域に含まれる信号と第2の周波数帯域に含まれる信号を合成することを特徴とする画像処理方法である。 According to a fifth aspect of the present invention, the amount of noise is reduced using noise reduction means for a signal included in the first frequency band of the image signal, and the signal included in the second frequency band of the image signal is detected. An image processing method comprising: reducing a noise amount using the noise reduction unit; and synthesizing a signal included in the first frequency band and the signal included in the second frequency band in which the noise amount is reduced. It is.
本発明の第6の態様は、画像信号が入力され、入力された前記画像信号から高帯域信号と低帯域信号とを生成する第1帯域信号生成手段と、前記帯域信号生成手段によって生成された低帯域信号を格納する第1記憶手段と、前記帯域信号生成手段によって生成された高帯域信号のノイズを低減する第1ノイズ低減手段と、前記第1ノイズ低減手段によってノイズが低減された高帯域信号と低帯域信号とを合成する第1画像合成手段と、前記第1画像合成手段によって合成された後の合成画像信号を格納する第2記憶手段と、前記第1帯域信号生成手段に入力される前記画像信号を、原画像信号と前記第1記憶手段に格納された低帯域信号とのいずれかに切り替える第1切替手段と、前記第1画像合成手段に入力される信号を、前記第1帯域信号生成手段から出力される低帯域信号と前記第2記憶手段に格納された合成画像信号とのいずれかに切り替える第2切替手段とを具備する画像処理装置である。 According to a sixth aspect of the present invention, an image signal is input, and a first band signal generating unit that generates a high band signal and a low band signal from the input image signal, and the band signal generating unit First storage means for storing a low-band signal, first noise reduction means for reducing noise in the high-band signal generated by the band signal generation means, and high band in which noise is reduced by the first noise reduction means A first image synthesizing unit that synthesizes the signal and the low-band signal, a second storage unit that stores the synthesized image signal synthesized by the first image synthesizing unit, and an input to the first band signal generating unit. A first switching means for switching the image signal to either an original image signal or a low-band signal stored in the first storage means; and a signal input to the first image synthesizing means, Bandwidth An image processing apparatus having a second switching means for switching to one of the stored combined image signal in the low band signal and the second storage means to be output from the generation means.
本態様によれば、入力された画像信号から高帯域信号と低帯域信号とが第1帯域信号生成手段により生成され、このうちの低帯域信号については、第1記憶手段に格納される。この場合において、第1記憶手段に格納された低帯域信号は、第1切替手段を介して第1帯域信号生成手段に再度入力可能とされているので、この低帯域信号から、高帯域信号と低域信号とが更に生成されることとなる。このようにして、繰り返し第1帯域信号生成手段を用いることにより、元の画像信号から複数の帯域の信号を生成することが可能となり、第1帯域信号生成手段が有する能力以上の能力を発揮させることが可能となる。
第1帯域信号生成手段によって生成された高帯域信号については、ノイズ低減手段によりノイズが低減され、ノイズ低減後の高帯域信号と第1帯域信号生成手段によって生成された低帯域信号とが第1画像合成手段によって合成される。この場合において、第1画像合成手段によって合成された後の合成画像信号は、第2記憶手段に格納され、更に、第2切替手段を介して第1画像合成手段に入力させることが可能とされているので、上述の如く、第1帯域信号生成手段を繰り返し用いて複数の帯域の信号を生成した場合であっても、ノイズ低減手段から出力される高帯域信号と対となる低帯域信号を第1画像合成手段に入力させることが可能となる。
このように、本発明によれば、第1帯域信号生成手段、ノイズ低減手段、第1画像合成手段を繰り返し利用することができるため、ハードウェアの規模増大を抑制しつつ、高いノイズ低減性能を得ることが可能となる。
上記高帯域信号とは、例えば、後述する第1の実施形態において、各フィルタリング部から拡大処理部へ流れる信号を意味している。また、低帯域信号とは、例えば、後述する第1の実施形態において、フレームメモリ223に格納される信号を意味している。
According to this aspect, the high-band signal and the low-band signal are generated from the input image signal by the first band signal generation unit, and the low-band signal is stored in the first storage unit. In this case, since the low-band signal stored in the first storage means can be input again to the first-band signal generation means via the first switching means, the low-band signal is A low-frequency signal is further generated. In this way, by repeatedly using the first band signal generating means, it becomes possible to generate signals of a plurality of bands from the original image signal, and to demonstrate the capability beyond the capability of the first band signal generating means. It becomes possible.
For the high-band signal generated by the first band signal generation unit, noise is reduced by the noise reduction unit, and the high-band signal after the noise reduction and the low-band signal generated by the first band signal generation unit are the first. The images are synthesized by the image synthesis means. In this case, the synthesized image signal synthesized by the first image synthesizing unit is stored in the second storage unit, and can be further input to the first image synthesizing unit via the second switching unit. Therefore, as described above, even when the first band signal generation unit is repeatedly used to generate a plurality of band signals, the low band signal paired with the high band signal output from the noise reduction unit is generated. It is possible to input the first image composition means.
As described above, according to the present invention, since the first band signal generation unit, the noise reduction unit, and the first image synthesis unit can be repeatedly used, high noise reduction performance can be achieved while suppressing an increase in hardware scale. Can be obtained.
The high-band signal means, for example, a signal flowing from each filtering unit to the enlargement processing unit in the first embodiment described later. The low-band signal means a signal stored in the
本発明の第7の態様は、画像信号が入力され、入力された前記画像信号から高帯域信号と低帯域信号とを生成する帯域信号生成手段と、前記帯域信号生成手段によって生成された高帯域信号のノイズを低減する第1ノイズ低減手段と、前記帯域信号生成手段によって生成された低帯域信号のノイズを低減する第2ノイズ低減手段と、前記第1ノイズ低減手段によってノイズが低減された高帯域信号と前記第2ノイズ低減手段によってノイズが低減された低帯域信号とを合成する画像合成手段とを備え、前記第2ノイズ低減手段が、プロセッサによるプログラム制御により前記低帯域信号のノイズを低減する画像処理装置である。 According to a seventh aspect of the present invention, an image signal is input, a band signal generating unit that generates a high band signal and a low band signal from the input image signal, and a high band generated by the band signal generating unit First noise reduction means for reducing signal noise, second noise reduction means for reducing noise of a low-band signal generated by the band signal generation means, and high noise reduced by the first noise reduction means An image synthesizing unit that synthesizes the band signal and the low-band signal whose noise is reduced by the second noise reduction unit, and the second noise reduction unit reduces the noise of the low-band signal by program control by a processor. An image processing apparatus.
本態様によれば、処理負担が少ない低帯域信号のノイズ低減処理ついては、ソフトウェアによるノイズ低減処理を採用するので、専用回路を設ける場合に比べて、処理負担を軽減しつつ、装置の小型化を図ることが可能となる。 According to this aspect, since the noise reduction processing by software is adopted for the low-band signal noise reduction processing with a low processing burden, the apparatus can be downsized while reducing the processing burden compared to the case where a dedicated circuit is provided. It becomes possible to plan.
本発明の第8の態様は、入力された画像信号から第1の周波数帯域信号と第2の周波数帯域信号とを生成し、前記第1の周波数帯域信号と前記第2の周波数帯域信号に含まれるノイズを共通のノイズ低減手段を用いて除去し、ノイズ低減後の前記第1の周波数帯域信号と前記第2の周波数帯域信号とを合成することを特徴とする画像処理方法である。 An eighth aspect of the present invention generates a first frequency band signal and a second frequency band signal from an input image signal, and is included in the first frequency band signal and the second frequency band signal. The image processing method is characterized in that the generated noise is removed using a common noise reduction means, and the first frequency band signal and the second frequency band signal after noise reduction are synthesized.
本発明によれば、ハードウェア規模の増大を抑制しつつ、ノイズ低減性能の向上を図ることができるという効果を奏する。 According to the present invention, it is possible to improve noise reduction performance while suppressing an increase in hardware scale.
以下に、本発明に係る画像処理装置及び画像処理方法並びに撮像システムについて、図面を参照して説明する。 Hereinafter, an image processing apparatus, an image processing method, and an imaging system according to the present invention will be described with reference to the drawings.
〔第1の実施形態〕
図1は、本発明の第1の実施形態に係る画像処理装置の概略構成を示したブロック図である。図1に示されるように、本実施形態に係る画像処理装置1は、ラプラシアンピラミッドにより多重解像度変換を施し、各帯域信号に対してノイズ低減をする方式を採用している。
具体的には、画像処理装置1は、画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力するフィルタリング部(フィルタリング手段)を有するとともに、該画像信号の第1の周波数帯域に含まれる信号を生成する帯域信号生成部(第1帯域信号生成手段)2と、第1の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減処理部3と、ノイズ低減処理部3によりノイズ量が低減された第1の周波数帯域の信号と入力された信号とを合成する画像合成部(第1の画像合成手段)4とを備えている。
画像処理装置1は、更に、画像信号の第2の周波数帯域に含まれ、ノイズ量が低減された信号を記憶するフレームメモリ224(第1の記憶手段)と、画像合成部4に入力される前記信号として、帯域信号生成部2が備えるフィルタリング部から出力される信号に基づく信号及びフレームメモリ224から出力される信号のいずれかを選択する第1の選択部(第1の選択手段)222と、該フィルタリング部から出力された信号を記憶するフレームメモリ(第2の記憶手段)223と、帯域信号生成部2に入力される信号として、入力画像200及びフレームメモリ223に記憶された信号のうちのいずれかを選択する第2の選択部(第2の選択手段)225と、フィルタリング部とフレームメモリ223との接続と非接続とを切り替える接続切替部(接続切替手段)220とを備えている。
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the image processing apparatus 1 according to the present embodiment employs a system that performs multi-resolution conversion using a Laplacian pyramid and reduces noise for each band signal.
Specifically, the image processing apparatus 1 includes a filtering unit (filtering unit) that blocks a signal of a part of the frequency band in the image signal by filtering and outputs a signal of the other frequency band. A band signal generation unit (first band signal generation means) 2 that generates a signal included in the first frequency band, a noise
The image processing apparatus 1 is further input to a frame memory 224 (first storage unit) that stores a signal that is included in the second frequency band of the image signal and has a reduced amount of noise, and the image composition unit 4. A first selection unit (first selection unit) 222 that selects one of a signal based on a signal output from the filtering unit included in the band
帯域信号生成部2は、N(Nは1以上の整数)段のフィルタリング部201,211を有するとともに、各フィルタリング部201、211に対応してそれぞれ設けられた拡大処理部202,212、及び減算部203,213を備えている。
ノイズ低減処理部3は、各フィルタリング部201,211に対応してそれぞれ設けられたN個のノイズ低減部204,214を備えている。画像合成部4は、各フィルタリング部201,211に対応して設けられたN段の合成部209,219を有している。各合成部209,219は、拡大処理部205,215、及び加算部206、216をそれぞれ備えている。なお、本実施形態では、N=2の場合を一例に挙げて説明している。
The band
The noise
1段目のフィルタリング部201は、入力画像200にローパスフィルタ処理を施した後、所定のサイズに縮小する。これにより、例えば、入力画像200の画像サイズは、水平方向、垂直方向ともに半分とされる。フィルタリング部201により生成された縮小画像は、拡大処理部202及び後段のフィルタリング部211に供給可能な構成とされている。
拡大処理部202は、フィルタリング部201からの縮小画像を、フィルタリング部201による縮小処理がされる前の大きさに拡大し、即ち、ここでは入力画像200のサイズに拡大し、減算部203に出力する。減算部203は、拡大処理部202から入力された画像と、フィルタリング部201に入力された画像、即ち、入力画像200との差分信号を算出することで、帯域信号を生成し、これをノイズ低減部204に出力する。ノイズ低減部204は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。
The first-
The
2段目のフィルタリング部211は、フィルタリング部201からの縮小画像に対してローパスフィルタ処理を行った後、縮小処理を行う。このように、各フィルタリング部201,211は、前段のフィルタリング部から出力された画像(1段目のフィルタリング部201に関しては、入力画像200)を更に縮小した縮小画像を生成して出力する。
縮小処理211により生成された縮小画像は、拡大処理部212,接続切替部220,第1の選択部222に供給可能な構成とされている。
The second-
The reduced image generated by the
拡大処理部212は、入力された縮小画像を、フィルタリング部211による縮小処理がされる前の大きさに拡大し、減算部213に出力する。減算部213は、拡大処理部212から供給された画像と、フィルタリング部211に入力された画像との差分をとることで帯域信号を生成し、ノイズ低減部214に出力する。ノイズ低減部214は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。
The
接続切替部220は、フィルタリング部211とフレームメモリ223との接続と非接続を切り替える手段である。具体的には、接続切替部220の両端の配線が接続状態にあるときには、フィルタリング部211から出力される縮小画像がフレームメモリ223に供給され、接続切替部220の両端の配線が非接続状態にあるときには、フィルタリング部211から出力される縮小画像はフレームメモリ223に供給されない。
第1の選択部222は、画像合成部4のN段目の合成部219に入力される縮小画像の供給元を切り替える手段である。具体的には、フィルタリング部211からの縮小画像またはフレームメモリ224に保持されているノイズ低減済み縮小画像400を合成部219に供給する。
第2の選択部225は、帯域信号生成部2に入力される信号を切り替える手段である。具体的には、帯域信号生成部2に入力される信号として、入力画像200及びフレームメモリ223に記憶された信号のうちのいずれかを選択し、いずれか一方を帯域信号生成部2の1段目のフィルタリング部201に供給する。
The
The
The
N段目の合成部219の拡大処理部215は、入力された縮小画像を、対応するフィルタリング部211に入力された縮小画像のサイズまで拡大し、加算部216に出力する。加算部216は、ノイズ低減部214から供給されるノイズ低減済みの帯域信号と拡大処理部215から供給される縮小画像とを加算して、N−1段目の合成部209に出力する。
合成部209の拡大処理部205は、合成部219からの縮小画像を拡大処理し、加算部206に出力する。加算部206は、ノイズ低減部204から供給されるノイズ低減済みの帯域信号と拡大処理部205から供給される縮小画像とを加算して出力する。これにより、所定のサイズに戻されたノイズ低減済みの画像が出力される。
The
The
次に、上述した構成を備える本実施形態に係る画像処理装置1によって実現される画像処理方法について説明する。まず、本実施形態に係る画像処理方法は、接続切替部220、第1の選択部222及び第2の選択部225の設定により3つのモードで構成される。
Next, an image processing method realized by the image processing apparatus 1 according to the present embodiment having the above-described configuration will be described. First, the image processing method according to the present embodiment includes three modes according to the settings of the
〔第1モード〕
まず、第1モードでは、図2に示されるように、第2の選択部225により、入力画像200がフィルタリング部201に供給され、接続切替部220によりフィルタリング部211がフレームメモリ223に接続され、第1の選択部222は、開状態とされているか、あるいは第1の選択部により合成部219はフィルタリング部211の出力ライン、又はフレームメモリ224に接続される。
[First mode]
First, in the first mode, as shown in FIG. 2, the
このように接続されることで、入力画像200は、N段設けられているフィルタリング部201,211により段階的に縮小される。フィルタリング部211から出力された縮小画像300は、接続切替部220を経由してフレームメモリ223に保存される。
この第1モードでは、縮小画像300を得ることが目的である。したがって、縮小画像300を得るために不要な構成要素については、動作させる必要はない。
ただし、第1の選択部222により合成部219をフィルタリング部211の出力ラインに接続した状態とし、更に、他のブロックも動作させた場合には、上述の縮小画像300に加えて、2段相当のノイズ低減処理を適用した出力画像を得ることが可能である。
By connecting in this way, the
The purpose of this first mode is to obtain a
However, in the case where the
〔第2モード〕
次に、第2モードでは、図3に示されるように、第2の選択部225によりフィルタリング部201はフレームメモリ223に接続され、接続切替部220は開状態となる。更に、第1の選択部222により合成部219はフィルタリング部211の出力ラインに接続される。
このように接続されることで、第2モードでは、第1モードにおいてフレームメモリ223に保存した縮小画像300が帯域信号生成部2、具体的には、1段目のフィルタリング部201に入力される。
入力された縮小画像300は、フィルタリング部201、211によって更に縮小され、縮小画像301が第1の選択部222を経由して合成部219に出力される。
[Second mode]
Next, in the second mode, as shown in FIG. 3, the
By connecting in this way, in the second mode, the reduced
The input reduced
他方、各フィルタリング部201、211により生成された縮小画像は、拡大処理部202,212及び減算部203,213にそれぞれ供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ低減部204,214にそれぞれ供給されることで、ノイズ低減処理が実施され、ノイズ低減後の帯域信号がそれぞれの合成部209,219に出力される。
On the other hand, the reduced images generated by the
合成部219では、縮小画像301が拡大処理された後に、ノイズ低減部214からの帯域信号と合成される。この合成画像は、合成部209に供給され、拡大処理後にノイズ低減部204からの帯域信号と合成され、ノイズ低減済み縮小画像400として出力される。このノイズ低減済み縮小画像400は、フレームメモリ224に保存される。
In the
このように、第2モードでは、縮小画像300が帯域信号生成部2に再度入力されるので、帯域信号生成部2から出力される縮小画像301は、2×N段のフィルタリング部を経由して作成される場合の縮小画像に相当することとなる。これにより、帯域信号生成部2に本来備えている能力以上の能力を発揮させることが可能となる。
As described above, in the second mode, the reduced
〔第3モード〕
続いて、第3モードでは、図4に示されるように、第2の選択部225により入力画像200がフィルタリング部201に入力され、接続切替部220は開状態となり、第1の選択部222により合成部219はフレームメモリ224に接続される。
このように接続されることで、入力画像200が帯域信号生成部2に供給され、フィルタリング部201,211により段階的な縮小処理が施され、それぞれの縮小画像が拡大処理部202,212,減算部203,213に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ処理部204,214によってノイズ低減処理が実施された後、対応する合成部209,219に出力される。
[Third mode]
Subsequently, in the third mode, as illustrated in FIG. 4, the
By being connected in this way, the
また、第1の選択部222により合成部219がフレームメモリ224に接続されることから、フレームメモリ224に保存されているノイズ低減済み縮小画像400が、第1の選択部222を経由して合成部219に供給される。これにより、ノイズ低減済み縮小画像400に対して拡大、合成処理が行われることにより、ノイズ低減部214からの帯域信号との合成画像が作成され、更に、合成部209においても拡大、合成処理が行われることにより、最終的に入力画像200と略同じサイズのノイズ低減済み原画像500が出力されることとなる。
In addition, since the
以上、説明してきたように、本実施形態に係る画像処理装置1及び画像処理方法によれば、共通の帯域信号生成部2、ノイズ低減処理部3、及び画像合成部4を複数回(上記実施形態では2回)に渡って利用するので、帯域信号生成部2等が有する能力以上の能力を発揮させることが可能となる。これにより、ハードウェアの規模増大を抑制しつつ、ノイズ低減性能の向上を図ることが可能となる。
As described above, according to the image processing device 1 and the image processing method according to the present embodiment, the common band
なお、本実施形態では、2段分の多重解像度変換能力を持つ装置構成を2回利用して、4段相当のノイズ低減性能を得る形態について示したが、帯域信号生成部2に対して縮小画像の入力を再帰的に行うことにより、3×N段相当、4×N段相当のノイズ低減性能を得ることも可能である。 In the present embodiment, the device configuration having the multi-resolution conversion capability for two stages is used twice to obtain a noise reduction performance equivalent to four stages. It is also possible to obtain noise reduction performance equivalent to 3 × N stages and 4 × N stages by recursively inputting images.
また、本実施形態では、第1モードにおいては縮小画像300を得ることだけを目的とし、第3モードにおいて、入力画像200に対する帯域信号の生成、並びに、ノイズ低減処理を実施した。しかしながら、この態様に代えて、第1のモードにおいて、帯域信号生成部2及びノイズ低減処理部3を作動させることにより、ノイズ低減済みの各帯域信号を生成、保存しておき、第3モードにおいて、保存しておいたノイズ低減済みの帯域信号とノイズ低減済み縮小画像400との合成処理を行うこととしてもよい。
In the present embodiment, the purpose is only to obtain the reduced
また、本実施形態では、第2モードにおいて、縮小画像300を1段目のフィルタリング部201に再度入力することとしたが、これに代えて、フィルタリング部211の出力信号を帯域信号生成部2に再度入力することとし、合成部219の出力をノイズ低減済み縮小画像400としてもよい。このようにすれば、3段相当のノイズ低減性能を得ることが可能となる。
In this embodiment, the reduced
また例えば、ノイズ低減以外の画像処理において画像縮小機能が存在し、入力画像200の縮小画像が作成されている場合であり、これがフィルタリング部201、211によって作成される縮小画像300と略同一とみなせる画像であるならば、第1モードを実施することなく、この画像を第2モードでの入力画像とすることで処理速度を向上することが可能である。
Further, for example, there is an image reduction function in image processing other than noise reduction, and a reduced image of the
〔第2の実施形態〕
次に、本発明の第2の実施形態に係る画像処理装置及び画像処理方法について説明する。図5に示されるように、本実施形態の画像処理装置が第1の実施形態と異なる点は、接続切替部220´の出力側及び第1の選択部222´の入力側にM(Mは1以上の整数)段の帯域信号生成部(第2の帯域信号生成手段)5、M個のノイズ低減部を含むノイズ低減処理部(第2のノイズ低減手段)6、M段の画像合成部(第2の画像合成手段)7が設けられていることである。
以下、本実施形態に係る画像処理装置について、第1の実施形態と共通する点については説明を省略し、異なる点について主に説明する。なお、本実施形態では、M=1の場合を例示して説明するが、Mの数については限定されない。
[Second Embodiment]
Next, an image processing apparatus and an image processing method according to the second embodiment of the present invention will be described. As shown in FIG. 5, the image processing apparatus of this embodiment is different from that of the first embodiment in that M (M is the output side of the
Hereinafter, the image processing apparatus according to the present embodiment will not be described with respect to the points common to the first embodiment, and different points will be mainly described. In the present embodiment, the case where M = 1 is described as an example, but the number of M is not limited.
図5は、本実施形態に係る画像処理装置の概略構成を示す図である。この図に示すように、接続切替部220´の出力側と第1の選択部222´の入力側には、帯域信号生成部5、ノイズ低減処理部6、及び画像合成部7が設けられている。帯域信号生成部5、ノイズ低減処理部6、及び画像合成部7の各構成については、上述した帯域信号生成部2、ノイズ低減処理部3、及び画像合成部4と略同様であるが、ノイズ低減処理部6については、ノイズ低減処理の方法がノイズ低減処理部3に比べて簡略化されている。
FIG. 5 is a diagram illustrating a schematic configuration of the image processing apparatus according to the present embodiment. As shown in this figure, a band
帯域信号生成部5には、接続切替部220´を経由して、フィルタリング部211から出力される縮小画像が入力可能とされている。
フィルタリング部612は、入力された縮小画像に対してローパスフィルタ処理を行った後、縮小処理を行う。フィルタリング部612により生成された縮小画像は、拡大処理部622及び画像合成部7の合成部629に入力可能とされている。
A reduced image output from the
The
帯域信号生成部5の拡大処理部622は、入力された縮小画像を、フィルタリング部612による縮小処理がされる前の大きさに拡大し、減算部623に出力する。減算部623は、拡大処理部622から供給された画像と、フィルタリング部612に入力された縮小画像との差分をとることで帯域信号を生成し、ノイズ低減部624に出力する。ノイズ低減部624は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。ここで、ノイズ低減部624は、ノイズ低減部204,214に比べて機能が簡略化されている。例えば、ノイズ低減部204,214が方向判別処理を伴うフィルタ処理とコアリング処理を組み合わせたノイズ低減処理を行うものとした場合には、ノイズ低減部624は、例えば、コアリング処理によるノイズ低減処理のみを行う。このように、ノイズ低減部624の機能を簡略化させることで、処理速度の向上を図ることが可能となる。
The
ノイズ低減部624によりノイズ低減処理が施された帯域信号は、画像合成部7の合成部629に供給される。合成部629の拡大処理部625は、フィルタリング部612からの縮小画像をフィルタリング部612に入力された縮小画像のサイズまで拡大し、加算部626に出力する。加算部626は、ノイズ低減部624から供給されるノイズ低減済みの帯域信号と拡大処理部625から供給される縮小画像とを加算して、出力する。
The band signal subjected to the noise reduction processing by the
接続切替部220´は、フィルタリング部211から出力される縮小画像の供給先を切り替える手段である。具体的には、フィルタリング部211からの縮小画像をフィルタリング部612或いはフレームメモリ223に供給する。ただし、接続切替部220´により、フィルタリング部211はフィルタリング部612とフレームメモリ223の両方に同時に接続することも可能であり、フィルタリング部612及びフレームメモリ223の両方に対して縮小画像を出力することが可能である。
第1の選択部222´は、画像合成部4のN段目の合成部219に入力される縮小画像の供給元を切り替える手段である。具体的には、合成部629の加算部626から出力されるノイズ低減済み縮小画像またはフレームメモリ224に保持されているノイズ低減済み縮小画像700を合成部219に供給する。
The
The
次に、上述した構成を備える本実施形態に係る画像処理装置によって実現される画像処理方法について説明する。まず、本実施形態に係る画像処理方法は、第2の選択部225、接続切替部220´、及び第1の選択部222´の設定により3つのモードで構成される。
Next, an image processing method realized by the image processing apparatus according to this embodiment having the above-described configuration will be described. First, the image processing method according to the present embodiment includes three modes according to the settings of the
〔第1モード〕
まず、第1モードでは、図6に示されるように、第2の選択部225により入力画像200がフィルタリング部201に入力され、接続切替部220´によりフレームメモリ223はフィルタリング部211に接続され、第1の選択部222´は、開状態となるか、加算部626の出力ラインと合成部219とを接続する。なお、接続切替部220´は、フィルタリング部211を、フィルタリング部612とフレームメモリ223の両方に接続してもよい。
このように接続されることで、入力画像200は、N段設けられているフィルタリング部201、フィルタリング部211により段階的に縮小される。フィルタリング部211から出力される縮小画像600は、接続切替部220を経由してフレームメモリ223に保存される。
この第1モードでは、縮小画像600を得ることが目的である。したがって、縮小画像600を得るために不要な構成要素については、動作させる必要はない。
[First mode]
First, in the first mode, as shown in FIG. 6, the
By connecting in this way, the
The purpose of this first mode is to obtain a reduced image 600. Therefore, it is not necessary to operate the components that are not necessary for obtaining the reduced image 600.
ただし、接続切替部220´により、フィルタリング部211はフィルタリング部612とフレームメモリ223の両方に接続され、第1の選択部222´により合成部219は加算部626の出力ラインに接続され、他のブロックも動作させた場合には、上述の縮小画像600に加えて、3段相当のノイズ低減を適用した出力画像を得ることが可能である。
However, the
〔第2モード〕
次に、第2モードでは、図7に示されるように、第2の選択部225によりフィルタリング部201がフレームメモリ223に接続され、接続切替部220´によりフィルタリング部211がフィルタリング部612と接続され、第1の選択部222´により合成部219が合成部629に接続される。
これにより、第2モードに係る画像処理装置は、3段の周波数帯域分割機能を備える装置として機能する。
[Second mode]
Next, in the second mode, as shown in FIG. 7, the
Thereby, the image processing apparatus according to the second mode functions as an apparatus having a three-stage frequency band dividing function.
具体的には、第2モードでは、第1モードにおいてフレームメモリ223に保存した縮小画像600が第2の選択部225により帯域信号生成部2の1段目のフィルタリング部201に入力される。
縮小画像600は、フィルタリング部201、211によって段階的に縮小された後、接続切替部220´を経由してフィルタリング部612に入力され、更に縮小され、合成部629に供給される。
また、各フィルタリング部201,211,612によって縮小された縮小画像は、各拡大処理部202,212,622に供給され、更に、減算部203,213,623、ノイズ低減部204,214,624をそれぞれ経由することで、ノイズ低減済みの各帯域信号が、それぞれの合成部209,219,629に出力される。そして、合成部629,219,209により画像合成が段階的に行われることにより、合成部209からノイズ低減済み縮小画像700が出力される。このノイズ低減済み縮小画像700は、フレームメモリ224に保存される。
Specifically, in the second mode, the reduced image 600 stored in the
The reduced image 600 is reduced stepwise by the
The reduced images reduced by the
〔第3モード〕
続いて、第3モードでは、図8に示されるように、第2の選択部225により入力画像200がフィルタリング部201に入力され、接続切替部220´は開状態となり、第1の選択部222´により合成部219はフレームメモリ224に接続される。
これにより、入力画像200がフィルタリング部201,211により段階的な縮小処理が施され、それぞれの縮小画像が拡大処理部202,212,減算部203,213に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ処理部204,214によってノイズ低減処理が実施された後、対応する合成部209,219に出力される。
[Third mode]
Subsequently, in the third mode, as shown in FIG. 8, the
Thus, the
また、第1の選択部222´により合成部219がフレームメモリ224に接続されることから、フレームメモリ224に保存されているノイズ低減済み縮小画像700が、合成部219に供給される。これにより、ノイズ低減済み縮小画像700に対して拡大、合成処理が行われることにより、ノイズ低減部214からの帯域信号との合成画像が作成され、更に、合成部209においても拡大、合成処理が行われることにより、最終的に入力画像200と同じサイズのノイズ低減済み原画像800が合成部209から出力されることとなる。
Further, since the
以上、説明してきたように、本実施形態に係る画像処理装置によれば、一つの構成要素を複数回にわたって利用して、帯域信号の作成、ノイズ低減処理、画像合成等を行うので、本来の構成が備える能力以上の能力を発揮させることが可能となる。これにより、ハードウェアの規模増大を抑制しつつ、ノイズ低減性能の向上を図ることが可能となる。 As described above, according to the image processing apparatus according to the present embodiment, since one component is used multiple times to perform band signal creation, noise reduction processing, image synthesis, and the like, It becomes possible to demonstrate the capability beyond the capability with which the composition is provided. As a result, it is possible to improve noise reduction performance while suppressing an increase in hardware scale.
更に、本実施形態に係る画像処理装置によれば、処理速度を速くする必要があり、第1から第3のモードを実施することができず、第1のモードのみで出力画像を得る必要がある場合であっても、ノイズ低減処理部3に加えて、簡略化されたノイズ低減処理部6を付加した簡易な構成で、段数の多いノイズ低減処理を実現できる。
加えて、接続切替部220´、第1の選択部222´の前後において、ノイズ低減性能の異なるノイズ低減部(ノイズ低減処理部3、ノイズ低減処理部6)を分けて配置することにより、第1から第3のモードを実施する場合に、ノイズ低減性能の異なる帯域信号が不規則に合成されることを防止することができ、自然な画像を得ることが可能となる。
Furthermore, according to the image processing apparatus according to the present embodiment, it is necessary to increase the processing speed, the first to third modes cannot be performed, and it is necessary to obtain an output image only in the first mode. Even in some cases, noise reduction processing with a large number of stages can be realized with a simple configuration in which a simplified noise
In addition, before and after the
〔第3の実施形態〕
次に、本発明の第3の実施形態に係る画像処理装置及び画像処理方法について説明する。上述した第1の実施形態及び第2の実施形態においては、専用回路による処理を前提としていたが、本実施形態係る画像処理装置においては、プロセッサによるプログラム制御を一部のノイズ低減処理に採用する。
[Third Embodiment]
Next, an image processing apparatus and an image processing method according to the third embodiment of the present invention will be described. In the first embodiment and the second embodiment described above, processing by a dedicated circuit is assumed. However, in the image processing apparatus according to the present embodiment, program control by a processor is adopted for some noise reduction processing. .
通常、画像処理装置には、制御などの処理を担当するプロセッサが搭載されている場合が多い。プロセッサによりノイズ低減処理ができれば、専用回路の場合と比較して、プログラム制御による柔軟かつ複雑な処理が可能となることが期待できる。
ところで、画像処理は、処理する画素数が膨大なため、通常のプロセッサでは処理時間が大量に必要となってしまうという問題がある。そこで、本実施形態に係る画像処理装置においては、縮小画像に対してノイズ低減処理を行う、上述の第2モードの処理に相当する処理をプロセッサによるプログラム制御で実現し、その他の処理、即ち、原画像に対するノイズ低減処理については、専用回路を用いて実現する。
このように、原画像に比べて画素数が少ない縮小画像を取り扱う第2モードの処理にソフトウェアによる処理を適用し、画素数が多い原画像を取り扱う第1モード及び第3モードの処理については専用回路を用いて処理することにより、処理時間の増大並びに装置の大型化を抑制しつつ、柔軟かつ複雑なノイズ低減処理を実現できるという利点を得ることができる。
Usually, an image processing apparatus often has a processor in charge of processing such as control. If noise reduction processing can be performed by a processor, it can be expected that flexible and complicated processing by program control is possible compared to the case of a dedicated circuit.
By the way, since the number of pixels to be processed is enormous in image processing, there is a problem that a large amount of processing time is required for a normal processor. Therefore, in the image processing apparatus according to the present embodiment, the processing corresponding to the above-described second mode processing for performing noise reduction processing on the reduced image is realized by program control by the processor, and other processing, that is, The noise reduction processing for the original image is realized using a dedicated circuit.
As described above, the processing by the software is applied to the second mode processing for handling the reduced image having a smaller number of pixels than the original image, and the first mode and the third mode processing for handling the original image having a large number of pixels are dedicated. By performing processing using a circuit, it is possible to obtain an advantage that flexible and complicated noise reduction processing can be realized while suppressing an increase in processing time and an increase in size of the apparatus.
以下、本実施形態に係る画像処理装置について図を参照して説明する。
図9は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。図9において、上述した第1の実施形態と共通の構成要素については、同一の符号を付している。
The image processing apparatus according to this embodiment will be described below with reference to the drawings.
FIG. 9 is a block diagram illustrating a schematic configuration of the image processing apparatus according to the present embodiment. In FIG. 9, the same code | symbol is attached | subjected about the same component as 1st Embodiment mentioned above.
〔第1モード〕
第1モードでは、上述した第1の実施形態と同様、入力画像200がフィルタリング部201、211に段階的に入力されることにより縮小画像300が生成され、縮小画像300が接続切替部220を経由してフレームメモリ223に保存される。
[First mode]
In the first mode, as in the first embodiment described above, the reduced
〔第2モード〕
第2モードでは、フレームメモリ223から縮小画像300がプロセッサ250に供給され、プロセッサ250によるノイズ低減処理が行われる。このプロセッサ250によって実現されるノイズ低減処理は、例えば、図3に示したような、2段分相当の多重解像度変換を用いたノイズ低減処理に相当する処理である。これにより、第1の実施形態で得られるノイズ低減済み縮小画像400が作成され、このノイズ低減済み縮小画像400がフレームメモリ224に保存される。
[Second mode]
In the second mode, the reduced
〔第3モード〕
第3モードでは、入力画像200が入力されることにより、フィルタリング部201,211によって縮小画像が段階的に生成され、それぞれの縮小画像が拡大処理部202,212,減算部203,213に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ低減部204,214によってノイズ低減処理が実施された後、対応する合成部209,219に出力される。
また、合成部219には、フレームメモリ224に格納されているノイズ低減済み縮小画像400が入力される。これにより、ノイズ低減済み縮小画像400に対して拡大、合成処理が行われることにより、ノイズ低減部214からの帯域信号との合成画像が作成され、更に、合成部209においても拡大、合成処理が行われることにより、最終的に入力画像200と略同じサイズのノイズ低減済み原画像500が合成部209から出力されることとなる。
[Third mode]
In the third mode, when the
In addition, the noise reduction reduced image 400 stored in the
専用回路の場合、回路内のメモリ量の制約から、画像全体のヒストグラム等、画像全体の情報を使用したノイズ低減方式は実現が困難な場合が多い。これに対し、プロセッサ250による処理の場合、原画像等が格納されているフレームメモリ(図示略)に格納された画像全体の情報に比較的容易にアクセス可能なことから、画像全体の情報を用いてノイズ低減を行うノイズ低減方式も採用することが可能となる。
以上説明したように、本実施形態に係る画像処理装置及び画像処理方法によれば、第1の実施形態や第2の実施形態における第2モードに相当する処理をプロセッサ250によるプログラム処理で実現することで、ハードウェア規模の増加を抑えつつ、高いノイズ低減性能を得ることが可能となるとともに、プログラム制御による柔軟かつ複雑なノイズ低減処理が可能となる。
In the case of a dedicated circuit, it is often difficult to realize a noise reduction method using information of the entire image such as a histogram of the entire image due to the limitation of the memory amount in the circuit. On the other hand, in the case of processing by the
As described above, according to the image processing apparatus and the image processing method according to the present embodiment, the processing corresponding to the second mode in the first embodiment or the second embodiment is realized by the program processing by the
なお、本実施形態において、プロセッサ250により実現されるノイズ低減処理は上述した多重解像度変換を用いたノイズ低減処理に限られることはなく、プロセッサ250によるプログラム処理に適したノイズ低減処理を採用することも可能である。例えば、画像全体のヒストグラム等に基づくノイズ低減処理を採用することとしてもよい。
In the present embodiment, the noise reduction process realized by the
また、プロセッサ250への入力は、フィルタリング部201,211によって得られた縮小画像300に限られることなく、例えば、ノイズ低減以外の画像処理において、入力画像200の縮小画像が作成されており、これがフィルタリング部201,211によって作成される縮小画像300と略同一とみなせる画像であるならば、フレームメモリ223に格納されている縮小画像300に代えて、図10に示すように、他の処理部Aによって得られた縮小画像をプロセッサ250への入力画像として用いることとしてもよい。
The input to the
〔適用例〕
図11は、上述したいずれかの実施形態に係る画像処理装置をデジタルカメラ等の撮像システムに適用したときの全体構成例を示した図である。
図11に示されるように、撮像システムは、被写体を撮影する撮像部900と、撮像部900にて取得された画像を処理する処理装置901とを備えている。撮像部900は、レンズ系910、CCD等の撮像素子911を備えている。処理装置901は、画像処理部912、画像圧縮部913、及び記録メディア914等を備えている。
画像処理部912は、ホワイトバランス処理、エッジ強調処理、色信号処理等の通常の画像処理機能を有するとともに、上述した第1から第3のいずれかの実施形態に係る画像処理装置が備えるノイズ低減機能を備えている。
[Application example]
FIG. 11 is a diagram illustrating an overall configuration example when the image processing apparatus according to any one of the above-described embodiments is applied to an imaging system such as a digital camera.
As illustrated in FIG. 11, the imaging system includes an imaging unit 900 that captures a subject and a
The
このような構成を備える撮像システムにおいて、レンズ系910を通して撮像素子911で撮像された画像は、画像処理部912に転送される。画像処理部912は、入力された画像に対してホワイトバランス処理、エッジ強調処理、色信号処理等の通常の画像処理を施すとともに、上述したいずれかの実施形態に係る多重解像度変換を用いたノイズ低減処理を施す。ノイズ低減処理後の画像は、画像圧縮部913でJPEG形式等に圧縮された後、メモリカード等の記録メディア914に保存される。
In the imaging system having such a configuration, an image captured by the
このような撮像システムによれば、装置コストを抑えつつ、高いノイズ低減性能を実現することができる。 According to such an imaging system, high noise reduction performance can be realized while suppressing the apparatus cost.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
1 画像処理装置
2 帯域信号生成部
3 ノイズ低減処理部
4 画像合成部
201,211,612 フィルタリング部
202,212,622,205,215,625 拡大処理部
203,213,623 減算部
204,214,624 ノイズ低減部
206,216,626 加算部
209,219,629 合成部
220,220´ 接続切替部
222,222´ 第1の選択部
223,224 フレームメモリ
225 第2の選択部
DESCRIPTION OF SYMBOLS 1
Claims (13)
前記第1の周波数帯域に含まれる信号のノイズ量を低減する第1のノイズ低減手段と、
前記画像信号の第2の周波数帯域に含まれ、ノイズ量が低減された信号を記憶する第1の記憶手段と、
前記第1のノイズ低減手段によりノイズ量が低減された前記第1の周波数帯域の信号と入力された信号とを合成する第1の画像合成手段と、
前記第1の画像合成手段に入力される前記信号として、前記第1のフィルタリング手段から出力される信号に基づく信号及び前記第1の記憶手段から出力される前記第2の周波数帯域に含まれる信号のいずれかを選択する第1の選択手段と
を具備することを特徴とする画像処理装置。 A first filtering unit that includes a filtering unit that blocks a signal in a part of a frequency band in the image signal and outputs a signal in another frequency band, and generates a signal included in the first frequency band of the image signal. Band signal generation means,
First noise reduction means for reducing a noise amount of a signal included in the first frequency band;
First storage means for storing a signal included in a second frequency band of the image signal and having a reduced amount of noise;
First image synthesizing means for synthesizing the signal of the first frequency band in which the amount of noise is reduced by the first noise reducing means and the input signal;
As the signal input to the first image synthesizing unit, a signal based on the signal output from the first filtering unit and a signal included in the second frequency band output from the first storage unit An image processing apparatus comprising: a first selecting unit that selects any one of the above.
前記第1の帯域信号生成手段に入力される信号として、前記画像信号及び前記第2の記憶手段に記憶された信号のうちのいずれかを選択する第2の選択手段と
を有することを特徴とする請求項1から請求項3のいずれかに記載の画像処理装置。 Second storage means for storing a signal output from the first filtering means;
And a second selection unit that selects one of the image signal and the signal stored in the second storage unit as a signal input to the first band signal generation unit. The image processing apparatus according to claim 1.
前記第3の周波数帯域に含まれる信号のノイズ量を低減する第2のノイズ低減手段と、
前記第2のノイズ低減手段によりノイズ量が低減された前記第3の周波数帯域に含まれる信号と前記第4の周波数帯域に含まれる信号とを合成する第2の画像合成手段と
を有し、
前記第1の選択手段は、前記第1の画像合成手段に入力される前記信号として、前記第2の画像合成手段から出力された信号及び前記第1の記憶手段から出力される前記第2の周波数帯域に含まれる信号のうちのいずれかを選択することを特徴とする請求項1から請求項5のいずれかに記載の画像処理装置。 Second band signal generating means for generating a signal included in the third frequency band and a signal included in the fourth frequency band from the signal output from the first filtering means;
Second noise reduction means for reducing the amount of noise in the signal included in the third frequency band;
A second image synthesizing unit that synthesizes a signal included in the third frequency band in which the amount of noise is reduced by the second noise reducing unit and a signal included in the fourth frequency band;
The first selection means includes the signal output from the second image composition means and the second output from the first storage means as the signal input to the first image composition means. 6. The image processing apparatus according to claim 1, wherein any one of signals included in the frequency band is selected.
前記第1の周波数帯域に含まれる信号のノイズ量を低減する第1のノイズ低減手段と、
前記画像信号の第2の周波数帯域に含まれるとともに、ノイズ量が低減された信号と前記第1のノイズ低減手段によりノイズ量が低減された前記第1の周波数帯域の信号とを合成する第1の画像合成手段と
を有し、
前記第1の帯域信号生成手段は、前記画像信号中の一部の周波数帯域の信号をフィルタリングにより遮断する第1のフィルタリング手段を有し、
前記第1の画像合成手段に入力される前記第2の周波数帯域に含まれる信号は、前記第1のフィルタリング手段から出力される信号に基づく信号ではないことを特徴とする画像処理装置。 First band signal generation means for generating a signal included in the first frequency band of the image signal;
First noise reduction means for reducing a noise amount of a signal included in the first frequency band;
A first signal that is included in the second frequency band of the image signal and has a reduced amount of noise and a signal in the first frequency band in which the amount of noise is reduced by the first noise reduction unit. And image synthesizing means
The first band signal generation means includes first filtering means for blocking a signal of a part of the frequency band in the image signal by filtering,
The image processing apparatus according to claim 1, wherein the signal included in the second frequency band input to the first image synthesizing unit is not a signal based on the signal output from the first filtering unit.
前記第1の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減手段と、
前記画像信号の第2の周波数帯域に含まれる信号のノイズ量を低減するプロセッサと、
前記ノイズ低減手段によりノイズ量が低減された前記第1の周波数帯域に含まれる信号と前記プロセッサによりノイズ量が低減された前記第2の周波数帯域に含まれる信号とを合成する画像合成手段と
を具備することを特徴とする画像処理装置。 Band signal generation means for generating a signal included in the first frequency band of the image signal;
Noise reduction means for reducing the amount of noise of a signal included in the first frequency band;
A processor for reducing a noise amount of a signal included in a second frequency band of the image signal;
Image synthesizing means for synthesizing the signal included in the first frequency band in which the noise amount is reduced by the noise reducing means and the signal included in the second frequency band in which the noise amount is reduced by the processor; An image processing apparatus comprising:
第2の画像合成手段と
を有し、
前記第1の帯域信号生成手段は、第2のフィルタリング手段を有し、
前記第2のノイズ低減手段は、前記第2のフィルタリング手段を用いて生成された第3の周波数帯域に含まれる信号に対してノイズ低減処理を施し、
前記第2の画像合成手段は、前記第1の画像合成手段から出力された信号と前記第2のノイズ低減手段によりノイズ量が低減された前記第3の周波数帯域に含まれる信号とを合成することを特徴とする請求項1から請求項5及び請求項7及び請求項8のいずれかに記載の画像処理装置。 A second noise reduction means;
Second image composition means,
The first band signal generating means has second filtering means,
The second noise reduction unit performs a noise reduction process on a signal included in the third frequency band generated by using the second filtering unit,
The second image synthesizing unit synthesizes the signal output from the first image synthesizing unit and the signal included in the third frequency band in which the amount of noise is reduced by the second noise reducing unit. The image processing apparatus according to any one of claims 1 to 5, 7, and 8.
前記撮像手段にて取得された画像信号を処理する請求項1から請求項10のいずれかに記載の画像処理装置と
を具備する撮像システム。 Imaging means for photographing a subject;
An imaging system comprising the image processing apparatus according to claim 1, which processes an image signal acquired by the imaging unit.
前記画像信号の第2の周波数帯域に含まれる信号に対し前記ノイズ低減処理手段を用いてノイズ量を低減し、
前記ノイズ量が低減された第1の周波数帯域に含まれる信号と第2の周波数帯域に含まれる信号を合成することを特徴とする画像処理方法。 Reducing the amount of noise using a noise reduction processing means for a signal included in the first frequency band of the image signal;
Reducing the amount of noise using the noise reduction processing means for the signal included in the second frequency band of the image signal;
An image processing method comprising: synthesizing a signal included in a first frequency band in which the amount of noise is reduced and a signal included in a second frequency band.
前記フィルタリング手段からの出力信号を前記フィルタリング手段に再度入力することを特徴とする請求項12に記載の画像処理方法。 The noise reduction processing means has a filtering means for blocking a signal of a part of the frequency band in the image signal by filtering,
The image processing method according to claim 12, wherein an output signal from the filtering unit is input to the filtering unit again.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008180119A JP5203824B2 (en) | 2008-07-10 | 2008-07-10 | Image processing apparatus and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008180119A JP5203824B2 (en) | 2008-07-10 | 2008-07-10 | Image processing apparatus and imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010020523A true JP2010020523A (en) | 2010-01-28 |
JP5203824B2 JP5203824B2 (en) | 2013-06-05 |
Family
ID=41705354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008180119A Expired - Fee Related JP5203824B2 (en) | 2008-07-10 | 2008-07-10 | Image processing apparatus and imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5203824B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011204109A (en) * | 2010-03-26 | 2011-10-13 | Shimadzu Corp | Image processing method and radiographic apparatus using the same |
JP2012114735A (en) * | 2010-11-25 | 2012-06-14 | Nikon Corp | Image processing device, imaging device, and image processing program |
CN103856729A (en) * | 2012-12-04 | 2014-06-11 | 株式会社东芝 | Image processing device |
US9106813B2 (en) | 2013-02-27 | 2015-08-11 | Samsung Electronics Co., Ltd. | Noise suppression devices and image capturing apparatuses having the same |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09212623A (en) * | 1996-01-30 | 1997-08-15 | Fuji Photo Film Co Ltd | Image processing method |
JP2001057677A (en) * | 1999-06-10 | 2001-02-27 | Fuji Photo Film Co Ltd | Image processing method, system and recording medium |
JP2001307066A (en) * | 2000-04-21 | 2001-11-02 | Matsushita Electric Ind Co Ltd | Cell image analyzer and cell image analyzing method |
JP2002247580A (en) * | 2001-02-20 | 2002-08-30 | Sanyo Electric Co Ltd | Image processing method, and image encoding device and image decoding device capable of using the method |
JP2004206725A (en) * | 1996-06-28 | 2004-07-22 | Oki Electric Ind Co Ltd | Method and device for dividing and synthesizing sub-band |
JP2007280202A (en) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | Image processing method and device using wavelet transformation |
-
2008
- 2008-07-10 JP JP2008180119A patent/JP5203824B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09212623A (en) * | 1996-01-30 | 1997-08-15 | Fuji Photo Film Co Ltd | Image processing method |
JP2004206725A (en) * | 1996-06-28 | 2004-07-22 | Oki Electric Ind Co Ltd | Method and device for dividing and synthesizing sub-band |
JP2001057677A (en) * | 1999-06-10 | 2001-02-27 | Fuji Photo Film Co Ltd | Image processing method, system and recording medium |
JP2001307066A (en) * | 2000-04-21 | 2001-11-02 | Matsushita Electric Ind Co Ltd | Cell image analyzer and cell image analyzing method |
JP2002247580A (en) * | 2001-02-20 | 2002-08-30 | Sanyo Electric Co Ltd | Image processing method, and image encoding device and image decoding device capable of using the method |
JP2007280202A (en) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | Image processing method and device using wavelet transformation |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011204109A (en) * | 2010-03-26 | 2011-10-13 | Shimadzu Corp | Image processing method and radiographic apparatus using the same |
JP2012114735A (en) * | 2010-11-25 | 2012-06-14 | Nikon Corp | Image processing device, imaging device, and image processing program |
CN103856729A (en) * | 2012-12-04 | 2014-06-11 | 株式会社东芝 | Image processing device |
JP2014110592A (en) * | 2012-12-04 | 2014-06-12 | Toshiba Corp | Image processing device |
US9106813B2 (en) | 2013-02-27 | 2015-08-11 | Samsung Electronics Co., Ltd. | Noise suppression devices and image capturing apparatuses having the same |
Also Published As
Publication number | Publication date |
---|---|
JP5203824B2 (en) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5451782B2 (en) | Image processing apparatus and image processing method | |
JP4656238B2 (en) | Image processing apparatus and digital camera | |
JP2009194896A (en) | Image processing device and method, and imaging apparatus | |
WO2011111819A1 (en) | Image processing device, image processing program, and method for generating images | |
JPH09284798A (en) | Signal processor | |
JP4991907B2 (en) | Image processing apparatus and method for controlling image processing apparatus | |
JP6087612B2 (en) | Image processing apparatus and image processing method | |
JP2015216644A (en) | Architecture for video processing, fast still picture processing and high quality still picture processing | |
JP5203824B2 (en) | Image processing apparatus and imaging system | |
JPWO2017195267A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2011130112A (en) | Display support device and imaging apparatus | |
JP5249111B2 (en) | Image processing apparatus, method, program, and imaging system | |
JP5092536B2 (en) | Image processing apparatus and program thereof | |
WO2014077245A1 (en) | Noise removal system, noise removal method, and program | |
JP5469537B2 (en) | Viewfinder video generator | |
KR20150090515A (en) | Method and apparatus for image quality enhancement using phase modulation of high frequency element | |
Ambalathankandy et al. | Real-time HDTV to 4K and 8K-UHD conversions using anti-aliasing based super resolution algorithm on FPGA | |
JP5919086B2 (en) | Image processing apparatus, control method therefor, and program | |
Kusano et al. | An FPGA-optimized architecture of anti-aliasing based super resolution for real-time HDTV to 4K-and 8K-UHD conversions | |
JP2011059911A (en) | Image processing apparatus | |
WO2014103230A1 (en) | Signal processing device, signal processing method, and storage medium | |
JP2010251882A (en) | Image capturing apparatus and image reproducing device | |
US20120082400A1 (en) | Image processing apparatus for image reduction processing and control method thereof | |
JP6327869B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
Azgin et al. | A high performance alternating projections image demosaicing hardware |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121210 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5203824 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |