JP2010081463A - Image pickup device - Google Patents

Image pickup device Download PDF

Info

Publication number
JP2010081463A
JP2010081463A JP2008249504A JP2008249504A JP2010081463A JP 2010081463 A JP2010081463 A JP 2010081463A JP 2008249504 A JP2008249504 A JP 2008249504A JP 2008249504 A JP2008249504 A JP 2008249504A JP 2010081463 A JP2010081463 A JP 2010081463A
Authority
JP
Japan
Prior art keywords
signal
processing
output
frequency
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008249504A
Other languages
Japanese (ja)
Inventor
Daisuke Yoshida
大輔 吉田
Yuichi Nonaka
雄一 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008249504A priority Critical patent/JP2010081463A/en
Publication of JP2010081463A publication Critical patent/JP2010081463A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup device for effectively removing the noise of a photographed video. <P>SOLUTION: Orthogonal conversion is performed to an input video signal, and a frequency conversion signal is generated, and the frequency conversion signal is delayed, and a frame or field delay signal is output. Correlativeness between the frequency conversion signal and the frame or field delay signal is searched, and filter processing is performed to the frequency conversion signal, and the processing content of the filter processing is controlled by using the output of the correlativeness generation means. Inversion is performed to the output of the filtering means, and filter processing is performed while adaptively changing a parameter according to the correlativeness between the frequency conversion signal and the frame or field delay signal, and inversion is performed to the processing result, and the processing result is output. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置と情報処理装置を有する映像記録システムに適用可能な撮像装置に関する。   The present invention relates to an imaging apparatus applicable to a video recording system having an imaging apparatus and an information processing apparatus.

特許文献1には「[目的]直交変換を用いたフレーム巡回型のノイズ除去装置において、画質劣化を発生することなく、従来以上のS/N改善効果を得る。[構成]フレーム巡回型のノイズ除去装置において、フレーム差分信号はアダマール変換回路105で複数の空間周波数成分に分解された後、非線形処理回路106で各々非線形処理が施され、アダマール逆変換回路107で合成され元の時間軸上の信号に変換される。また、アダマール変換成分のうち2次元低域成分を用いる動き検出回路108を設け、フレーム差分信号から動き成分を検出する。係数回路109では、動き検出回路108の検出結果で係数を制御し、その係数をアダマール逆変換の出力信号に乗算し、ノイズ成分とする。このノイズ成分を、入力映像信号から減算する。以上の構成で、入力映像信号の特徴に応じたノイズ抽出が行え、画質劣化を生じず高いS/N改善効果を得ることができる。」と記載されている。   Patent Document 1 states that “[Purpose] A frame recursive noise removal apparatus using orthogonal transform achieves a higher S / N improvement effect than before without causing image quality degradation. [Configuration] Frame recursive noise In the removing apparatus, the frame difference signal is decomposed into a plurality of spatial frequency components by the Hadamard transform circuit 105, and then subjected to nonlinear processing by the nonlinear processing circuit 106, synthesized by the Hadamard inverse transform circuit 107, and synthesized on the original time axis. In addition, a motion detection circuit 108 that uses a two-dimensional low-frequency component of the Hadamard transform components is provided to detect a motion component from the frame difference signal, and the coefficient circuit 109 detects the detection result of the motion detection circuit 108. The coefficient is controlled, and the coefficient is multiplied by the output signal of Hadamard inverse transform to obtain a noise component, which is subtracted from the input video signal. That. In the above configuration, can be noise extraction in accordance with the characteristics of the input video signal, it is possible to obtain a high S / N improving effect without causing deterioration of image quality. "Is described as.

特開平8−79571号公報JP-A-8-79571

近年、半導体デバイスの高速化、撮像素子の微細化、ディジタル画像処理技術の発展などによって、ディジタル映像記録システムがより一般的になってきている。これは、例えば民生用のビデオカメラや監視カメラシステムが身近に存在するようになったことからも見て取れる。このような状況において、映像の高品質化に対する要求が高まっている。高品質化にも様々な観点あるが、数々の要因によって映像に混入するノイズをいかにして除去するかがとりわけ重要な課題となっている。   In recent years, digital video recording systems have become more common due to higher speeds of semiconductor devices, miniaturization of image sensors, development of digital image processing techniques, and the like. This can also be seen from the fact that, for example, consumer video cameras and surveillance camera systems have become familiar. Under such circumstances, there is an increasing demand for higher quality video. Although there are various viewpoints for improving the quality, how to remove noise mixed in the video due to a number of factors is a particularly important issue.

映像に混入するノイズは、画像中に位置や強度がランダムに発生するランダムノイズ、画像中に固定的に出現する固定パターンノイズ、散発的に見られるスパイクノイズなどに大別できる。これらのうちのランダムノイズは、視聴者に映像のちらつきやザラザラ感を与える原因となり、画像品質の低下をもたらす大きな要因である。このランダムノイズを除去する方法として、映像の時間方向の相関性を利用したフレーム巡回型ノイズ除去装置が一般的に用いられている。   Noise mixed in video can be broadly divided into random noise whose position and intensity are randomly generated in the image, fixed pattern noise that appears fixedly in the image, and spike noise that appears sporadically. Of these, random noise is a major factor that causes viewers to flicker or feel rough, resulting in a reduction in image quality. As a method for removing this random noise, a frame recursive noise removing apparatus that uses correlation in the time direction of video is generally used.

さらに、このタイプのノイズ除去装置の改良版として、直交変換の一種であるアダマール変換を組み合わせたノイズ除去装置が開示されている。   Further, as an improved version of this type of noise removal apparatus, a noise removal apparatus that combines Hadamard transform, which is a kind of orthogonal transform, is disclosed.

ノイズ除去装置の基本構成のブロック図の一例を図2に示す。ノイズ除去装置は、減算器101および102、フレームメモリ103、ラインメモリ104、アダマール変換回路105、非線形処理106、アダマール逆変換回路107、動き検出回路108、係数回路109を有して構成される。   An example of a block diagram of the basic configuration of the noise removal apparatus is shown in FIG. The noise removing apparatus includes subtracters 101 and 102, a frame memory 103, a line memory 104, a Hadamard transform circuit 105, a nonlinear process 106, an Hadamard inverse transform circuit 107, a motion detection circuit 108, and a coefficient circuit 109.

ノイズ除去装置に入力される映像信号は、まず減算器101において、フレームメモリ103に格納されているフレーム遅延信号との減算が行われ、差分信号が生成される。生成された差分信号は、ラインメモリ104によって複数ライン分のデータが保持され、保持された複数ライン分のデータと差分信号データが並列にアダマール変換回路105に供給される。アダマール変換回路105では、例えば4画素×2ライン分などのある処理単位ごとにアダマール変換処理が施される。この演算で生じた8つの周波数成分信号には、非線形処理106において、それぞれにリミット処理などの非線形処理が施される。処理結果は、アダマール逆変換回路107において逆変換処理が施される。また、8つの周波数成分信号のうちの最低次の信号(直流成分)は動き検出回路108にも供給される。動き検出回路108は、入力された直流成分を元に、周波数変換前の元画像に動きがあるかどうかの判定を行う。判定結果は係数回路109に供給される。係数回路109は、判定結果を元に重み係数を計算し、これを逆変換処理結果に対して乗算して、減算器101に供給する。減算器101は、入力信号から係数回路109の出力を減算して出力信号を生成する。   The video signal input to the noise removing device is first subtracted from the frame delay signal stored in the frame memory 103 in the subtractor 101 to generate a differential signal. The generated difference signal holds data for a plurality of lines by the line memory 104, and the held data for the plurality of lines and the difference signal data are supplied to the Hadamard transform circuit 105 in parallel. In the Hadamard transform circuit 105, Hadamard transform processing is performed for each processing unit such as 4 pixels × 2 lines. The eight frequency component signals generated by this calculation are each subjected to nonlinear processing such as limit processing in the nonlinear processing 106. The processing result is subjected to inverse transformation processing in the Hadamard inverse transformation circuit 107. The lowest order signal (DC component) of the eight frequency component signals is also supplied to the motion detection circuit 108. The motion detection circuit 108 determines whether there is motion in the original image before frequency conversion based on the input DC component. The determination result is supplied to the coefficient circuit 109. The coefficient circuit 109 calculates a weighting coefficient based on the determination result, multiplies the result by the inverse transformation processing result, and supplies the result to the subtracter 101. The subtracter 101 generates an output signal by subtracting the output of the coefficient circuit 109 from the input signal.

このような操作により、非線形処理106におけるノイズ成分の抽出を行い、それを入力信号から減算してノイズ除去が可能であるとしている。また、動き検出回路108による動き検出により、入力信号の中の動きのある部分と静止している部分に対して適した割合でノイズ除去が可能であるとしている。   By such an operation, the noise component is extracted in the non-linear processing 106, and the noise can be removed by subtracting it from the input signal. Further, the motion detection by the motion detection circuit 108 enables noise removal at a ratio suitable for the portion of the input signal that is moving and the portion that is stationary.

前記のフレーム巡回型ノイズ除去装置および特許文献1にて示すような改良型フレーム巡回型ノイズ除去装置においては、前フレームのデータを現在のフレームのデータに加算することにより、ランダムノイズを除去することが可能であるが、特に画像内の動きのある箇所において、二重写しのような残像が残ってしまう。このような弊害を取り除くため、画像内の動きのある箇所と静止している箇所を判別し、動きのある箇所は前フレームのデータを加算する割合(以下、循環係数と称する)を減らして残像の発生を防ぎ、動きのない箇所においては循環係数を増やしてランダムノイズを除去するという制御を行う。その際、特許文献1に示すようにアダマール変換を用いて動きのある箇所と静止している箇所を判別するなどの工夫がなされることにより判別効率を高めることができるが、前記手法を用いてもなお動きのある箇所を高い精度で判別するのは困難であるという点について考慮がなされていなかった。   In the frame cyclic noise removing apparatus and the improved frame cyclic noise removing apparatus as disclosed in Patent Document 1, random noise is removed by adding the data of the previous frame to the data of the current frame. However, an afterimage such as a double copy remains particularly in a place where there is a movement in the image. In order to eliminate such an adverse effect, a moving part and a stationary part in the image are discriminated, and the moving part is reduced in the ratio of adding the data of the previous frame (hereinafter referred to as a circulation coefficient) to reduce the afterimage. Control is performed to prevent random noise by increasing the circulation coefficient in places where there is no movement. At that time, as shown in Patent Document 1, it is possible to improve the discrimination efficiency by devising such as using Hadamard transform to discriminate between a moving part and a stationary part. However, no consideration has been given to the point that it is difficult to discriminate a moving part with high accuracy.

また、特にディジタル画像の撮像系においては、光の三原色(R(赤)、G(緑)、B(青))を分けて処理を行う必要があるが、RGBを別々に処理することにより、本来は存在しないはずの偽色や色ノイズを発生させる可能性がある点についても考慮がなされていなかった。   In particular, in a digital image imaging system, it is necessary to perform processing by dividing the three primary colors of light (R (red), G (green), and B (blue)), but by separately processing RGB, No consideration was given to the possibility of generating false colors or color noise that should not exist.

また、民生のディジタル画像撮像システムでは、ノイズ除去の工程の後に、信号処理によって失われた高周波成分を付加するエッジ強調処理を行うのが一般的であり、そのための回路を別途設ける必要があり、ソフトウェア実装では処理負荷の増大、LSIなどのハードウェア実装では回路規模や消費電力が増大してしまう点についても考慮がなされていなかった。   Further, in a consumer digital image pickup system, it is common to perform edge enhancement processing to add high-frequency components lost by signal processing after the noise removal step, and it is necessary to provide a circuit for this purpose separately. No consideration has been given to an increase in processing load in software mounting and an increase in circuit scale and power consumption in hardware mounting such as LSI.

本発明は、撮影した映像のノイズを効果的に除去可能な撮像装置を提供することを目的とする。   An object of the present invention is to provide an imaging apparatus capable of effectively removing noise of a captured video.

本発明にかかる撮像装置では、撮像システムへの入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、該フィルタリング手段の出力に逆変換を施す逆変換手段を設ける。そして、該周波数変換信号に対して、該フレームあるいはフィールド遅延信号との相関性に応じてパラメータを適応的に変化させながらフィルタ処理を行い、処理結果に逆変換を施して出力する。   In the imaging apparatus according to the present invention, a conversion unit that performs orthogonal transformation on an input video signal to the imaging system to generate a frequency conversion signal, and a delay that delays the frequency conversion signal and outputs a frame or field delay signal A correlation degree generating means for obtaining a correlation between the frequency converted signal and the frame or field delay signal, a filtering means for performing a filtering process on the frequency converted signal, and an output of the correlation degree generating means. Control means for controlling the processing contents of the filter processing and inverse conversion means for performing inverse conversion on the output of the filtering means are provided. Then, the frequency conversion signal is subjected to a filter process while adaptively changing parameters according to the correlation with the frame or field delay signal, and the process result is inversely converted and output.

本発明によれば、撮影した映像のノイズを効果的に除去可能な撮像装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can remove effectively the noise of the image | photographed image | video can be provided.

以下図面を用いて説明を行う。   A description will be given below with reference to the drawings.

本発明の第1の実施例を図1に示す。図1は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系101、撮像素子102、デモザイキング処理部103、周波数変換部104〜106、ノイズ削減処理部107〜109、フレームメモリ110、周波数逆変換部111〜113、輝度信号生成部114、色差信号生成部115、符号化部116、および記録媒体117を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。   A first embodiment of the present invention is shown in FIG. FIG. 1 shows an image pickup apparatus according to the present invention in the form of a video camera. The video camera of the present embodiment includes an optical system 101, an image sensor 102, a demosaicing processing unit 103, frequency conversion units 104 to 106, noise reduction processing units 107 to 109, a frame memory 110, frequency inverse conversion units 111 to 113, and luminance. A signal generation unit 114, a color difference signal generation unit 115, an encoding unit 116, and a recording medium 117 are provided. Hereinafter, the operation of the video camera of this embodiment will be described in order.

図示していない被写体より発せられた光はまず光学系101によって集光される。光学系101に関して詳細は図示されていないが、複数のレンズ、合焦および倍率調整のためにレンズを移動させるモータ、これを制御する制御系等から構成される。   Light emitted from a subject not shown is first condensed by the optical system 101. Although details regarding the optical system 101 are not shown, the optical system 101 includes a plurality of lenses, a motor that moves the lens for focusing and magnification adjustment, a control system that controls the motor, and the like.

光学系101によって集光された光は撮像素子102によって電気信号に変換される。撮像素子102は実際に感光するCCDやCMOS等の撮像部のほか、アナログ電気信号をサンプリングしてディジタル電気信号に変換するAD変換回路、周囲の光量によってゲイン調整を行うAGC回路、撮像素子に駆動のためのタイミング信号を供給するタイミングジェネレータ、およびこれらを制御する制御回路等によって構成される。   The light condensed by the optical system 101 is converted into an electric signal by the image sensor 102. The imaging device 102 is driven by an imaging unit such as a CCD or CMOS that is actually exposed, an AD conversion circuit that samples an analog electrical signal and converts it into a digital electrical signal, an AGC circuit that performs gain adjustment according to the amount of ambient light, and an imaging device For example, a timing generator for supplying timing signals and a control circuit for controlling them.

撮像素子102によってディジタル電気信号に変換された映像信号は、デモザイキング処理部103によって処理され、R成分信号、G成分信号、B成分信号を出力する。例えば、撮像素子102で使用されている撮像部がBayer配列型のイメージセンサである場合、全てのサンプリング位置におけるR成分信号、G成分信号、B成分信号がそろっているわけではない。このような場合、デモザイキング処理部103は、サンプリング位置において不足している成分の信号を周辺画素からの画素補間などの適切な処理により生成して出力する。なお、使用する撮像部の種類によっては、撮像素子102から出力される時点でR成分信号、G成分信号、B成分信号が全てそろっている場合がある。このような場合、デモザイキング処理部103は存在しなくても良いものとする。   The video signal converted into a digital electric signal by the image sensor 102 is processed by the demosaicing processing unit 103 and outputs an R component signal, a G component signal, and a B component signal. For example, when the imaging unit used in the imaging device 102 is a Bayer array type image sensor, the R component signal, the G component signal, and the B component signal are not collected at all sampling positions. In such a case, the demosaicing processing unit 103 generates and outputs a signal of a component that is insufficient at the sampling position by appropriate processing such as pixel interpolation from surrounding pixels. Note that depending on the type of the imaging unit to be used, there are cases where the R component signal, the G component signal, and the B component signal are all available at the time of output from the imaging element 102. In such a case, the demosaicing processing unit 103 does not have to exist.

デモザイキング処理部103から出力された各色成分の信号は、それぞれ別の周波数変換部104〜106に入力され、ある画素単位ごと(例えば4画素×4画素、8画素×8画素など)で周波数変換される。周波数変換は、例えば離散コサイン変換(DCT)やアダマール変換、ウェーブレット変換などである。   The signal of each color component output from the demosaicing processing unit 103 is input to another frequency conversion unit 104 to 106, and frequency conversion is performed for each pixel unit (for example, 4 pixels × 4 pixels, 8 pixels × 8 pixels, etc.). Is done. The frequency transform is, for example, discrete cosine transform (DCT), Hadamard transform, wavelet transform, or the like.

周波数変換された各色成分信号は、各色毎に設けられたノイズ削減処理部107〜109に供給される。このノイズ削減処理部には、すでにフレームメモリ110に格納されている過去のフレームの周波数変換後の色成分信号も供給される構成になっている。ノイズ削減処理部107〜109におけるノイズ削減処理の具体的な内容については、後述する。   The frequency-converted color component signals are supplied to noise reduction processing units 107 to 109 provided for the respective colors. The noise reduction processing unit is also supplied with a color component signal after frequency conversion of a past frame already stored in the frame memory 110. Specific contents of the noise reduction processing in the noise reduction processing units 107 to 109 will be described later.

ノイズ削減処理が施された各色成分信号は、フレームメモリ110に格納され、これと並行して、周波数逆変換部111〜113に供給される。周波数逆変換部113では、周波数変換部104〜106において施される周波数変換処理の逆演算を施し、周波数領域に変換された色成分信号を元の空間領域の信号に復元する。   Each color component signal subjected to the noise reduction processing is stored in the frame memory 110, and is supplied to the frequency inverse transform units 111 to 113 in parallel with this. The frequency inverse transform unit 113 performs an inverse operation of the frequency transform process performed in the frequency transform units 104 to 106 to restore the color component signal converted to the frequency domain to the original spatial domain signal.

空間領域に復元された各色成分信号は、輝度信号生成部114、及び色差信号生成部115に供給される。輝度信号生成部114では、供給された各色成分の信号に対してマトリクス演算等の演算手法を施し、輝度信号を生成する。色差信号生成部115においても同様にして、色差信号が生成される。   Each color component signal restored to the spatial region is supplied to the luminance signal generation unit 114 and the color difference signal generation unit 115. The luminance signal generation unit 114 applies a calculation method such as matrix calculation to the supplied signal of each color component to generate a luminance signal. The color difference signal generation unit 115 similarly generates a color difference signal.

生成された輝度信号及び色差信号は、符号化部115に供給される。符号化部115では、入力された輝度信号及び色差信号に対して、例えばH.264やMPEG−2などの圧縮符号化処理を施す。また、図示されていない音声集音部、音声信号前処理部、音声信号符号化部によって生成される圧縮音声信号と、前記の圧縮符号化処理によって生成された圧縮映像信号のマルチプレクス処理が行われ、圧縮映像音声データとして記録媒体117に記録される。   The generated luminance signal and color difference signal are supplied to the encoding unit 115. In the encoding unit 115, for example, H.264 is applied to the input luminance signal and color difference signal. Compression encoding processing such as H.264 or MPEG-2 is performed. Also, a multiplex process is performed on the compressed audio signal generated by the audio collecting unit, the audio signal preprocessing unit, and the audio signal encoding unit (not shown) and the compressed video signal generated by the compression encoding process. It is recorded on the recording medium 117 as compressed video / audio data.

ノイズ削減処理部107〜109の処理について説明する。一例としてノイズ削減処理部107での処理について詳細に述べるが、内部構成および動作はノイズ削減処理部108、109においても同様であるものとする。   Processing of the noise reduction processing units 107 to 109 will be described. As an example, the processing in the noise reduction processing unit 107 will be described in detail, but the internal configuration and operation are the same in the noise reduction processing units 108 and 109 as well.

ノイズ削減処理部107は、減算器201、エンハンス係数算出部202、コア係数算出部203、コアリング処理群204、エンハンス処理群205、循環係数算出部206、乗算器207、加算器208を有して構成される。   The noise reduction processing unit 107 includes a subtractor 201, an enhancement coefficient calculation unit 202, a core coefficient calculation unit 203, a coring processing group 204, an enhancement processing group 205, a circulation coefficient calculation unit 206, a multiplier 207, and an adder 208. Configured.

周波数変換部104から入力されたR成分信号は、まず減算器201において、フレームメモリに格納され1フレーム遅延されたR成分信号110との減算処理が施される。そして、生成された差分信号は、エンハンス係数算出部202、コア係数算出部203、および循環係数生成部206へ供給され、後述するノイズ除去処理に必要な循環係数、コアリング処理及びエンハンス処理に必要なパラメータの算出を行う。パラメータは、周波数成分ごとに個別に設定可能であるものとする。   The R component signal input from the frequency conversion unit 104 is first subtracted from the R component signal 110 stored in the frame memory and delayed by one frame in the subtractor 201. The generated difference signal is supplied to the enhancement coefficient calculation unit 202, the core coefficient calculation unit 203, and the circulation coefficient generation unit 206, and is necessary for the circulation coefficient, coring processing, and enhancement processing necessary for noise removal processing described later. To calculate various parameters. The parameters can be set individually for each frequency component.

まず循環係数生成部206は、減算処理結果の特に低周波成分の絶対値に応じた循環係数を生成する。生成された循環係数は、乗算器207によって減算処理結果に乗算され、その後周波数変換部104から入力されたR成分信号に加算される。静止画像におけるランダムノイズは、全周波数成分に均等に分布しており、かつフレーム間で相関性がないため、本処理によってランダムノイズの低減が可能である。また、周波数変換を施すことにより、例えば動いている物体のエッジ部分をより敏感に検出することができるため、動いている部分と静止している部分の峻別を従来よりも精度良く行うことができる。   First, the circulation coefficient generation unit 206 generates a circulation coefficient according to the absolute value of the low-frequency component in the subtraction processing result. The generated circulation coefficient is multiplied by the subtraction processing result by the multiplier 207 and then added to the R component signal input from the frequency conversion unit 104. Since random noise in a still image is evenly distributed over all frequency components and there is no correlation between frames, this processing can reduce random noise. In addition, by performing frequency conversion, for example, the edge portion of a moving object can be detected more sensitively, so that the moving portion and the stationary portion can be distinguished more accurately than in the past. .

コアリング処理群204は複数のコアリング処理から構成される。コアリング処理は、各周波数成分毎に個別に行われる。コアリング処理における入力と出力の関係を図6に示す。コアリング処理部においては、たとえば以下の4つのパラメータを元に入力信号から出力信号への写像が行われる。(1)コアリングの正側の影響範囲(図6におけるa点)、(2)コアリングの負側の影響範囲(図6におけるb点)、(3)コアリングの正側の傾き(図6におけるc/a)、(4)コアリングの負側の傾き(図6におけるd/b)の4つである。   The coring process group 204 includes a plurality of coring processes. The coring process is performed individually for each frequency component. FIG. 6 shows the relationship between input and output in the coring process. In the coring processing unit, for example, mapping from an input signal to an output signal is performed based on the following four parameters. (1) Coring positive influence range (point a in FIG. 6), (2) Coring negative influence range (point b in FIG. 6), (3) Coring positive inclination (figure 6) 6 (c / a) in FIG. 6 and (4) inclination on the negative side of the coring (d / b in FIG. 6).

入力画像に対して周波数変換をかけることにより、高周波数成分(ランダムノイズ成分、被写体のエッジ成分)と低周波数成分(被写体のエッジでない部分など)に分離することができる。この周波数変換後の映像信号について、フレーム間の差分を取ることにより、被写体の動きとランダムノイズが効率的に分離可能である。   By applying frequency conversion to the input image, it is possible to separate the input image into a high frequency component (random noise component, subject edge component) and a low frequency component (such as a portion that is not the subject edge). By taking the difference between frames for the frequency-converted video signal, the movement of the subject and the random noise can be separated efficiently.

パラメータの決定方法について説明する。まず、コアリングの影響範囲(a、c)は、ノイズレベルによって決定することができる。ランダムノイズの特性として、あるレベル以内で決まった分布をしていること(一様分布やガウス分布)、レベル自体が比較的低いこと、すべての周波数成分に一様に含まれることが挙げられる。このため、入力画像に含まれるノイズのレベルを調べておき、これに応じてaおよびcを決定する。また、前述の特性により、通常はc=−aとなるように設定される。   A parameter determination method will be described. First, the influence range (a, c) of coring can be determined by the noise level. Random noise characteristics include a certain distribution within a certain level (uniform distribution and Gaussian distribution), a relatively low level itself, and uniform inclusion in all frequency components. For this reason, the level of noise included in the input image is checked, and a and c are determined accordingly. Further, due to the above-described characteristics, it is usually set so that c = −a.

ノイズ除去の程度は、コアリング領域の傾き(c/a、d/b)によって決定される。すなわち、傾きが小さくなる(水平に近くなる)ほど、ノイズ除去の効果は大きくなる。また、本発明では各周波数成分毎に個別にコアリングのパラメータを設定できる構成としているが、ランダムノイズ成分は各周波数成分に均等に出現する性質があるため、すべての周波数成分において同様のコアリング影響範囲設定およびコアリング領域の傾きを設定することが一般的である。   The degree of noise removal is determined by the inclination (c / a, d / b) of the coring region. That is, the smaller the inclination (closer to the horizontal), the greater the noise removal effect. In the present invention, the coring parameters can be set individually for each frequency component. However, since random noise components appear uniformly in each frequency component, the same coring is applied to all frequency components. It is common to set the influence range setting and the inclination of the coring area.

上記のようにコアリング処理を施すことにより、ランダムノイズ成分は抑制しつつ、低周波数成分やレベルの大きい高周波数成分(つまり物体のエッジ成分)はそのまま出力するため、画像にボケなどを生じさせることなく、ランダムノイズの抑制が可能となる。   By applying the coring process as described above, the random noise component is suppressed, and the low frequency component and the high frequency component having a large level (that is, the edge component of the object) are output as they are, so that the image is blurred. Thus, random noise can be suppressed.

コアリング処理群204によってランダムノイズ成分が低減された映像信号は、引き続いてエンハンス処理群205に入力される。エンハンス処理もコアリング処理と同様、周波数成分毎に個別に実施可能な構成になっている。エンハンス処理における入力と出力の関係を図7に示す。エンハンス処理のパラメータはたとえば以下のように決定される。(1)エンハンスの正側の影響範囲(図7におけるe点)、(2)エンハンスの負側の影響範囲(図7におけるf点)、(3)エンハンスの正側の傾き(図7におけるg/e)、(4)コアリングの負側の傾き(図7におけるh/f)の4つである。   The video signal whose random noise component has been reduced by the coring processing group 204 is subsequently input to the enhancement processing group 205. Similar to the coring process, the enhancement process can be performed individually for each frequency component. FIG. 7 shows the relationship between input and output in the enhancement processing. The enhancement process parameters are determined as follows, for example. (1) Influence range on the positive side of enhancement (point e in FIG. 7), (2) Influence range on the negative side of enhancement (point f in FIG. 7), (3) Inclination on the positive side of enhancement (g in FIG. 7) / E), (4) the negative inclination of the coring (h / f in FIG. 7).

これらを周波数成分ごとに算出して設定することにより、従来のフィルタリングでは困難であった、特定の周波数成分を強調して画像の見栄えをよくすることが可能である。一般には、低周波成分はエンハンスの傾きを小さく設定することによって画像の自然さを損なわず、中域成分に対して強めにエンハンス処理をかけることによって視覚的特性が向上する。高周波成分を強調しすぎると画像のざらつきが視覚的に悪影響を与える場合があるので、エンハンス処理は抑え目にするのがよいとされる。   By calculating and setting these for each frequency component, it is possible to enhance the appearance of the image by emphasizing a specific frequency component, which was difficult with conventional filtering. In general, the low-frequency component does not impair the naturalness of the image by setting the enhancement gradient to be small, and the visual characteristics are improved by applying a strong enhancement process to the mid-range component. If the high-frequency components are emphasized too much, the roughness of the image may have a visual adverse effect. Therefore, the enhancement processing should be suppressed.

これまで説明したように、コアリング処理とエンハンス処理を周波数成分毎にそれぞれ区別して行うことにより、きわめて高精度でのランダムノイズ除去が可能となる。   As described so far, by performing the coring process and the enhancement process separately for each frequency component, it is possible to remove random noise with extremely high accuracy.

また、コアリング処理とエンハンス処理の両特性を併せ持った入出力特性として、図8に示したような特性がある。パラメータとしてコアリング処理とエンハンス処理の境界点や各部の傾きをパラメータとして設定することにより、両処理を同時に行うことが可能であり、ソフトウェア処理では処理時間の短縮、ハードウェア処理では回路規模縮小と電力削減を実現することが可能である。   Further, as an input / output characteristic having both characteristics of coring processing and enhancement processing, there is a characteristic as shown in FIG. By setting the boundary point of coring processing and enhancement processing as parameters and the slope of each part as parameters, it is possible to perform both processing simultaneously, reducing processing time in software processing and reducing circuit scale in hardware processing. It is possible to realize power reduction.

本発明の第2の実施例を図3に示す。図3は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系101、撮像素子102、デモザイキング処理部103、周波数変換部104、ノイズ削減処理部107、フレームメモリ110、周波数逆変換部111、輝度信号生成部114、色差信号生成部115、符号化部116、および記録媒体117を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。   A second embodiment of the present invention is shown in FIG. FIG. 3 shows an image pickup apparatus according to the present invention implemented in the form of a video camera. The video camera of this embodiment includes an optical system 101, an image sensor 102, a demosaicing processing unit 103, a frequency conversion unit 104, a noise reduction processing unit 107, a frame memory 110, a frequency inverse conversion unit 111, a luminance signal generation unit 114, a color difference. A signal generation unit 115, an encoding unit 116, and a recording medium 117 are included. Hereinafter, the operation of the video camera of this embodiment will be described in order.

本発明の第2の実施例は前記の第1の実施例とほぼ共通であるため、差分についてのみ説明する。まず、光学系101および撮像素子102にて取り込まれた映像信号は、RGB混色のまま周波数変換部104に入力される。周波数変換部104では、実施例1と同様に周波数変換を施すが、この際、周辺の同色画素の値を使用して周波数変換を施す。たとえばBayer配列の撮像素子を使用した場合、第1ラインはR成分、G成分、R成分、G成分……のように配列され、第2ラインはG成分、B成分、G成分、B成分……のように配列される。第3ラインは第1ラインと同様の配列になっている。したがって、たとえばR成分について周波数変換を施す場合には、中心のR成分画素およびその画素を取り囲むR成分(水平・垂直に隣々接の画素、および3つ離れた画素)を使用して周波数返還を施すものとする。G成分、B成分についても同様である。   Since the second embodiment of the present invention is almost the same as the first embodiment, only the differences will be described. First, the video signal captured by the optical system 101 and the image sensor 102 is input to the frequency conversion unit 104 with RGB color mixture. The frequency conversion unit 104 performs frequency conversion in the same manner as in the first embodiment. At this time, the frequency conversion is performed using the values of surrounding pixels of the same color. For example, when a Bayer array image sensor is used, the first line is arranged as R component, G component, R component, G component,..., And the second line is G component, B component, G component, B component,. It is arranged like…. The third line has the same arrangement as the first line. Therefore, for example, when frequency conversion is performed for the R component, the frequency is returned by using the center R component pixel and the R component surrounding the pixel (horizontal and vertical adjacent pixels and three pixels apart). Shall be applied. The same applies to the G component and the B component.

周波数変換された映像信号は、ノイズ削減処理部107においてノイズ削減処理およびエンハンス処理が施され、周波数逆変換部111において逆変換されて空間領域の信号に復元される。   The frequency-converted video signal is subjected to noise reduction processing and enhancement processing in the noise reduction processing unit 107, and is inversely converted in the frequency inverse conversion unit 111 to be restored to a spatial domain signal.

復元された映像信号は、デモザイキング処理部103でR成分、G成分、B成分に分離され、輝度信号生成部114および色差信号生成部115において輝度信号および色差信号に変換される。その後、符号化部116で圧縮符号化およびマルチプレクスが行われ、記録媒体117にデータとして格納される。   The restored video signal is separated into an R component, a G component, and a B component by the demosaicing processing unit 103, and converted into a luminance signal and a color difference signal by the luminance signal generation unit 114 and the color difference signal generation unit 115. Thereafter, compression encoding and multiplexing are performed by the encoding unit 116 and stored in the recording medium 117 as data.

本発明の形態をとることにより、実施例1と同様のノイズ除去およびエンハンスを実現しながら、周波数変換、ノイズ除去、逆周波数変換の処理量を削減することが可能になる。   By taking the form of the present invention, it is possible to reduce the processing amount of frequency conversion, noise removal, and inverse frequency conversion while realizing noise removal and enhancement similar to those of the first embodiment.

また、本実施例の別の形態を図4に示す。図4は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系101、撮像素子102、デモザイキング処理部103、周波数変換部104および105、ノイズ削減処理部107および108、フレームメモリ110、周波数逆変換部111および112、輝度信号生成部114、色差信号生成部115、符号化部116、および記録媒体117を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。   Another embodiment of the present embodiment is shown in FIG. FIG. 4 shows an image pickup apparatus according to the present invention realized in the form of a video camera. The video camera of this embodiment includes an optical system 101, an image sensor 102, a demosaicing processing unit 103, frequency conversion units 104 and 105, noise reduction processing units 107 and 108, a frame memory 110, frequency inverse conversion units 111 and 112, luminance A signal generation unit 114, a color difference signal generation unit 115, an encoding unit 116, and a recording medium 117 are provided. Hereinafter, the operation of the video camera of this embodiment will be described in order.

ここでも第1の実施例と共通点は多いため、概略説明にとどめ、各部の詳細動作は第1の実施例と同様であるので、割愛する。まず、光学系101および撮像素子102にて取り込まれた映像信号は、デモザイキング処理部103でR成分、G成分、B成分に分離され、輝度信号生成部114および色差信号生成部115において輝度信号および色差信号に変換される。生成された輝度信号および色差信号は、周波数変換部104および105に入力され、周波数変換が施される。その後、ノイズ削減処理部107および108においてノイズ除去処理およびエンハンス処理が施され、周波数逆変換部111および112において復元される。ノイズ除去された輝度信号および色差信号は、符号化部116で圧縮符号化およびマルチプレクスが行われ、記録媒体117にデータとして格納される。   Again, since there are many common points with the first embodiment, only a brief description will be given, and the detailed operation of each part is the same as in the first embodiment, and is omitted. First, a video signal captured by the optical system 101 and the image sensor 102 is separated into an R component, a G component, and a B component by the demosaicing processing unit 103, and the luminance signal is generated by the luminance signal generation unit 114 and the color difference signal generation unit 115. And converted into a color difference signal. The generated luminance signal and color difference signal are input to the frequency conversion units 104 and 105 and subjected to frequency conversion. Thereafter, noise reduction processing and enhancement processing are performed in the noise reduction processing units 107 and 108, and restored in the frequency inverse transformation units 111 and 112. The luminance signal and color difference signal from which noise has been removed are subjected to compression encoding and multiplexing by the encoding unit 116 and stored as data in the recording medium 117.

本発明の形態をとることにより、実施例1と同様のノイズ除去およびエンハンスを実現しながら、RGB個別に処理することによって発生する可能性のある偽色や色ノイズなどの発生を抑制することが可能である。   By taking the form of the present invention, it is possible to suppress the generation of false colors and color noise that may occur by processing individually for RGB while realizing noise removal and enhancement similar to those of the first embodiment. Is possible.

また、上記実施形態の発展として、輝度信号については周波数領域でのノイズ除去を行い、色差信号については従来から用いられているフレーム巡回型のノイズ除去を行うような形態も可能である。本実施形態を図5に示す。本実施形態をとることにより、色差信号側の周波数変換処理部および逆周波数変換処理を削減することが可能であり、処理量・回路規模・消費電力の低減につながる。   Further, as a development of the above-described embodiment, it is possible to adopt a form in which the noise signal is removed in the frequency domain for the luminance signal and the frame cyclic noise removal that has been used conventionally is performed for the color difference signal. This embodiment is shown in FIG. By adopting this embodiment, it is possible to reduce the frequency conversion processing unit and inverse frequency conversion processing on the color difference signal side, which leads to a reduction in processing amount, circuit scale, and power consumption.

以上、本発明の実施形態について説明してきたが、上記第1および第2の発明で示した構成は、上記実施例1および2に限定されるものではなく、発明の範囲で自由に変更することも可能である。   Although the embodiments of the present invention have been described above, the configurations shown in the first and second inventions are not limited to the first and second embodiments, and can be freely changed within the scope of the invention. Is also possible.

以上説明した撮像装置では、撮像システムへの入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、該フィルタリング手段の出力に逆変換を施す逆変換手段を設ける。そして、該周波数変換信号に対して、該フレームあるいはフィールド遅延信号との相関性に応じてパラメータを適応的に変化させながらフィルタ処理を行い、処理結果に逆変換を施して出力する。これにより、動きのある箇所と静止している箇所を高精度に判別することができ、画像特性に応じた循環係数を用いたランダムノイズ除去が可能となる。   In the imaging apparatus described above, the conversion unit that performs orthogonal transformation on the input video signal to the imaging system to generate a frequency conversion signal, and the delay unit that delays the frequency conversion signal and outputs a frame or field delay signal Correlation generation means for obtaining the correlation between the frequency conversion signal and the frame or field delay signal, filtering means for performing a filtering process on the frequency conversion signal, and using the output of the correlation generation means Control means for controlling the processing content of the filter processing and inverse conversion means for performing inverse conversion on the output of the filtering means are provided. Then, the frequency conversion signal is subjected to a filter process while adaptively changing parameters according to the correlation with the frame or field delay signal, and the process result is inversely converted and output. As a result, it is possible to discriminate between a moving part and a stationary part with high accuracy, and it is possible to remove random noise using a circulation coefficient according to image characteristics.

また、信号処理手段を、赤、緑、青の三色の色信号を生成する色信号生成手段とすることにより、偽色や色ノイズを発生させることなくランダムノイズ除去を行うことが可能となる。   Further, by making the signal processing means a color signal generating means for generating three color signals of red, green, and blue, it becomes possible to remove random noise without generating false colors or color noise. .

また、信号処理手段を、輝度信号及び色差信号を生成する手段、もしくは輝度信号のみを生成する手段とすることにより、動きのある箇所は高い精度で判別しつつ処理負荷や回路規模を低減させるという目的が達成される。   In addition, the signal processing means is a means for generating a luminance signal and a color difference signal, or a means for generating only a luminance signal, thereby reducing the processing load and the circuit scale while discriminating a place with movement with high accuracy. The objective is achieved.

また、該相関性を入力としてノイズ除去の強度パラメータを生成する第1のパラメータ生成手段と、該相関性を入力としてエンハンス処理の強度パラメータを生成する第2のパラメータ生成手段と、該ノイズ除去の強度パラメータと該エンハンス処理の強度パラメータと前記フィルタリング手段の出力を入力として、前記フィルタリング手段の出力に非線形処理を加える非線形処理手段を設けることにより、前記非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うことができ、処理負荷や回路規模を大幅に増やすことなくノイズ除去およびエッジ強調処理を行うという目的が達成される。   In addition, a first parameter generation unit that generates a noise removal strength parameter using the correlation as an input, a second parameter generation unit that generates an enhancement processing strength parameter using the correlation as an input, and the noise removal A noise reduction process according to a spatial frequency in the non-linear processing unit is provided by providing a non-linear processing unit that receives the intensity parameter, the intensity parameter of the enhancement process, and the output of the filtering unit as input, and applies a non-linear process to the output of the filtering unit. The enhancement processing can be performed, and the object of performing noise removal and edge enhancement processing without significantly increasing the processing load and circuit scale is achieved.

周波数変換により高周波成分の強調処理とランダムノイズ処理を統合することが可能であり、処理負荷や回路規模削減、電力削減の効果がある。   It is possible to integrate high-frequency component enhancement processing and random noise processing by frequency conversion, which has the effect of reducing processing load, circuit scale, and power.

本発明の第1の実施形態を表す図である。It is a figure showing the 1st Embodiment of this invention. ノイズ削減処理部107の内部構造を表す図である。It is a figure showing the internal structure of the noise reduction process part. 本発明の第2の実施形態を表す図である。It is a figure showing the 2nd Embodiment of this invention. 本発明の第2の別の実施形態を表す図である。It is a figure showing the 2nd another embodiment of this invention. 本発明の第2の別の実施形態を表す図である。It is a figure showing the 2nd another embodiment of this invention. コアリング処理部における入出力特性を表す図である。It is a figure showing the input-output characteristic in a coring process part. エンハンス処理部における入出力特性を表す図である。It is a figure showing the input-output characteristic in an enhancement process part. コアリング処理とエンハンス処理の両方の特性を有する入出力特性の例を表す図である。It is a figure showing the example of the input-output characteristic which has the characteristic of both a coring process and an enhancement process.

符号の説明Explanation of symbols

101 光学系
102 撮像素子
103 デモザイキング処理部
104〜106 周波数変換部
107〜109 ノイズ削減処理部
110 フレームメモリ
110〜113 周波数逆変換部
114 輝度信号生成部
115 色差信号生成部
116 符号化部
117 記録媒体
DESCRIPTION OF SYMBOLS 101 Optical system 102 Image pick-up element 103 Demosaicing process part 104-106 Frequency conversion part 107-109 Noise reduction process part 110 Frame memory 110-113 Frequency reverse conversion part 114 Luminance signal generation part 115 Color difference signal generation part 116 Encoding part 117 Recording Medium

Claims (7)

入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、
該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、
該フィルタリング手段の出力に逆変換を施す逆変換手段と、
を有し、
該周波数変換信号に対して、該フレーム遅延信号との相関性に応じてフィルタ処理を行い、処理結果に逆変換を施して出力することを特徴とする撮像装置。
Conversion means for performing orthogonal transformation on the input video signal to generate a frequency conversion signal;
Delay means for delaying the frequency conversion signal and outputting a frame or field delay signal;
Correlation degree generating means for obtaining a correlation between the frequency converted signal and the frame or field delay signal;
Filtering means for filtering the frequency converted signal;
Control means for controlling the processing content of the filter processing using the output of the correlation degree generation means;
Inverse transformation means for performing inverse transformation on the output of the filtering means;
Have
An imaging apparatus, wherein the frequency conversion signal is subjected to filter processing according to the correlation with the frame delay signal, and the processing result is inversely converted and output.
光を電気信号に変換する撮像素子と、
該撮像素子に集光して結像させる光学系と、
該撮像素子から出力される電気信号を入力とし、信号処理を施して一つもしくは複数の処理結果を出力する信号処理手段と、
を備え、
該信号処理手段は、該信号処理手段の出力に対して直交変換を施して周波数変換信号を生成する変換手段と、該周波数変換信号を遅延してフレームあるいはフィールド遅延信号を出力する遅延手段と、該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、該フィルタリング手段の出力に逆変換を施す逆変換手段と、を有し、
該周波数変換信号に対して、該フレーム遅延信号との相関性に応じてフィルタ処理を行い、処理結果に逆変換を施して出力することを特徴とする撮像装置。
An image sensor that converts light into an electrical signal;
An optical system that focuses and images the image sensor;
An electric signal output from the image sensor, and a signal processing means for performing signal processing and outputting one or a plurality of processing results;
With
The signal processing means performs orthogonal transformation on the output of the signal processing means to generate a frequency converted signal, delay means for delaying the frequency converted signal and outputting a frame or field delay signal, Correlation degree generating means for obtaining the correlation between the frequency converted signal and the frame or field delay signal, filtering means for performing filter processing on the frequency converted signal, and filtering using the output of the correlation degree generating means Control means for controlling the processing content of, and inverse conversion means for performing an inverse transformation on the output of the filtering means,
An imaging apparatus, wherein the frequency conversion signal is subjected to filter processing according to the correlation with the frame delay signal, and the processing result is inversely converted and output.
請求項2に記載の撮像装置において、
前記信号処理手段は、赤、緑、青の三色の色信号を生成する色信号生成手段であることを特徴とする撮像装置。
The imaging device according to claim 2,
The image pickup apparatus, wherein the signal processing means is a color signal generation means for generating three color signals of red, green, and blue.
請求項2に記載の撮像装置において、
前記信号処理手段は、輝度信号及び色差信号を生成する手段であることを特徴とする撮像装置。
The imaging device according to claim 2,
The image pickup apparatus, wherein the signal processing means is means for generating a luminance signal and a color difference signal.
請求項2に記載の撮像装置において、
前記信号処理手段は、赤、緑、青の三色の色信号のいずれかが交互に配置された信号を生成する手段であることを特徴とする撮像装置。
The imaging device according to claim 2,
The image processing apparatus according to claim 1, wherein the signal processing means is means for generating a signal in which any one of three color signals of red, green, and blue is alternately arranged.
光を電気信号に変換する撮像素子と、
該撮像素子に集光して結像させる光学系と、
該撮像素子から出力される電気信号を入力とし、輝度信号および色差信号を生成する信号処理手段と、
該輝度信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、
該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、
該フィルタリング手段の出力に逆変換を施す逆変換手段と、
前記色差信号を遅延し、フレームあるいはフィールド遅延信号を出力する第2の遅延手段と、
該第2の遅延手段の出力に対して第2のフィルタ処理を行う第2のフィルタリング手段と、
該相関度生成手段の出力を用いて該第2のフィルタ処理の処理内容を制御する第2の制御手段と、
を有し、
該周波数変換信号および該色差信号に対して、該フレーム遅延信号との相関性に応じてフィルタ処理を行い、該周波数変換信号の処理結果に逆変換を施して出力することを特徴とする撮像装置。
An image sensor that converts light into an electrical signal;
An optical system that focuses and images the image sensor;
Signal processing means for receiving an electrical signal output from the image sensor and generating a luminance signal and a color difference signal;
Conversion means for performing orthogonal transform on the luminance signal to generate a frequency converted signal;
Delay means for delaying the frequency conversion signal and outputting a frame or field delay signal;
Correlation degree generating means for obtaining a correlation between the frequency converted signal and the frame or field delay signal;
Filtering means for filtering the frequency converted signal;
Control means for controlling the processing content of the filter processing using the output of the correlation degree generation means;
Inverse transformation means for performing inverse transformation on the output of the filtering means;
Second delay means for delaying the color difference signal and outputting a frame or field delay signal;
Second filtering means for performing a second filtering process on the output of the second delay means;
Second control means for controlling the processing content of the second filter processing using the output of the correlation degree generation means;
Have
An image pickup apparatus, wherein the frequency conversion signal and the color difference signal are subjected to filter processing in accordance with the correlation with the frame delay signal, and the result of processing of the frequency conversion signal is inversely converted and output. .
請求項1ないし6のいずれかに記載の撮像装置は、
該相関性を入力としてノイズ除去の強度パラメータを生成する第1のパラメータ生成手段と、
該相関性を入力としてエンハンス処理の強度パラメータを生成する第2のパラメータ生成手段と、
該ノイズ除去の強度パラメータと該エンハンス処理の強度パラメータと前記フィルタリング手段の出力を入力として、前記フィルタリング手段の出力に非線形処理を加える非線形処理手段と、
を備え、該非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うことを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 6,
First parameter generating means for generating a noise removal strength parameter using the correlation as an input;
Second parameter generation means for generating an intensity parameter for enhancement processing using the correlation as an input;
A non-linear processing means for receiving the noise removal strength parameter, the enhancement processing strength parameter and the output of the filtering means, and applying a non-linear processing to the output of the filtering means;
And a non-linear processing means for performing noise reduction processing and enhancement processing according to a spatial frequency.
JP2008249504A 2008-09-29 2008-09-29 Image pickup device Pending JP2010081463A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008249504A JP2010081463A (en) 2008-09-29 2008-09-29 Image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008249504A JP2010081463A (en) 2008-09-29 2008-09-29 Image pickup device

Publications (1)

Publication Number Publication Date
JP2010081463A true JP2010081463A (en) 2010-04-08

Family

ID=42211356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008249504A Pending JP2010081463A (en) 2008-09-29 2008-09-29 Image pickup device

Country Status (1)

Country Link
JP (1) JP2010081463A (en)

Similar Documents

Publication Publication Date Title
US8890983B2 (en) Tone mapping for low-light video frame enhancement
JP4211838B2 (en) Imaging apparatus and image processing method
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US8773593B2 (en) Noise reduction filter circuitry and method
US20150334283A1 (en) Tone Mapping For Low-Light Video Frame Enhancement
US20130342736A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2006309524A (en) Image processor, image processing method, electronic camera, and scanner
US8736718B2 (en) Noise elimination method of image sequence
JP5468930B2 (en) Image processing apparatus and image processing program
JP4861636B2 (en) Image processing apparatus and image processing program
KR20210018136A (en) Method and apparatus for image processing
JP2008060814A (en) Imaging apparatus
JP5227906B2 (en) Video recording system
US6677994B1 (en) Image processing apparatus method of the same and camera apparatus
CN101778297B (en) Interference elimination method of image sequence
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
JP2008252767A (en) Noise reducer, noise reducing method and electronic apparatus
JP2012134745A (en) Image signal processing device
JP2012095341A (en) Imaging apparatus
JP2010147840A (en) Image processing device and imaging apparatus
JP6235604B2 (en) Noise removal circuit for video signal and noise removal method for video signal
JP2010081463A (en) Image pickup device
JP2002064835A (en) Image signal processing apparatus, image signal processing method, learning device, learning method and recording medium
JP2007274064A (en) Noise reducer
JP2006245916A (en) Circuit and method for processing color separation