JP2007228104A - Image processing apparatus and imaging apparatus - Google Patents

Image processing apparatus and imaging apparatus Download PDF

Info

Publication number
JP2007228104A
JP2007228104A JP2006044606A JP2006044606A JP2007228104A JP 2007228104 A JP2007228104 A JP 2007228104A JP 2006044606 A JP2006044606 A JP 2006044606A JP 2006044606 A JP2006044606 A JP 2006044606A JP 2007228104 A JP2007228104 A JP 2007228104A
Authority
JP
Japan
Prior art keywords
noise reduction
processing
unit
image
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006044606A
Other languages
Japanese (ja)
Other versions
JP4816129B2 (en
Inventor
Shohei Sakamoto
昇平 坂本
Original Assignee
Casio Comput Co Ltd
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Comput Co Ltd, カシオ計算機株式会社 filed Critical Casio Comput Co Ltd
Priority to JP2006044606A priority Critical patent/JP4816129B2/en
Publication of JP2007228104A publication Critical patent/JP2007228104A/en
Application granted granted Critical
Publication of JP4816129B2 publication Critical patent/JP4816129B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus and an imaging apparatus capable of improving the low frequency noise reduction performance without causing a cost increase in hardware, an increase in the power consumption, or an increase in the processing time. <P>SOLUTION: A changeover switch 38 includes: a moving contact 38a; a first fixed contact 38b that forms a path of feeding back Bayer data from a noise reduction section 32 to the noise reduction section 32 via a RAM when the moving contact 38a is in contact with the first fixed contact 38b; and a second fixed contact 38c that forms a path of transmitting the Bayer data from the noise reduction section 32 to a pixel interpolation section 33 of a post-stage when the moving contact 38a is in contact with the second fixed contact 38c. Then the moving contact 38a is in contact with the first fixed contact 38b to allow the noise reduction section 32 to process the Bayer data N times and thereafter the moving contact 38a is in contact with the second fixed contact 38c to transmit the Bayer data to the pixel interpolation section 33 of the post-stage. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像素子から出力された画像信号を処理する画像処理装置及び撮像装置に関する。   The present invention relates to an image processing apparatus and an imaging apparatus that process an image signal output from an imaging element.
従来、デジタルカメラ等においては、図6(A)に示す画像処理部31が設けられている(例えば、特許文献1参照。)。この画像処理部31は、ノイズ低減部32と、このノイズ低減部32の後段に順次設けられた、色補間部33、ホワイトバランス調整部34、ガンマ補正部(ガンマLUT)35、色変換部36、エッジ強調部37の各部で構成されている。前記画像処理部31には、DMA(direct memory access)コントローラによりRAM上のベイヤーデータが読み出されてに入力される。そして、画像処理部31において、ノイズ低減処理から輪郭強調処理までの一連の処理がなされ、処理結果としてのYUVデータがDMAコントローラによりDRAMに書き出される。   Conventionally, in a digital camera or the like, an image processing unit 31 shown in FIG. 6A is provided (see, for example, Patent Document 1). The image processing unit 31 includes a noise reduction unit 32, a color interpolation unit 33, a white balance adjustment unit 34, a gamma correction unit (gamma LUT) 35, and a color conversion unit 36 which are sequentially provided in a subsequent stage of the noise reduction unit 32. The edge emphasis unit 37 is composed of each unit. Bayer data on the RAM is read and input to the image processing unit 31 by a DMA (direct memory access) controller. Then, the image processing unit 31 performs a series of processing from noise reduction processing to contour enhancement processing, and YUV data as a processing result is written to the DRAM by the DMA controller.
画像処理部31の処理は、DRAMを介することなく行われ、また、1画素/1のスループットにより処理される。この処理に際して、例えばノイズ低減部32が5×5ピクセルのベイヤーデータにフィルタをかけて1ピクセルを出力するものである場合、DMAコントローラにより水平走査で読み出されたベイヤーデータは、ノイズ低減部32の直前に配置された4本の、1水平ライン長のラインバッファ(図示せず)に順次入力される。そして、このラインバッファに貯められた4ライン分のベイヤーデータと現在ラインの入力データの垂直5ピクセル分のベイヤーデータをノイズ低減演算ロジックへ入力する。同様に、2次元フィルタからなる色補間部33とエッジ強調部37においてもリングピクセル数分のラインバッファを前段に配置する。
特開2004−363853号公報
The processing of the image processing unit 31 is performed without going through the DRAM, and is processed with a throughput of 1 pixel / 1. In this process, for example, when the noise reduction unit 32 outputs 1 pixel by filtering the Bayer data of 5 × 5 pixels, the Bayer data read out by the DMA controller by horizontal scanning is the noise reduction unit 32. Are sequentially input to four line buffers (not shown) having a single horizontal line length arranged immediately before. Then, the Bayer data for 4 lines stored in the line buffer and the Bayer data for 5 pixels perpendicular to the input data of the current line are input to the noise reduction arithmetic logic. Similarly, in the color interpolation unit 33 and the edge emphasizing unit 37 formed of a two-dimensional filter, line buffers corresponding to the number of ring pixels are arranged in the previous stage.
JP 2004-363853 A
ところで、このような画像処理装置においては、図6(B)に示すように、複数のノイズ低減部32を直列に設けて多段構成(図示では二段)にすることにより、低周波ノイズの低減性能を改善することができる。しかし、ノイズ低減部32を多段にすると、その分前記ラインバッファの数を増加させる必要があり、ハードウェアのコストが増大していまう。   By the way, in such an image processing apparatus, as shown in FIG. 6B, a plurality of noise reduction units 32 are provided in series to form a multistage configuration (two stages in the drawing), thereby reducing low frequency noise. The performance can be improved. However, if the noise reduction unit 32 is multi-staged, it is necessary to increase the number of the line buffers correspondingly, and the cost of hardware increases.
これを回避する方法として、図6(C)に示すように、ノイズ低減部32とその後段部分とを分離し、ノイズ低減部32で複数回処理した後、この複数回処理したベイヤーデータを後段の色補間部33側に入力して、残りの画像処理を行うことが考えられる。しかし、この方法では、ノイズ低減部32によるノイズ低減処理を複数回行わずに1回行えば充分である場合であっても、ベイヤーデータを一旦DRAMに書き出さなくてはならない。このため、DRAMへの書き出しに起因して消費電力が増加し、あるいは処理時間が増大するという不利が生じてしまう。   As a method of avoiding this, as shown in FIG. 6C, the noise reduction unit 32 and the subsequent stage part are separated and processed by the noise reduction unit 32 a plurality of times, and then the Bayer data processed a plurality of times is processed in the subsequent stage. It is conceivable to perform the remaining image processing by inputting to the color interpolation unit 33 side. However, in this method, Bayer data must be once written in the DRAM even if it is sufficient to perform the noise reduction processing by the noise reduction unit 32 once instead of multiple times. For this reason, there is a disadvantage that power consumption increases due to writing to the DRAM or processing time increases.
本発明は、かかる従来の課題に鑑みてなされたものであり、ハードウェアのコスト増大や消費電力の増加あるいは処理時間の増大を伴うことなく、低周波ノイズの低減性能を改善することのできる画像処理装置及び撮像装置を提供することを目的とする。   The present invention has been made in view of such conventional problems, and can improve the low-frequency noise reduction performance without increasing hardware costs, increasing power consumption, or increasing processing time. An object is to provide a processing device and an imaging device.
前記課題を解決するために請求項1記載の発明に係る画像処理装置は、撮像素子から出力された画像信号を処理する画像処理装置であって、前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第1の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第2の経路と、これら第1の経路と第2の経路とを選択的に切り替える切替手段とを備える。   In order to solve the above problem, an image processing apparatus according to claim 1 is an image processing apparatus for processing an image signal output from an image sensor, and the image signal output from the image sensor Noise reduction processing means for performing noise reduction processing, a first path for returning an image signal noise-reduced by the noise reduction processing means to the noise reduction processing means, and a signal at a subsequent stage for the noise-reduced image signal A second route to be sent to the processing unit; and a switching unit that selectively switches between the first route and the second route.
したがって、切替手段により第1の経路に切り替えた状態においては、撮像素子から出力された画像信号はノイズ低減処理手段により処理されてノイズ低減処理された後、帰還されてノイズ低減処理手段によって繰り返しノイズ低減処理される。よって、ノイズ低減処理手段を多段に設ける必要がなく、ノイズ低減処理手段を多段に設けることに起因するハードウェアのコスト増大を招くことはない。また、繰り返しノイズ低減処理手段によってノイズ低減処理されることにより、低周波ノイズの低減性能が改善されることから、ハードウェアのコスト増大を伴うことなく、ノイズ低減性能を改善することができる。   Therefore, in a state in which the switching unit switches to the first path, the image signal output from the image sensor is processed by the noise reduction processing unit and subjected to noise reduction processing, and then fed back and repeated noise by the noise reduction processing unit. Reduced. Therefore, there is no need to provide the noise reduction processing means in multiple stages, and there is no increase in hardware cost due to the provision of the noise reduction processing means in multiple stages. Further, since the noise reduction processing is repeatedly performed by the noise reduction processing means, the low frequency noise reduction performance is improved, and therefore the noise reduction performance can be improved without increasing the hardware cost.
また、切替手段により第2の経路に切り替えられると、ノイズ低減処理手段によりノイズ低減処理された画像信号は、後段の信号処理手段に送出される。したがって、ノイズ低減処理手段を分離して設けた場合のように、後段の信号処理手段に送出する際に、ノイズ低減処理手段により処理された画像データを一旦RAMに記憶させるシーケンスは必要ない。よって、このシーケンスに起因する消費電力の増加や、処理時間の増大を未然に防止することができる。   Further, when the switching unit switches to the second path, the image signal subjected to the noise reduction processing by the noise reduction processing unit is sent to the subsequent signal processing unit. Therefore, unlike the case where the noise reduction processing means is provided separately, there is no need for a sequence for temporarily storing the image data processed by the noise reduction processing means in the RAM when the noise reduction processing means is sent to the subsequent signal processing means. Therefore, it is possible to prevent an increase in power consumption and an increase in processing time due to this sequence.
また、請求項2記載の発明に係る画像処理装置は、前記切替手段は、前記ノイズ低減された画像信号が所定回数前記ノイズ低減処理手段に戻されるまで前記第1の経路を維持し、前記所定回数戻されたならば、前記第2の経路に切り替える。したがって、画像信号はノイズ低減処理手段により所定回数ノイズ低減処理された時点で、後段の信号処理手段に送出される。   In the image processing apparatus according to the second aspect of the present invention, the switching unit maintains the first path until the noise-reduced image signal is returned to the noise reduction processing unit a predetermined number of times, and the predetermined unit If the number of times is returned, the second route is switched. Therefore, the image signal is sent to the subsequent signal processing means when the noise reduction processing means performs the noise reduction processing a predetermined number of times.
また、請求項3記載の発明に係る画像処理装置は、前記ノイズ低減処理手段を複数種備え、この複数種のノイズ低減処理手段からいずれかを選択する選択手段を更に備え、前記第1の経路は、前記選択手段により選択されたノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる経路である。したがって、複数種のノイズ低減処理手段からいずれかを選択して、この選択したノイズ低減処理手段により複数回のノイズ低減処理を行うことができ、より柔軟で効果的なノイズ低減が可能となる。   An image processing apparatus according to a third aspect of the present invention includes a plurality of types of the noise reduction processing unit, further includes a selection unit that selects one of the plurality of types of noise reduction processing units, and the first path. Is a path for feeding back the image signal whose noise has been reduced by the noise reduction processing means selected by the selection means to the noise reduction processing means. Accordingly, any one of a plurality of types of noise reduction processing means can be selected, and the noise reduction processing can be performed a plurality of times by the selected noise reduction processing means, thereby enabling more flexible and effective noise reduction.
また、請求項4記載の発明は、被写体を撮像して画像信号を出力する撮像素子と、この撮像素子から出力された画像信号を処理する画像処理手段とを備える撮像装置であって、前記画像処理手段は、前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第1の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第2の経路と、これら第1の経路と第2の経路とを選択的に切り替える切替手段とを備える。したがって、請求項4に係る発明によれば、撮像装置において前記請求項1記載の発明と同様の作用効果を奏する。   According to a fourth aspect of the present invention, there is provided an imaging apparatus comprising: an imaging device that captures an image of a subject and outputs an image signal; and an image processing unit that processes the image signal output from the imaging device. The processing means performs noise reduction processing on the image signal output from the image sensor, and first returns the image signal noise-reduced by the noise reduction processing means to the noise reduction processing means. 1 path, a second path for sending the noise-reduced image signal to the signal processing means in the subsequent stage, and switching means for selectively switching between the first path and the second path. Therefore, according to the fourth aspect of the present invention, the same effect as the first aspect of the invention can be achieved in the imaging apparatus.
以上説明したように本発明によれば、ノイズ低減処理手段を多段に設けることなく、繰り返しノイズ低減処理手段によってノイズ低減処理させることができる。よって、ノイズ低減処理手段を多段に設けることに起因するハードウェアのコスト増大を伴わずに、ノイズ低減性能を改善することができる。   As described above, according to the present invention, the noise reduction processing can be repeatedly performed by the noise reduction processing means without providing the noise reduction processing means in multiple stages. Therefore, it is possible to improve the noise reduction performance without increasing the hardware cost caused by providing the noise reduction processing means in multiple stages.
また、切替手段により第2の経路に切り替えられると、ノイズ低減処理手段によりノイズ低減処理された画像信号は、後段の信号処理手段に送出される。したがって、ノイズ低減処理手段を分離して設けた場合のように、後段の信号処理手段に送出する際に、ノイズ低減処理手段により処理された画像データを一旦RAMに記憶させるシーケンスは必要ない。よって、このシーケンスに起因する消費電力の増加や、処理時間の増大を未然に防止することができる。   Further, when the switching unit switches to the second path, the image signal subjected to the noise reduction processing by the noise reduction processing unit is sent to the subsequent signal processing unit. Therefore, unlike the case where the noise reduction processing means is provided separately, there is no need for a sequence for temporarily storing the image data processed by the noise reduction processing means in the RAM when the noise reduction processing means is sent to the subsequent signal processing means. Therefore, it is possible to prevent an increase in power consumption and an increase in processing time due to this sequence.
以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明に係るデジタルカメラ1の概略構成を示すブロック図である。
このデジタルカメラ1は、撮像素子であるCCD2により被写体を撮像し、撮像により取得した被写体画像をLCD(液晶表示装置)4に表示させるとともに、撮影操作に応じて、撮像した被写体画像を画像データに変換し画像メモリ5に記録する構成である。なお、画像メモリ5は、カメラ本体に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリである。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a digital camera 1 according to the present invention.
The digital camera 1 captures a subject with a CCD 2 that is an image sensor, displays a subject image acquired by the imaging on an LCD (liquid crystal display device) 4, and converts the captured subject image into image data according to a photographing operation. In this configuration, the image data is converted and recorded in the image memory 5. The image memory 5 is a non-volatile memory such as a flash memory that is built in or detachable from the camera body.
CCD2は、感光部にベイヤー配列の原色フィルターが設けられたものであり、CCD2から出力されたアナログの撮像信号は、画像処理部3においてデジタルの画像信号(ベイヤーデータ)に変換されるとともに、各種の信号処理を施されて、最終的には輝度信号(Y信号)と色差信号(Cb信号、Cr信号)を含んだYUVデータ、すなわちデジタルの画像信号として出力される。   The CCD 2 is provided with a Bayer array primary color filter in the photosensitive part, and an analog image pickup signal output from the CCD 2 is converted into a digital image signal (Bayer data) in the image processing part 3. Is finally output as YUV data including a luminance signal (Y signal) and a color difference signal (Cb signal, Cr signal), that is, a digital image signal.
画像処理部3から出力された画像信号は、撮影待機状態にあるときLCD4に送られて被写体画像として表示される。また、撮影操作時には、CPU6によりJPEG等の所定フォーマットに従い圧縮され画像メモリ5に記録される。画像メモリ5に記録された圧縮後の画像データは、必要に応じCPU6により読み出され、一旦伸張された後LCD4において静止画像、或いは動画像として再生表示される。   The image signal output from the image processing unit 3 is sent to the LCD 4 and displayed as a subject image when in the shooting standby state. At the time of shooting operation, the CPU 6 compresses the image according to a predetermined format such as JPEG and records it in the image memory 5. The compressed image data recorded in the image memory 5 is read by the CPU 6 as necessary, and once decompressed, it is reproduced and displayed on the LCD 4 as a still image or a moving image.
また、デジタルカメラ1は、CPU6が前記画像データの圧縮・伸張、及び装置全体の制御に必要とする各種の制御プログラムが記録されたROM7と、CPU6の作業用メモリでありまた前記ベイヤーデータを一次記憶するRAM8、キー入力部9、及びDMAコントローラ10を有している。キー入力部9は、シャッターキーや、動作モードの切り替えに使用されるモード切替キー等からなり、キー操作に応じた操作信号をCPU6へ出力する。DMAコントローラ10は、前記RAM8上のベイヤーデータを読み出して画像処理部3にDMA転送する。   The digital camera 1 includes a ROM 7 in which various control programs necessary for the CPU 6 to compress and expand the image data and control the entire apparatus, a working memory for the CPU 6, and the Bayer data as primary data. It has a RAM 8 for storing, a key input unit 9, and a DMA controller 10. The key input unit 9 includes a shutter key and a mode switching key used for switching the operation mode, and outputs an operation signal corresponding to the key operation to the CPU 6. The DMA controller 10 reads the Bayer data on the RAM 8 and DMA-transfers it to the image processing unit 3.
図2は、前述した画像処理部3の詳細を示すブロック図である。画像処理部3は、CCD2から入力したアナログの撮像信号が入力するアナログ処理部(図示せず)と、ノイズ低減部32、画素補間部33、色調整部34、ガンマ補正部35、YUV変換部36、輪郭強調部37及び切替スイッチ38の各部から構成されている。   FIG. 2 is a block diagram showing details of the image processing unit 3 described above. The image processing unit 3 includes an analog processing unit (not shown) to which an analog imaging signal input from the CCD 2 is input, a noise reduction unit 32, a pixel interpolation unit 33, a color adjustment unit 34, a gamma correction unit 35, and a YUV conversion unit. 36, an outline emphasis unit 37, and a changeover switch 38.
アナログ処理部は、CCD2から出力された撮像信号に含まれるCCD2の駆動ノイズを減少させる相関二重サンプリング回路(CDS回路)と、ノイズ低減後における信号のゲインを調整する自動利得制御回路(AGC回路)、ゲイン調整後の信号をデジタル信号に変換するA/D変換器を含み、CCD2から入力したアナログの撮像信号をデジタルの画像信号(ベイヤーデータ)に変換する。このベイヤーデータは、DMAコントローラ10によりDMA転送されて一旦RAM8に書き込まれる。   The analog processing unit includes a correlated double sampling circuit (CDS circuit) that reduces drive noise of the CCD 2 included in the imaging signal output from the CCD 2, and an automatic gain control circuit (AGC circuit) that adjusts the gain of the signal after noise reduction. ), Including an A / D converter that converts the gain-adjusted signal into a digital signal, and converts an analog imaging signal input from the CCD 2 into a digital image signal (Bayer data). The Bayer data is DMA-transferred by the DMA controller 10 and temporarily written in the RAM 8.
ノイズ低減部32には、RAM8から読み出されたベイヤーデータが転送される。ノイズ低減部32は、所謂ローパスフィルタであって、図示しないが、4ライン分のラインメモリ、5ピクセル分の遅延素子と、各遅延素子からの出力に対して減算器、絶対値算出回路、リミッタ等が接続された構成である。そして、所定の処理アルゴリズムに従ったノイズ低減処理を行うことにより、アナログ処理部31から入力したベイヤーデータにおけるノイズを低減させる。   The Bayer data read from the RAM 8 is transferred to the noise reduction unit 32. The noise reduction unit 32 is a so-called low-pass filter, which is not shown, but includes a line memory for 4 lines, a delay element for 5 pixels, an output from each delay element, a subtractor, an absolute value calculation circuit, and a limiter. Etc. are connected. Then, noise in the Bayer data input from the analog processing unit 31 is reduced by performing noise reduction processing according to a predetermined processing algorithm.
画素補間部33は、前記ノイズが低減されたベイヤーデータからR,G,Bの色成分について色補間を行って全画素分のRGBデータを生成する。色調整部34は、画像を構成する全画素の色情報に基づきR,G,Bの色成分毎のゲイン調整を行うことによってホワイトバランスを調整する。ガンマ補正部35は画像信号に対するガンマ特性(階調特性)の補正を行う。   The pixel interpolation unit 33 performs color interpolation on the R, G, and B color components from the Bayer data with reduced noise, and generates RGB data for all pixels. The color adjustment unit 34 adjusts the white balance by performing gain adjustment for each of R, G, and B color components based on the color information of all the pixels constituting the image. The gamma correction unit 35 corrects gamma characteristics (gradation characteristics) for the image signal.
YUV変換部36は、R,G,Bの色成分データから輝度信号(Y信号)と色差信号(Cb信号、Cr信号)を含んだYUVデータを生成する。輪郭強調部37は、ハイパスフィルタ或いはマスクフィルタによりYUVデータにおけるY信号の振幅を調整することによりエッジ強調を行い、かつエッジ強調により生じたノイズをコアリング処理等により除去し、処理後の画像信号をCPU6やLCD4へ出力する。   The YUV conversion unit 36 generates YUV data including a luminance signal (Y signal) and a color difference signal (Cb signal, Cr signal) from the R, G, B color component data. The contour emphasizing unit 37 performs edge emphasis by adjusting the amplitude of the Y signal in the YUV data using a high-pass filter or a mask filter, and removes noise generated by the edge emphasis by a coring process or the like. Is output to the CPU 6 and the LCD 4.
切替スイッチ38は、可動接点38aと、この可動接点38aが選択的に接触する第1固定接点38b及び第2固定接点38cを有している。そして、可動接点38aが第1固定接点38bに接触することにより、ノイズ低減部32からのベイヤーデータがRAM8を介して当該ノイズ低減部32に帰還する第1の経路が形成される。また、可動接点38aが第2固定接点38cに接触することにより、ノイズ低減部32からのベイヤーデータが後段の画素補間部33に送出される第2の経路される。なお、可動接点38aの接触位置はCPU6により制御されるように構成されている。   The changeover switch 38 has a movable contact 38a, and a first fixed contact 38b and a second fixed contact 38c with which the movable contact 38a selectively contacts. Then, when the movable contact 38a comes into contact with the first fixed contact 38b, a first path through which Bayer data from the noise reduction unit 32 returns to the noise reduction unit 32 via the RAM 8 is formed. Further, when the movable contact 38a comes into contact with the second fixed contact 38c, the Bayer data from the noise reduction unit 32 is sent to the second pixel interpolation unit 33 through a second route. The contact position of the movable contact 38a is configured to be controlled by the CPU 6.
以上の構成に係る本実施の形態において、CPU6は、ROMに格納されているプログラムに基づき、図3に示すフローチャートに従って切替スイッチ38を制御する。前述したノイズ低減部32の処理回数をカウントするカウンタCをリセットする(ステップS101)。引き続き、予め設定されたノイズ低減部32の処理回数Nが1回(帰還回数0回)、つまりN=1であるか否かを判断する(ステップS102)。N=1であって、予め設定されたノイズ低減部32の処理回数Nが1回である場合には、ステップS107に進み、可動接点38aを第2固定接点38cに接触させる。したがって、予め設定されたノイズ低減部32の処理回数Nが1回である場合には、ノイズ低減部32で処理されたベイヤーデータは、切替スイッチ38を介してそのまま画素補間部33に送出される。   In the present embodiment having the above configuration, the CPU 6 controls the changeover switch 38 in accordance with the flowchart shown in FIG. 3 based on the program stored in the ROM. The counter C that counts the number of processings of the noise reduction unit 32 described above is reset (step S101). Subsequently, it is determined whether or not the preset processing frequency N of the noise reduction unit 32 is 1 (0 feedback times), that is, N = 1 (step S102). If N = 1 and the preset number of times N of processing by the noise reduction unit 32 is 1, the process proceeds to step S107, and the movable contact 38a is brought into contact with the second fixed contact 38c. Therefore, when the preset number N of processes of the noise reduction unit 32 is 1, the Bayer data processed by the noise reduction unit 32 is sent to the pixel interpolation unit 33 as it is via the changeover switch 38. .
しかし、N≠1である場合、予め設定されたノイズ低減部32の処理回数Nが2回以上(帰還回数1回以上)である場合には、可動接点38aを第1固定接点38bに接触させる(ステップS103)。次に、前述したノイズ低減部32による1回のノイズ低減処理が終了したか否かを判断し(ステップS104)、終了したならばカウンタCをインクリメントする(ステップS105)。次に、このインクリメントしたカウンタCの値が所定値Nとなったか否かを判断し(ステップS106)、C=Nとなるまで、ステップS104からの処理を繰り返す。そして、C=Nとなったならば、可動接点38aを第2固定接点38cに接触させる(ステップS106)。   However, when N ≠ 1, when the preset processing number N of the noise reduction unit 32 is two times or more (the number of feedback times is one or more), the movable contact 38a is brought into contact with the first fixed contact 38b. (Step S103). Next, it is determined whether or not one noise reduction process by the noise reduction unit 32 described above is completed (step S104), and if completed, the counter C is incremented (step S105). Next, it is determined whether or not the value of the incremented counter C has reached a predetermined value N (step S106), and the processing from step S104 is repeated until C = N. When C = N, the movable contact 38a is brought into contact with the second fixed contact 38c (step S106).
したがって、C=Nとなるまでは、ノイズ低減部32で処理されたベイヤーデータは、DMAコントローラ10により、切替スイッチ38を介してRAM8に転送されて書き込まれた後、読み出されて再度ノイズ低減部32でノイズ低減処理される。そして、ノイズ低減部32によりN回のノイズ低減処理がなされると、可動接点38aが第2固定接点38cに切り替えられることにより、ノイズ低減部32からのベイヤーデータは、切替スイッチ38を介して画素補間部33に送出される。   Therefore, until C = N, the Bayer data processed by the noise reduction unit 32 is transferred to the RAM 8 via the changeover switch 38 and written by the DMA controller 10 and then read and reduced again. Noise reduction processing is performed by the unit 32. When the noise reduction process is performed N times by the noise reduction unit 32, the movable contact point 38a is switched to the second fixed contact point 38c, so that the Bayer data from the noise reduction unit 32 is changed to the pixel via the changeover switch 38. It is sent to the interpolation unit 33.
この画素補間部33にて、このノイズが低減されたベイヤーデータからR,G,Bの色成分について色補間を行って全画素分のRGBデータを生成され、色調整部34にて、画像を構成する全画素の色情報に基づきR,G,Bの色成分毎のゲイン調整が行われて、ホワイトバランスが調整される。さらに、ガンマ補正部35にて、画像信号に対するガンマ特性(階調特性)の補正がなされ、YUV変換部36にて、R,G,Bの色成分データから輝度信号(Y信号)と色差信号(Cb信号、Cr信号)を含んだYUVデータが生成される。また、輪郭強調部37にて、ハイパスフィルタ或いはマスクフィルタによりYUVデータにおけるY信号の振幅を調整することによりエッジ強調され、かつエッジ強調により生じたノイズをコアリング処理等により除去され、これら処理後のYUVデータがCPU6やLCD4へ出力されることとなる。   The pixel interpolation unit 33 performs color interpolation on the R, G, and B color components from the Bayer data in which the noise is reduced to generate RGB data for all the pixels. Based on the color information of all the constituent pixels, gain adjustment is performed for each of the R, G, and B color components to adjust the white balance. Further, the gamma correction unit 35 corrects the gamma characteristic (gradation characteristic) of the image signal, and the YUV conversion unit 36 converts the luminance signal (Y signal) and the color difference signal from the R, G, B color component data. YUV data including (Cb signal, Cr signal) is generated. Further, the edge emphasis unit 37 performs edge emphasis by adjusting the amplitude of the Y signal in the YUV data using a high-pass filter or mask filter, and noise generated by the edge emphasis is removed by coring processing or the like. The YUV data is output to the CPU 6 and the LCD 4.
図7は、本発明の他の実施の形態における画像処理部3の構成を示すブロック図である。本実施の形態においては、画像処理部3には、第1ノイズ低減部321と、第2ノイズ低減部322とが設けられている。ここで、第1ノイズ低減部321は、前述したノイズ低減部32と同一の構成であり、第2ノイズ低減部322は、例えばインパルス性ノイズに適したメディアンフィルタで構成されている。これら第1及び第2ノイズ低減部321、322の入力段と出力段には、選択スイッチ39、40が設けられている。この選択スイッチ39、40は同期して制御されるスイッチであって、第1及び第2ノイズ低減部321、322とのいずれかに選択的に接続し、また選択スイッチ40は切替スイッチ38に接続している。なお、画素補間部33から輪郭強調部37の構成、及び切替スイッチ38の構成は前述した実施の形態と同様である。   FIG. 7 is a block diagram showing the configuration of the image processing unit 3 according to another embodiment of the present invention. In the present embodiment, the image processing unit 3 is provided with a first noise reduction unit 321 and a second noise reduction unit 322. Here, the 1st noise reduction part 321 is the same structure as the noise reduction part 32 mentioned above, and the 2nd noise reduction part 322 is comprised by the median filter suitable for impulsive noise, for example. Selection switches 39 and 40 are provided at the input and output stages of the first and second noise reduction units 321 and 322, respectively. The selection switches 39 and 40 are controlled in synchronization with each other, and are selectively connected to one of the first and second noise reduction units 321 and 322, and the selection switch 40 is connected to the changeover switch 38. is doing. The configuration from the pixel interpolation unit 33 to the contour emphasizing unit 37 and the configuration of the changeover switch 38 are the same as those in the above-described embodiment.
以上の構成に係る本実施の形態において、CPU6は、ROMに格納されているプログラムに基づき、図5に示すフローチャートに従って切替スイッチ38及び選択スイッチ39、40を制御する。予め第1ノイズ低減部321が選択されているか否かを判断し(ステップS201)、選択されている場合には選択スイッチ39、40を第1ノイズ低減部321に接続させる(ステップS202)。また、第1ノイズ低減部321が選択されていない場合には、選択スイッチ39、40を第2ノイズ低減部322に接続させ(ステップS203)、しかる後に、ステップS204〜S210の処理を行う。   In the present embodiment having the above configuration, the CPU 6 controls the changeover switch 38 and the selection switches 39 and 40 according to the flowchart shown in FIG. 5 based on the program stored in the ROM. It is determined whether or not the first noise reduction unit 321 has been selected in advance (step S201). If selected, the selection switches 39 and 40 are connected to the first noise reduction unit 321 (step S202). If the first noise reduction unit 321 is not selected, the selection switches 39 and 40 are connected to the second noise reduction unit 322 (step S203), and thereafter, the processing of steps S204 to S210 is performed.
このステップS204〜S210の処理は、前述した図3におけるステップS101〜S207の処理と同様である。すなわち、選択された第1又は第2ノイズ低減部321、322の処理回数をカウントするカウンタCをリセットする(ステップS204)。引き続き、予め設定された第1又は第2ノイズ低減部321、322の処理回数Nが1回、つまりN=1であるか否かを判断する(ステップS205)。N=1であって、予め設定された第1又は第2ノイズ低減部321、322の処理回数Nが1回である場合には、ステップS210に進み、可動接点38aを第2固定接点38cに接触させる。したがって、予め設定されたノイズ低減部32の処理回数Nが1回である場合には、第1又は第2ノイズ低減部321、322で処理されたベイヤーデータは、切替スイッチ38を介してそのまま画素補間部33に送出される。   The processing in steps S204 to S210 is the same as the processing in steps S101 to S207 in FIG. That is, the counter C that counts the number of processing times of the selected first or second noise reduction units 321 and 322 is reset (step S204). Subsequently, it is determined whether or not the preset processing count N of the first or second noise reduction units 321 and 322 is 1, that is, N = 1 (step S205). When N = 1 and the preset number of times N of the first or second noise reduction units 321 and 322 is 1, the process proceeds to step S210, and the movable contact 38a is changed to the second fixed contact 38c. Make contact. Therefore, when the preset processing frequency N of the noise reduction unit 32 is one, the Bayer data processed by the first or second noise reduction units 321 and 322 is directly passed through the changeover switch 38 as a pixel. It is sent to the interpolation unit 33.
しかし、N≠1である場合、予め設定された第1又は第2ノイズ低減部321、322の処理回数Nが2回以上である場合には、可動接点38aを第1固定接点38bに接触させる(ステップS206)。次に、選択された第1又は第2ノイズ低減部321、322による1回のノイズ低減処理が終了したか否かを判断し(ステップS207)、終了したならばカウンタCをインクリメントする(ステップS208)。次に、このインクリメントしたカウンタCの値が所定値Nとなったか否かを判断し(ステップS209)、C=Nとなるまで、ステップS207からの処理を繰り返す。そして、C=Nとなったならば、可動接点38aを第2固定接点38cに接触させる(ステップS209)。   However, when N ≠ 1, when the preset number of times N of the first or second noise reduction units 321 and 322 is two or more, the movable contact 38a is brought into contact with the first fixed contact 38b. (Step S206). Next, it is determined whether or not a single noise reduction process by the selected first or second noise reduction unit 321 or 322 has been completed (step S207), and if completed, the counter C is incremented (step S208). ). Next, it is determined whether or not the value of the incremented counter C has reached a predetermined value N (step S209), and the processing from step S207 is repeated until C = N. When C = N, the movable contact 38a is brought into contact with the second fixed contact 38c (step S209).
したがって、C=Nとなるまでは、選択された第1又は第2ノイズ低減部321、322で処理されたベイヤーデータは、DMAコントローラ10により、切替スイッチ38を介してRAM8に転送されて書き込まれた後、読み出されて再度選択された第1又は第2ノイズ低減部321、322でノイズ低減処理される。そして、選択された第1又は第2ノイズ低減部321、322によりN回のノイズ低減処理がなされると、可動接点38aが第2固定接点38cに切り替えられることにより、ノイズ低減部32からのベイヤーデータは、切替スイッチ38を介して画素補間部33に送出されることとなる。   Therefore, until C = N, the Bayer data processed by the selected first or second noise reduction units 321 and 322 is transferred to the RAM 8 via the changeover switch 38 and written by the DMA controller 10. After that, noise reduction processing is performed by the first or second noise reduction units 321 and 322 that are read out and selected again. When the noise reduction process is performed N times by the selected first or second noise reduction unit 321, 322, the movable contact point 38a is switched to the second fixed contact point 38c, whereby the Bayer from the noise reduction unit 32 is obtained. Data is sent to the pixel interpolation unit 33 via the changeover switch 38.
なお、各実施の形態のおいてNの値は、ユーザによりキー入力部9での操作により設定してもよいし、CCD2から取り込んだ画像信号等に基づくノイズ条件によりCPU6が決定する等、どのような方法により決定してもよい。また、前述した実施の形態においては2種類のノイズ低減部を用いるようにしたが、より多種類のノイズ低減部を用いるようにしてもよい。また、本実施の形態においては、本発明を主として静止画の撮影及び記録を行うデジタルカメラに適用した場合について説明したが、本発明はこれ以外にも、デジタルビデオカメラ等のように画像信号の処理を必要とする他の映像機器においても実施可能であり、その場合においても前述した効果を得ることができる。   In each embodiment, the value of N may be set by the user through an operation on the key input unit 9 or may be determined by the CPU 6 based on a noise condition based on an image signal or the like captured from the CCD 2. You may determine by such a method. In the embodiment described above, two types of noise reduction units are used, but more types of noise reduction units may be used. In the present embodiment, the case where the present invention is applied to a digital camera that mainly captures and records still images has been described. The present invention can also be implemented in other video equipment that requires processing, and even in that case, the effects described above can be obtained.
本発明の一実施の形態を示すデジタルカメラのブロック図である。It is a block diagram of a digital camera showing an embodiment of the present invention. 本実施の形態における画像処理部の詳細を示すブロック図である。It is a block diagram which shows the detail of the image process part in this Embodiment. 本実施の形態におけるスイッチ処理手順を示すフローチャートである。It is a flowchart which shows the switch processing procedure in this Embodiment. 本発明の他の実施の形態における画像処理部の詳細を示すブロック図である。It is a block diagram which shows the detail of the image process part in other embodiment of this invention. 同他の実施の形態におけるスイッチ処理手順を示すフローチャートである。It is a flowchart which shows the switch process sequence in the other embodiment. 背景技術を示すブロック図である。It is a block diagram which shows background art.
符号の説明Explanation of symbols
1 デジタルカメラ
2 CCD
3 画像処理部
4 LCD
6 CPU
7 ROM
8 RAM
8 ROM
9 キー入力部
10 DMAコントローラ
32 ノイズ低減部
33 画素補間部
34 色調整部
35 ガンマ補正部
36 YUV変換部
37 輪郭強調部
38 切替スイッチ
38a 可動接点
38b 第1固定接点
38c 第2固定接点
39 選択スイッチ
40 選択スイッチ
321 第1ノイズ低減部
322 第2ノイズ低減部
N 所定値
1 Digital camera 2 CCD
3 Image processing unit 4 LCD
6 CPU
7 ROM
8 RAM
8 ROM
DESCRIPTION OF SYMBOLS 9 Key input part 10 DMA controller 32 Noise reduction part 33 Pixel interpolation part 34 Color adjustment part 35 Gamma correction part 36 YUV conversion part 37 Outline emphasis part 38 Changeover switch 38a Movable contact 38b 1st fixed contact 38c 2nd fixed contact 39 Selection switch 40 selection switch 321 first noise reduction unit 322 second noise reduction unit N predetermined value

Claims (4)

  1. 撮像素子から出力された画像信号を処理する画像処理装置であって、
    前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、
    このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第1の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第2の経路と、
    これら第1の経路と第2の経路とを選択的に切り替える切替手段と
    を備えることを特徴とする画像処理装置。
    An image processing apparatus that processes an image signal output from an image sensor,
    Noise reduction processing means for performing noise reduction processing on the image signal output from the image sensor;
    A first path for feeding back the image signal noise-reduced by the noise reduction processing means to the noise reduction processing means; a second path for sending the noise-reduced image signal to the subsequent signal processing means;
    An image processing apparatus comprising switching means for selectively switching between the first route and the second route.
  2. 前記切替手段は、前記ノイズ低減された画像信号が所定回数前記ノイズ低減処理手段に帰還されるまで前記第1の経路を維持し、前記所定回数帰還されたならば、前記第2の経路に切り替えることを特徴とする請求項1記載の画像処理装置。   The switching unit maintains the first path until the noise-reduced image signal is fed back to the noise reduction processing unit a predetermined number of times, and switches to the second path when the image signal is fed back a predetermined number of times. The image processing apparatus according to claim 1.
  3. 前記ノイズ低減処理手段を複数種備え、
    この複数種のノイズ低減処理手段からいずれかを選択する選択手段を更に備え、
    前記第1の経路は、前記選択手段により選択されたノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる経路であることを特徴とする請求項1又は2記載の画像処理装置。
    A plurality of the noise reduction processing means are provided,
    A selection means for selecting one of the plurality of types of noise reduction processing means;
    3. The image according to claim 1, wherein the first path is a path that feeds back an image signal whose noise has been reduced by the noise reduction processing unit selected by the selection unit to the noise reduction processing unit. Processing equipment.
  4. 被写体を撮像して画像信号を出力する撮像素子と、この撮像素子から出力された画像信号を処理する画像処理手段とを備える撮像装置であって、
    前記画像処理手段は、
    前記撮像素子から出力された画像信号に対してノイズ低減処理を実行するノイズ低減処理手段と、
    このノイズ低減処理手段によりノイズ低減された画像信号を当該ノイズ低減処理手段に帰還させる第1の経路と、前記ノイズ低減された画像信号を後段の信号処理手段に送出する第2の経路と、
    これら第1の経路と第2の経路とを選択的に切り替える切替手段と
    を備えることを特徴とする撮像装置。
    An imaging apparatus comprising: an imaging device that images a subject and outputs an image signal; and an image processing unit that processes the image signal output from the imaging device,
    The image processing means includes
    Noise reduction processing means for performing noise reduction processing on the image signal output from the image sensor;
    A first path for feeding back the image signal noise-reduced by the noise reduction processing means to the noise reduction processing means; a second path for sending the noise-reduced image signal to the subsequent signal processing means;
    An imaging apparatus comprising switching means for selectively switching between the first route and the second route.
JP2006044606A 2006-02-22 2006-02-22 Image processing apparatus and imaging apparatus Expired - Fee Related JP4816129B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006044606A JP4816129B2 (en) 2006-02-22 2006-02-22 Image processing apparatus and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006044606A JP4816129B2 (en) 2006-02-22 2006-02-22 Image processing apparatus and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2007228104A true JP2007228104A (en) 2007-09-06
JP4816129B2 JP4816129B2 (en) 2011-11-16

Family

ID=38549492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006044606A Expired - Fee Related JP4816129B2 (en) 2006-02-22 2006-02-22 Image processing apparatus and imaging apparatus

Country Status (1)

Country Link
JP (1) JP4816129B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159335A (en) * 2007-12-26 2009-07-16 Panasonic Corp Solid-state imaging apparatus and camera
CN101594457B (en) * 2008-05-30 2012-11-21 深圳艾科创新微电子有限公司 Grading noise reduction system and grading noise reduction method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308649A (en) * 1991-05-31 1993-11-19 Victor Co Of Japan Ltd Color camera device
JPH07264627A (en) * 1994-03-24 1995-10-13 Victor Co Of Japan Ltd Video signal processing circuit
JP2002094885A (en) * 2000-09-13 2002-03-29 Nikon Corp Image pickup device and image pickup method
JP2003018432A (en) * 2001-07-03 2003-01-17 Fuji Photo Film Co Ltd Noise eliminating circuit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308649A (en) * 1991-05-31 1993-11-19 Victor Co Of Japan Ltd Color camera device
JPH07264627A (en) * 1994-03-24 1995-10-13 Victor Co Of Japan Ltd Video signal processing circuit
JP2002094885A (en) * 2000-09-13 2002-03-29 Nikon Corp Image pickup device and image pickup method
JP2003018432A (en) * 2001-07-03 2003-01-17 Fuji Photo Film Co Ltd Noise eliminating circuit

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159335A (en) * 2007-12-26 2009-07-16 Panasonic Corp Solid-state imaging apparatus and camera
US8363133B2 (en) 2007-12-26 2013-01-29 Panasonic Corporation Solid-state image capturing device and camera
CN101594457B (en) * 2008-05-30 2012-11-21 深圳艾科创新微电子有限公司 Grading noise reduction system and grading noise reduction method

Also Published As

Publication number Publication date
JP4816129B2 (en) 2011-11-16

Similar Documents

Publication Publication Date Title
US7733389B2 (en) Image capturing apparatus having electronic zoom function
JP4433883B2 (en) White balance correction device, white balance correction method, program, and electronic camera device
JP5269718B2 (en) Image processing apparatus, image processing program, and image processing method
JP2004363853A (en) Method and device for reducing noise of image signal
JP5014099B2 (en) Imaging apparatus and control method thereof
JP2005115598A (en) Image processing method and apparatus
JP5041886B2 (en) Image processing apparatus, image processing program, and image processing method
JP2010183173A (en) Imaging apparatus and through image display method thereof
JP2006050042A (en) Image processing apparatus
JP5092536B2 (en) Image processing apparatus and program thereof
KR101003605B1 (en) Pixel interpolation circuit, pixel interpolation method, and recording medium
JP4816129B2 (en) Image processing apparatus and imaging apparatus
US20180096456A1 (en) Image processing apparatus
JP6087720B2 (en) Imaging apparatus and control method thereof
JP4429148B2 (en) Image photographing and recording apparatus and method
JP5803233B2 (en) Imaging apparatus and imaging method
JP2007266956A (en) Imaging apparatus, impulse component detecting circuit, impulse component removing circuit, impulse component detecting method, impulse component removing method, and computer program
JP4702088B2 (en) Image signal noise reduction method, noise reduction apparatus, and imaging apparatus
JP4449692B2 (en) Electronic camera
JP5340456B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2008219738A (en) Imaging apparatus
US8264586B2 (en) Imaging apparatus
JP6702792B2 (en) Image processing apparatus and control method thereof
JP2013219686A (en) Image pick-up device and developing method of the same
JP2007336175A (en) Electronic zoom apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

R150 Certificate of patent or registration of utility model

Ref document number: 4816129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees