JP2017005644A - Image processing apparatus, image processing method and imaging device - Google Patents
Image processing apparatus, image processing method and imaging device Download PDFInfo
- Publication number
- JP2017005644A JP2017005644A JP2015120816A JP2015120816A JP2017005644A JP 2017005644 A JP2017005644 A JP 2017005644A JP 2015120816 A JP2015120816 A JP 2015120816A JP 2015120816 A JP2015120816 A JP 2015120816A JP 2017005644 A JP2017005644 A JP 2017005644A
- Authority
- JP
- Japan
- Prior art keywords
- color
- moire
- image data
- image
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 97
- 238000003384 imaging method Methods 0.000 title claims description 68
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000009467 reduction Effects 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 9
- 230000003252 repetitive effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 15
- 238000011161 development Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法及び撮像装置に関する。 The present invention relates to an image processing device, an image processing method, and an imaging device.
デジタルスチルカメラ(Digital Still Camera)やデジタルビデオカメラ(Digital Video Camera)等の撮像装置において静止画像や動画像の撮像に用いられるイメージセンサ(Image Sensor)には、ベイヤ(Bayer)配列のCMOSイメージセンサまたはCCDイメージセンサが用いられるのが主流である。 A Bayer array CMOS image sensor is used as an image sensor (Image Sensor) used to capture still images and moving images in an imaging apparatus such as a digital still camera or a digital video camera. Alternatively, a CCD image sensor is mainly used.
ベイヤ配列は、緑2画素に対して、赤1画素、青1画素の4画素が1組となった構成となっている配列である。元々は光を分光しRGBを別のセンサで受光していたものを、複雑な光学系の設計を軽減し、画素ずれが無いように開発されたのがベイヤ配列である。このベイヤ配列は、人間の目は赤や青の解像度には鈍感であり、緑や白黒に対して敏感であるといった特性を利用している。 The Bayer arrangement is an arrangement in which four pixels of one red pixel and one blue pixel are combined with two green pixels. The Bayer array was originally developed to reduce the complexity of the design of the optical system and eliminate pixel shifts, while originally separating light and receiving RGB with another sensor. This Bayer array uses the characteristic that the human eye is insensitive to red and blue resolutions and sensitive to green and black and white.
ベイヤ配列のイメージセンサから出力される信号からYCbCr色空間またはRGBカラーモデルによる画像を生成(現像)する際に、各色の存在周期より精細な画像の照射に起因する偽色(色モアレ)が発生する場合がある。この偽色(色モアレ)を除去するための技術が開発されている(例えば特許文献1、2等参照)。 When generating (developing) an image in the YCbCr color space or RGB color model from signals output from a Bayer array image sensor, false colors (color moiré) are generated due to irradiation of finer images than the period of each color. There is a case. A technique for removing the false color (color moire) has been developed (see, for example, Patent Documents 1 and 2).
特許文献1で開示されている技術は、ベイヤ配列を変更することで色モアレの低減を図るものである。また特許文献2で開示されている技術は、三次元ノイズリダクション方式によってノイズを低減する際に、時間的に異なる色補間画像を用いて色モアレも抑えるものである。しかし、いずれの技術も、ベイヤ配列全体のデータからそのまま現像した際の色モアレの低減には効果がないという問題があった。 The technique disclosed in Patent Document 1 is intended to reduce color moire by changing the Bayer arrangement. The technique disclosed in Patent Document 2 suppresses color moire by using temporally different color interpolation images when noise is reduced by the three-dimensional noise reduction method. However, each of the techniques has a problem in that it is not effective in reducing color moiré when developed as it is from data of the entire Bayer array.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データを縮小し、縮小した画像データに対する色モアレの判定を行なうことにより、ベイヤ配列全体のデータからそのまま現像した際の色モアレの除去を効果的に行なうことが可能な、新規かつ改良された画像処理装置、画像処理方法及び撮像装置を提供することにある。 Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to reduce the image data and perform color moiré determination on the reduced image data, so that the entire Bayer array can be determined. It is an object of the present invention to provide a new and improved image processing apparatus, image processing method, and imaging apparatus capable of effectively removing color moire when developed as it is from data.
上記課題を解決するために、本発明のある観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから出力される画像信号を取得し、該画像信号の縮小後に現像して縮小画像データを生成する画像縮小部と、前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、を備えることを特徴とする、画像処理装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, a plurality of light receiving elements that receive a light beam through an optical system and perform photoelectric conversion are output from a sensor array that is two-dimensionally arranged in a Bayer array. An image reduction unit that obtains an image signal, develops the image signal after reduction, and generates reduced image data, and a moire determination unit that determines a region where moire is generated from the reduced image data generated by the image reduction unit And a moire removing unit that removes moire from the original image data obtained by developing the image signal using the determination result of the area where moire is generated by the moire determining unit. An image processing apparatus is provided.
前記モアレ判定部は、前記縮小画像データにおける第1の色と第2の色との繰り返しパタンの違いが生じた場所をモアレが発生している領域と判定してもよい。 The moire determination unit may determine a region where a moire is generated at a place where a difference in the repeated pattern between the first color and the second color occurs in the reduced image data.
前記モアレ判定部は、前記縮小画像データを所定の領域に分割した上で前記第1の色と前記第2の色との繰り返しパタンの違いが生じた場所があれば当該領域をモアレが発生している領域と判定してもよい。 The moiré determination unit divides the reduced image data into predetermined areas, and if there is a place where a repeated pattern difference between the first color and the second color occurs, moiré is generated in the area. It may be determined that the region is a
前記モアレ判定部は、ある領域を他の領域と比較して前記第1の色と前記第2の色との繰り返しパタンの違いがより当該領域に現れていれば当該領域をモアレが発生している領域と判定してもよい。 The moire determination unit compares a certain area with another area, and if a difference in the repetitive pattern between the first color and the second color appears in the area, moire occurs in the area. It may be determined that the area is.
前記第1の色は、前記ベイヤ配列における最も画素数の多い色であり、前記第2の色は、前記ベイヤ配列における前記第1の色以外の色から生成される色であってもよい。 The first color may be a color having the largest number of pixels in the Bayer array, and the second color may be a color generated from a color other than the first color in the Bayer array.
前記第1の色は緑であり、前記第2の色はマゼンタであってもよい。 The first color may be green and the second color may be magenta.
上記画像処理装置は、前記原画像データ及び前記縮小画像データを記憶する記憶部と、前記記憶部に対する前記原画像データ及び前記縮小画像データの読み書きを制御する記憶制御部と、をさらに備えてもよい。 The image processing apparatus further includes a storage unit that stores the original image data and the reduced image data, and a storage control unit that controls reading and writing of the original image data and the reduced image data with respect to the storage unit. Good.
また、上記課題を解決するために、本発明の別の観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから出力される画像信号を取得し、該画像信号の縮小後に現像して縮小画像データを生成する画像縮小ステップと、前記画像縮小ステップで生成された縮小画像データからモアレが発生している領域を判定するモアレ判定ステップと、前記モアレ判定ステップによるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去ステップと、を含むことを特徴とする、画像処理方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, a sensor array in which a plurality of light receiving elements that receive and photoelectrically convert a light beam via an optical system is arranged in a two-dimensional Bayer array. An image reduction step of acquiring an output image signal, developing the image signal after reduction and generating reduced image data, and determining a region where moire is generated from the reduced image data generated in the image reduction step And a moire removal step of removing moire from the original image data obtained by developing the image signal using a determination result of a region where moire is generated by the moire determination step. An image processing method is provided.
また、上記課題を解決するために、本発明の別の観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイを備える撮像部と、前記撮像部から出力される画像信号の縮小後に現像して縮小画像データを生成する画像縮小部と、前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、を備えることを特徴とする、撮像装置が提供される。 In order to solve the above problem, according to another aspect of the present invention, there is provided a sensor array in which a plurality of light receiving elements that receive a light beam through an optical system and perform photoelectric conversion are arranged in a two-dimensional manner in a Bayer array. An image capturing unit, an image reducing unit that generates reduced image data by developing after reducing an image signal output from the image capturing unit, and a region where moire is generated from the reduced image data generated by the image reducing unit. A moire determination unit for determining, and a moire removal unit for removing moire from the original image data obtained by developing the image signal using the determination result of the area where moire is generated by the moire determination unit. An imaging apparatus is provided.
以上説明したように本発明によれば、画像データを縮小し、縮小した画像データに対する色モアレの判定を行なうことにより、ベイヤ配列全体のデータからそのまま現像した際の色モアレの除去を効果的に行なうことが可能な、新規かつ改良された画像処理装置、画像処理方法及び撮像装置を提供することができる。 As described above, according to the present invention, image data is reduced, and color moiré is determined for the reduced image data, thereby effectively removing color moiré when developed as it is from the entire Bayer array data. A new and improved image processing apparatus, image processing method, and imaging apparatus that can be performed can be provided.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
<1.背景>
本発明の好適な実施の形態について詳細に説明する前に、本発明の実施の形態に至った背景について説明する。
<1. Background>
Before describing the preferred embodiment of the present invention in detail, the background leading to the embodiment of the present invention will be described.
上述したように、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において静止画像や動画像の撮像に用いられるセンサには、ベイヤ配列のCMOSイメージセンサまたはCCDイメージセンサが用いられるのが主流である。 As described above, a Bayer array CMOS image sensor or a CCD image sensor is mainly used as a sensor used to capture a still image or a moving image in an imaging apparatus such as a digital still camera or a digital video camera.
図1は、ベイヤ配列を示す説明図である。ベイヤ配列は、緑(G)2画素に対して、赤(R)1画素、青(B)1画素の4画素が1組となった構成となっている配列である。元々は光を分光しRGBを別のイメージセンサで受光していたものを、複雑な光学系の設計を軽減し、画素ずれが無いように開発されたのが、図1に示したようなベイヤ配列である。この図1に示したベイヤ配列は、人間の目は赤や青の解像度には鈍感であり、緑や白黒に対して敏感であるといった特性を利用している。なお、便宜上赤(R)の行にある緑(G)の画素をGr、青(B)の行にある緑(G)の画素をGbと称する。 FIG. 1 is an explanatory diagram showing a Bayer array. The Bayer array is an array in which four pixels of one pixel of red (R) and one pixel of blue (B) are combined with two pixels of green (G). The original Bayer as shown in FIG. 1 has been developed to reduce the complexity of the optical system design and eliminate pixel shifts from what originally separated light and received RGB by another image sensor. Is an array. The Bayer array shown in FIG. 1 uses the characteristic that the human eye is insensitive to red and blue resolutions and sensitive to green and black and white. For convenience, a green (G) pixel in the red (R) row is referred to as Gr, and a green (G) pixel in the blue (B) row is referred to as Gb.
ベイヤ配列が、緑(G)2画素に対して、赤(R)1画素、青(B)1画素の4画素が1組となった構成となっているため、緑色は水平および垂直方向ではイメージセンサの水平画素数及び垂直画素数と等しい帯域を持っているが、斜め45度の方向の帯域では水平及び垂直の半分に減る。従って、輝度信号は斜め方向の帯域が少ない。またベイヤ配列が、緑(G)2画素に対して、赤(R)1画素、青(B)1画素の4画素が1組となった構成となっているため、青と赤の領域は緑の半分しかない。 Since the Bayer array has a configuration in which four pixels of one pixel of red (R) and one pixel of blue (B) are combined with two pixels of green (G), green is horizontal and vertical. Although it has a band equal to the number of horizontal pixels and the number of vertical pixels of the image sensor, the band in the direction of 45 degrees is reduced to half of the horizontal and vertical. Therefore, the luminance signal has a small band in the oblique direction. In addition, since the Bayer array has a configuration in which four pixels of red (R) 1 pixel and blue (B) 1 pixel are combined with 2 green (G) pixels, the blue and red regions are There is only half of green.
このベイヤ配列のイメージセンサで正常な画像を得るためには、従来は例えば、ほぼベイヤ配列の基本の4画素よりも細かい線を解像しないフィルタをイメージセンサ上に搭載して各色をぼかすことが行われてきた。 In order to obtain a normal image with this Bayer array image sensor, conventionally, for example, a filter that does not resolve lines finer than the basic four pixels of the Bayer array is mounted on the image sensor to blur each color. Has been done.
しかし、そのようなフィルタをイメージセンサに搭載すると、赤と青の細かい線はイメージセンサから出力されず、また輝度の主要成分である緑も2画素幅よりも細かい線はセンサから出力されない。 However, when such a filter is mounted on the image sensor, fine lines of red and blue are not output from the image sensor, and green, which is a main component of luminance, is not output from the sensor.
そして、当然ながらこのようなフィルタをイメージセンサに搭載することは、コスト上昇の要因となり、また実際の画素数よりも表現される画像の解像度が低くなってしまう要因ともなる。この結果、このフィルタを排除し、解像度の改善とコスト低下を同時に満たす必要性が叫ばれており、解像度の改善とコスト低下を同時に満たすことを目的とするような製品も販売されている。 Of course, mounting such a filter in an image sensor causes an increase in cost, and also causes a reduction in the resolution of an image expressed than the actual number of pixels. As a result, the necessity of eliminating this filter and satisfying the improvement in resolution and the cost reduction at the same time is screamed, and products aiming to satisfy the improvement in resolution and the cost reduction at the same time are on the market.
しかし、フィルタを排除したイメージセンサを用いると、ベイヤ配列のイメージセンサから出力される信号からYCbCr色空間またはRGBカラーモデルによる画像を生成(現像)する際に、各色の存在周期より精細な画像の照射に起因する偽色(色モアレ)が発生する場合がある。 However, when an image sensor that excludes a filter is used, when an image based on the YCbCr color space or the RGB color model is generated (developed) from a signal output from the image sensor in the Bayer array, an image that is finer than the existence cycle of each color is generated. False colors (color moire) due to irradiation may occur.
フィルタを排除したイメージセンサを用いると、例えばイメージセンサの赤の存在周期より精細な赤の画像が照射される。イメージセンサの赤の存在周期より精細な赤の画像が照射されることは、赤に対して折り返しが発生する要因となる。 When an image sensor excluding the filter is used, for example, a red image finer than the red existence period of the image sensor is irradiated. Irradiation of a red image that is finer than the red existence period of the image sensor is a factor that causes folding of red.
これは赤だけでなく、同じように4画素中に1画素だけ存在する青についても同様のことが言える。また緑についても、斜め方向に精細な緑の画像が照射されることは、緑に対しては斜め方向には折り返しが発生する要因となる。この折り返しが、ベイヤ配列のイメージセンサから出力される信号からYCbCr色空間またはRGBカラーモデルによる画像を生成(現像)する際に画像生じ得る色モアレとなる。 The same can be said for not only red but also blue that exists only in one of four pixels. Also, for green, the fact that a fine green image is irradiated in an oblique direction is a factor that causes folding in the oblique direction with respect to green. This aliasing becomes a color moire that can be generated when an image is generated (developed) in the YCbCr color space or RGB color model from the signal output from the Bayer array image sensor.
最も大きな問題は、斜め方向の細線を現像した際に生じる緑とマゼンタのモアレである。これは斜め方向の妨害を表している。このような緑とマゼンタのモアレの現象が発生するのは、撮影画像で斜め方向に非常に細い線が存在するためである。 The biggest problem is the moire of green and magenta that occurs when developing oblique thin lines. This represents an obstruction in the diagonal direction. This phenomenon of green and magenta moire occurs because there are very thin lines in the oblique direction in the captured image.
図2は、撮像される元となる画像の例を示す説明図である。そして図3は、図2に示した画像を撮像した際に色モアレが発生した画像の例を示す説明図である。 FIG. 2 is an explanatory diagram illustrating an example of an image to be captured. FIG. 3 is an explanatory diagram illustrating an example of an image in which color moire occurs when the image illustrated in FIG. 2 is captured.
図2に示したような、非常に細い白色及び黒色の線が混み入った画像を撮像すると、元の画像には白色及び黒色以外の色は存在しないのに、図3に示したように渦状の偽色(色モアレ)が発生することがある。図3の符号11は、シアンとオレンジの渦状の偽色(色モアレ)が発生した場所を示している。図3の符号12は、緑とマゼンタの渦状の偽色(色モアレ)が発生した場所を示している。 When an image with very thin white and black lines as shown in FIG. 2 is captured, the original image has no color other than white and black, but as shown in FIG. False color (color moire) may occur. Reference numeral 11 in FIG. 3 indicates a place where a cyan and orange spiral false color (color moire) is generated. Reference numeral 12 in FIG. 3 indicates a place where a green and magenta spiral false color (color moire) has occurred.
図3の符号11で示した場所で発生しているシアンとオレンジの色モアレは、縦または横の細い線を再現しようとして生じるものである。図4及び図5は、シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。 The cyan and orange color moire generated in the place indicated by reference numeral 11 in FIG. 3 is generated in an attempt to reproduce a vertical or horizontal thin line. FIG. 4 and FIG. 5 are explanatory diagrams showing a state in which the color moire of cyan and orange is generated in a Bayer arrangement.
図4及び図5に示したように、シアンとオレンジの色モアレが発生している場合は、シアンとオレンジの境界で緑の場所が変化していることが分かる。従って、緑との相関をとることでシアンとオレンジの色モアレが発生しているかどうかを判定することができる。そして、シアンとオレンジの色モアレが発生している場合には、例えばその色モアレが生じている場所を白色で繋ぐ等の方法で色モアレの除去が可能となる。 As shown in FIGS. 4 and 5, when cyan and orange color moire occurs, it can be seen that the green location changes at the boundary between cyan and orange. Accordingly, it is possible to determine whether or not cyan and orange color moire has occurred by correlating with green. When cyan and orange color moire occurs, it is possible to remove the color moire by, for example, connecting the places where the color moire occurs with white.
一方、図3の符号12で示した場所で発生している緑とマゼンタの色モアレは、斜め方向の細い線を再現しようとして生じるものである。図6は、緑とマゼンタの色モアレが発生している様子をベイヤ配列で示す説明図である。 On the other hand, the green and magenta color moire generated at the location indicated by reference numeral 12 in FIG. 3 is generated in an attempt to reproduce a slanting thin line. FIG. 6 is an explanatory diagram showing a state in which green and magenta color moire occurs in a Bayer array.
しかし、この緑とマゼンタの色モアレは、シアンとオレンジの色モアレのように緑との相関をとることで色モアレの発生を判定することが出来ない。シアンとオレンジの色モアレと違って、図6に示したように、常に緑がついているとは限らないからである。 However, the color moiré of green and magenta cannot be determined by correlating with green like the color moiré of cyan and orange. This is because, unlike cyan and orange color moire, it is not always green as shown in FIG.
緑とマゼンタの色モアレは、ソフトウェア的には以下の様な処理によって除去することが可能である。緑とマゼンタの繰り返しパタンの自然画像での出現確率は非常に低く、また斜め方向の細線を撮像した画像上では、広範囲で完全な一定の周波数である可能性は非常に低いことから、広範囲の画像を観測し、緑とマゼンタの繰り返しパタンが存在する場合、実際にはその場所は斜め方向の白黒の細線であると判定すること自体は可能である。ソフトウェア的に処理する場合、例えば128ピクセル×128ピクセルや、大きいものでは512ピクセル×512ピクセルといった空間を用いて上記の状況を判定している。 The color moire of green and magenta can be removed by software as follows. The appearance probability of green and magenta repetitive patterns in natural images is very low, and it is very unlikely that they will be in a wide range and a completely constant frequency on an image obtained by imaging oblique thin lines. When an image is observed and there are repeated green and magenta patterns, it is actually possible to determine that the location is a black and white thin line in an oblique direction. In the case of processing by software, the above situation is determined using a space of, for example, 128 pixels × 128 pixels or a larger one, 512 pixels × 512 pixels.
このようにソフトウェア的には緑とマゼンタの色モアレを判定し、緑とマゼンタの色モアレを除去する処理は容易である。しかし、ハードウェア的に同様の処理を行なうことは非常に困難を極める。 As described above, it is easy for software to determine the color moire between green and magenta and to remove the color moire between green and magenta. However, it is extremely difficult to perform the same processing in terms of hardware.
そこで本件発明者は、色モアレを除去するための技術、特に、緑との相関をとることで色モアレの発生を判定することが出来ない緑とマゼンタの色モアレを効果的に除去するための技術について鋭意検討を行った。その結果、本件発明者は、以下で説明するように、デジタル画像信号から得られる画像データを縮小し、縮小した画像データに対して色モアレの発生を判定し、判定結果に基づいて色モアレを除去することが出来る技術を考案するに至った。 Therefore, the present inventor has a technique for removing color moiré, particularly for effectively removing green and magenta color moiré that cannot be determined by correlation with green. We conducted an intensive study on the technology. As a result, as described below, the inventor reduces the image data obtained from the digital image signal, determines the occurrence of color moiré for the reduced image data, and reduces the color moiré based on the determination result. It came to devise the technology which can be removed.
以上、本発明の実施の形態に至った背景について説明した。続いて、本発明の一実施形態について詳細に説明する。 The background that led to the embodiment of the present invention has been described above. Subsequently, an embodiment of the present invention will be described in detail.
<2.本発明の一実施形態>
[2.1.機能構成例]
まず、本発明の一実施形態に係る撮像装置の機能構成例について詳細に説明する。図7は、本発明の一実施形態に係る撮像装置100の機能構成例を示す説明図である。以下、図7を用いて本発明の一実施形態に係る撮像装置100の機能構成例について説明する。
<2. One Embodiment of the Present Invention>
[2.1. Functional configuration example]
First, a functional configuration example of an imaging apparatus according to an embodiment of the present invention will be described in detail. FIG. 7 is an explanatory diagram illustrating a functional configuration example of the imaging apparatus 100 according to an embodiment of the present invention. Hereinafter, a functional configuration example of the imaging apparatus 100 according to an embodiment of the present invention will be described with reference to FIG.
図7に示したように、本発明の一実施形態に係る撮像装置100は、撮像部102と、補間処理部106と、コーデック部108と、通信部110と、バス112と、制御部114と、DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory)116と、を含んで構成される。 As illustrated in FIG. 7, the imaging apparatus 100 according to an embodiment of the present invention includes an imaging unit 102, an interpolation processing unit 106, a codec unit 108, a communication unit 110, a bus 112, and a control unit 114. DDR SDRAM (Double Data Rate Synchronous Random Access Memory) 116.
撮像部102は、ズームレンズ(Zoom Lens)やフォーカスレンズ(Focus Lens)を含む複数のレンズ群やイメージセンサなどで構成される。撮像部102は、イメージセンサの受光面に形成される被写体像を光電変換して、所定のノイズ除去処理や感度調整処理、アナログ/デジタル変換(A/D変換)等の信号処理を施すことでデジタル画像信号を生成する。 The imaging unit 102 includes a plurality of lens groups including a zoom lens (Zoom Lens) and a focus lens (Focus Lens), an image sensor, and the like. The imaging unit 102 photoelectrically converts a subject image formed on the light receiving surface of the image sensor, and performs signal processing such as predetermined noise removal processing, sensitivity adjustment processing, analog / digital conversion (A / D conversion), and the like. A digital image signal is generated.
撮像部102に設けられるイメージセンサは、CCDイメージセンサでもCMOSイメージセンサでもよい。また撮像部102に設けられるイメージセンサの受光面には、カラー画像の撮像のためにベイヤ配列の原色フィルタが設けられる。撮像部102が生成したデジタル画像信号は、バス112を経由してDDR SDRAM116に格納される。 The image sensor provided in the imaging unit 102 may be a CCD image sensor or a CMOS image sensor. In addition, a Bayer array primary color filter is provided on the light receiving surface of the image sensor provided in the imaging unit 102 to capture a color image. The digital image signal generated by the imaging unit 102 is stored in the DDR SDRAM 116 via the bus 112.
本実施形態では、撮像部102は、デジタル画像信号を生成する際に、縮小を行っていない画像信号に加え、所定のサイズに縮小した縮小画像データを生成し、縮小画像データについてもバス112を経由してDDR SDRAM116に格納する。例えば撮像部102は、画素加算を行なって、水平方向及び垂直方向を1/4に縮小した縮小画像データを生成し、DDR SDRAM116に格納する。この縮小画像データは、後述の補間処理部106におけるモアレ判定処理に用いられる。 In the present embodiment, when generating the digital image signal, the imaging unit 102 generates reduced image data reduced to a predetermined size in addition to the image signal that has not been reduced, and the bus 112 is also used for reduced image data. And stored in the DDR SDRAM 116. For example, the imaging unit 102 performs pixel addition, generates reduced image data in which the horizontal direction and the vertical direction are reduced to ¼, and stores the reduced image data in the DDR SDRAM 116. This reduced image data is used for moire determination processing in the interpolation processing unit 106 described later.
補間処理部106は、撮像部102が生成し、DDR SDRAM116に格納されたデジタル画像信号に対して補間処理、例えばCFA(Color Filter Array)補間処理を行うことで現像処理を行なう。補間処理部106による現像処理を行って得られる画像データは、バス112を経由してDDR SDRAM116に格納される。 The interpolation processing unit 106 performs development processing by performing interpolation processing, for example, CFA (Color Filter Array) interpolation processing, on the digital image signal generated by the imaging unit 102 and stored in the DDR SDRAM 116. Image data obtained by performing development processing by the interpolation processing unit 106 is stored in the DDR SDRAM 116 via the bus 112.
そして本実施形態では、補間処理部106は、デジタル画像信号に対する現像処理を行う前に、撮像部102が生成し、DDR SDRAM116に格納された、当該デジタル画像信号を所定のサイズに縮小した後に現像することで生成される縮小画像データに対してモアレ判定処理を行なう。色モアレ現象は画像を縮小しても削減されず、また画像を縮小すると元画像の大きさよりも情報が凝縮されるため、より急峻な変化となり目立つという側面がある。 In this embodiment, the interpolation processing unit 106 develops after reducing the digital image signal generated by the imaging unit 102 and stored in the DDR SDRAM 116 to a predetermined size before performing development processing on the digital image signal. Thus, the moire determination process is performed on the reduced image data generated. The color moire phenomenon is not reduced even when the image is reduced, and when the image is reduced, the information is condensed rather than the size of the original image, so that there is an aspect in which the change becomes more conspicuous and conspicuous.
色モアレが発生する細線の画像を、画素がベイヤ配列されたイメージセンサを備える装置で撮像する場合には、赤と青、緑との相関がないため、R,Gb,Gr,Bの信号毎に加算(Binning)した場合でも色モアレの現象はなくならず、画像全体で見た際の色モアレの発生位置は、元画像と縮小画像とでは同一の位置である。 When a thin line image in which color moiré occurs is picked up by an apparatus including an image sensor in which pixels are arranged in a Bayer array, there is no correlation between red, blue, and green, so that each R, Gb, Gr, B signal Even when added to (Binning), the phenomenon of color moire does not disappear, and the occurrence position of color moire when viewed in the entire image is the same position in the original image and the reduced image.
本実施形態は、このような側面を利用して、補間処理部106において縮小画像データに対してモアレ判定処理を行なう。縮小画像データに対してモアレ判定処理を行なうことで、本発明の一実施形態に係る撮像装置100は、垂直方向及び水平方向が1/4に縮小された画像であれば、同じメモリ量でも16倍の空間を観測して色モアレの発生の有無を判定することが可能となる。 In the present embodiment, the moire determination process is performed on the reduced image data in the interpolation processing unit 106 using such an aspect. By performing the moiré determination process on the reduced image data, the imaging apparatus 100 according to an embodiment of the present invention can reduce the vertical direction and the horizontal direction to ¼ even if the image has the same memory amount. It is possible to determine the occurrence of color moire by observing double space.
コーデック部108は、補間処理部106によって生成された画像データに対するエンコード処理や、エンコードされた画像データのデコード処理を行なう。エンコード処理及びデコード処理を総称してコーデック処理という。コーデック部108によってコーデック処理された画像データは、バス112を経由してDDR SDRAM116に格納される。 The codec unit 108 performs encoding processing on the image data generated by the interpolation processing unit 106 and decoding processing of the encoded image data. Encoding processing and decoding processing are collectively referred to as codec processing. Image data subjected to codec processing by the codec unit 108 is stored in the DDR SDRAM 116 via the bus 112.
通信部110は、外部の装置に対する情報の送信処理や、外部の装置からの情報の受信処理を実行する。例えば通信部110は、コーデック部108によってエンコードされた画像データを外部の装置に送信する。 The communication unit 110 executes processing for transmitting information to an external device and processing for receiving information from an external device. For example, the communication unit 110 transmits the image data encoded by the codec unit 108 to an external device.
制御部114は、例えばCPU(Central Processing Unit)などで構成され、撮像装置100の各部の動作を制御する。 The control unit 114 is configured by a CPU (Central Processing Unit), for example, and controls the operation of each unit of the imaging apparatus 100.
なお図1には図示しないが、撮像装置100は、撮像部102に対して画像の撮像をユーザが指示するためのシャッタボタン、撮像装置100に対するユーザの操作を受け付ける操作ボタン、補間処理部106によって生成された画像データを保存するための記録媒体などを備えていても良い。補間処理部106によって生成された画像データを保存するための記録媒体は、撮像装置100からの取り外しが可能なものであってもよい。 Although not shown in FIG. 1, the imaging device 100 includes a shutter button for a user to instruct the imaging unit 102 to capture an image, an operation button for receiving a user operation on the imaging device 100, and an interpolation processing unit 106. A recording medium for storing the generated image data may be provided. The recording medium for storing the image data generated by the interpolation processing unit 106 may be removable from the imaging apparatus 100.
以上、図7を用いて本発明の一実施形態に係る撮像装置100の機能構成例について説明した。続いて、本発明の一実施形態に係る撮像装置100に含まれる補間処理部106の詳細な機能構成例について説明する。 The functional configuration example of the imaging apparatus 100 according to the embodiment of the present invention has been described above with reference to FIG. Subsequently, a detailed functional configuration example of the interpolation processing unit 106 included in the imaging apparatus 100 according to an embodiment of the present invention will be described.
図8は、本発明の一実施形態に係る撮像装置100に含まれる補間処理部106の詳細な機能構成例を示す説明図である。以下、図8を用いて本発明の一実施形態に係る撮像装置100に含まれる補間処理部106の詳細な機能構成例について説明する。 FIG. 8 is an explanatory diagram illustrating a detailed functional configuration example of the interpolation processing unit 106 included in the imaging apparatus 100 according to an embodiment of the present invention. Hereinafter, a detailed functional configuration example of the interpolation processing unit 106 included in the imaging apparatus 100 according to an embodiment of the present invention will be described with reference to FIG.
図8に示したように、補間処理部106は、RDMA(Read Direct Memory Access)コントローラ121と、バッファメモリ122と、メモリ制御部123と、画像生成部124と、モアレ判定部125と、スイッチ部126と、WDMA(Write Direct Memory Access)コントローラ127と、を含んで構成される。 As illustrated in FIG. 8, the interpolation processing unit 106 includes an RDMA (Read Direct Memory Access) controller 121, a buffer memory 122, a memory control unit 123, an image generation unit 124, a moire determination unit 125, and a switch unit. 126 and a WDMA (Write Direct Memory Access) controller 127.
RDMAコントローラ121は、撮像部102が生成したデジタル画像信号や、デジタル画像信号を所定のサイズに縮小した後に現像することで生成される縮小画像データをDDR SDRAM116からバス112を経由して読み出す。そしてRDMAコントローラ121は、撮像部102が生成したデジタル画像信号や、縮小画像データをDDR SDRAM116からバス112を経由して読み出すと、読み出したデジタル画像信号や縮小画像データをバッファメモリ122に格納する。 The RDMA controller 121 reads the digital image signal generated by the imaging unit 102 and reduced image data generated by developing the digital image signal after reducing the digital image signal to a predetermined size from the DDR SDRAM 116 via the bus 112. When the RDMA controller 121 reads the digital image signal or reduced image data generated by the imaging unit 102 from the DDR SDRAM 116 via the bus 112, the RDMA controller 121 stores the read digital image signal or reduced image data in the buffer memory 122.
本実施形態では、補間処理部106は、撮像部102が生成したデジタル画像信号の現像処理を行なうモード(便宜的にモードAと称する)と、撮像部102が生成したデジタル画像信号を所定のサイズに縮小した後に現像して得られる縮小画像データに対する色モアレの判定処理を行なうモード(便宜的にモードBと称する)と、の2つの動作モードを切り替えて動作する。 In the present embodiment, the interpolation processing unit 106 has a mode for developing the digital image signal generated by the imaging unit 102 (referred to as mode A for convenience) and the digital image signal generated by the imaging unit 102 with a predetermined size. The operation is performed by switching between two operation modes: a mode in which color moire determination processing is performed on reduced image data obtained by development after being reduced to (referred to as mode B for convenience).
補間処理部106がモードAで動作する場合は、RDMAコントローラ121は、撮像部102が生成したデジタル画像信号をDDR SDRAM116からバス112を経由して読み出す。 When the interpolation processing unit 106 operates in mode A, the RDMA controller 121 reads the digital image signal generated by the imaging unit 102 from the DDR SDRAM 116 via the bus 112.
一方、補間処理部106がモードBで動作する場合は、RDMAコントローラ121は、撮像部102が生成したデジタル画像信号を所定のサイズに縮小した後に現像して得られる縮小画像データをDDR SDRAM116からバス112を経由して読み出す。 On the other hand, when the interpolation processing unit 106 operates in the mode B, the RDMA controller 121 buses reduced image data obtained by developing after reducing the digital image signal generated by the imaging unit 102 to a predetermined size from the DDR SDRAM 116. Read via 112.
バッファメモリ122は、例えばSRAM(Static Random Access Memory)等のメモリで構成される。バッファメモリ122は、RDMAコントローラ121から送られてくるデジタル画像信号や縮小画像データを格納する。バッファメモリ122が格納したデジタル画像信号や縮小画像データは、メモリ制御部123によって順次読み出される。 The buffer memory 122 is configured by a memory such as SRAM (Static Random Access Memory), for example. The buffer memory 122 stores digital image signals and reduced image data sent from the RDMA controller 121. Digital image signals and reduced image data stored in the buffer memory 122 are sequentially read out by the memory control unit 123.
本実施形態では、バッファメモリ122は、デジタル画像信号を格納する際にはラインメモリとして機能する。またバッファメモリ122は、縮小画像データを格納する際には、ラインメモリの各ラインがさらに複数のブロックに分割された状態のメモリとして機能する。 In the present embodiment, the buffer memory 122 functions as a line memory when storing a digital image signal. The buffer memory 122 functions as a memory in a state where each line of the line memory is further divided into a plurality of blocks when storing the reduced image data.
補間処理部106がモードAで動作する場合は、バッファメモリ122は、RDMAコントローラ121から送られてくるデジタル画像信号を格納する。一方、補間処理部106がモードBで動作する場合は、バッファメモリ122は、RDMAコントローラ121から送られてくる縮小画像データを格納する。 When the interpolation processing unit 106 operates in mode A, the buffer memory 122 stores the digital image signal sent from the RDMA controller 121. On the other hand, when the interpolation processing unit 106 operates in mode B, the buffer memory 122 stores the reduced image data sent from the RDMA controller 121.
メモリ制御部123は、バッファメモリ122に格納されたデータ、すなわちデジタル画像信号や縮小画像データの読み出しを制御する。本実施形態では、バッファメモリ122にデジタル画像信号が格納されている場合には、メモリ制御部123は画像生成部124から指示されたアドレス情報に基づいてバッファメモリ122からデジタル画像信号を読み出す。またバッファメモリ122に縮小画像データが格納されている場合には、メモリ制御部123はモアレ判定部125から指示されたアドレス情報に基づいてバッファメモリ122からデジタル画像信号を読み出す。 The memory control unit 123 controls reading of data stored in the buffer memory 122, that is, digital image signals and reduced image data. In the present embodiment, when a digital image signal is stored in the buffer memory 122, the memory control unit 123 reads the digital image signal from the buffer memory 122 based on the address information instructed from the image generation unit 124. When reduced image data is stored in the buffer memory 122, the memory control unit 123 reads a digital image signal from the buffer memory 122 based on the address information instructed from the moire determination unit 125.
補間処理部106がモードAで動作する場合は、メモリ制御部123は、画像生成部124からの指示に基づきバッファメモリ122に格納されたデータの読み出しを行う。一方、補間処理部106がモードBで動作する場合は、メモリ制御部123は、モアレ判定部125からの指示に基づきバッファメモリ122に格納されたデータの読み出しを行う。 When the interpolation processing unit 106 operates in mode A, the memory control unit 123 reads data stored in the buffer memory 122 based on an instruction from the image generation unit 124. On the other hand, when the interpolation processing unit 106 operates in mode B, the memory control unit 123 reads out data stored in the buffer memory 122 based on an instruction from the moire determination unit 125.
画像生成部124は、バッファメモリ122に格納され、メモリ制御部123から読み出されたデジタル画像信号に対する画素間の補間処理を行なうことで現像処理(画像データを生成する処理)を行なう。本実施形態では、画像生成部124はデジタル画像信号に対してCFA補間処理を行なうことで現像処理を行なう。 The image generation unit 124 performs development processing (processing for generating image data) by performing inter-pixel interpolation processing on the digital image signal stored in the buffer memory 122 and read from the memory control unit 123. In the present embodiment, the image generation unit 124 performs development processing by performing CFA interpolation processing on the digital image signal.
また画像生成部124は、後述のモアレ判定部125による色モアレが発生している領域を判定する色モアレ判定処理の結果に基づいて、色モアレを除去しながら補間処理を行なう。画像生成部124は、色モアレを除去する際には、例えば色モアレが生じている場所を白色で繋ぎながら補間処理を行なう。この色モアレの除去方法は特定の方法に限定されるものではなく、画像生成部124は、モアレ判定部125による色モアレ判定処理の結果に基づいて効果的に色モアレを除去することが可能となる。 The image generation unit 124 performs interpolation processing while removing color moire based on the result of color moire determination processing for determining a region where color moire is generated by a moire determination unit 125 described later. When removing the color moire, the image generation unit 124 performs an interpolation process while connecting the places where the color moire occurs, for example, with white. The color moire removal method is not limited to a specific method, and the image generation unit 124 can effectively remove the color moire based on the result of the color moire determination processing by the moire determination unit 125. Become.
画像生成部124は、メモリ制御部123に対してバッファメモリ122からのデジタル画像信号の読み出しを指示する際に、複数ライン単位で読み出して画像生成部124へ出力するようにアドレス情報を指示する。画像生成部124は、複数ライン単位で読み出されたデジタル画像信号に対する補間処理を1枚の画像が完成するまで繰り返すことで画像データを生成する。画像生成部124は、現像処理により生成した画像データを、WDMAコントローラ127に送る。 When the image generation unit 124 instructs the memory control unit 123 to read out the digital image signal from the buffer memory 122, the image generation unit 124 instructs the address information to read out and output to the image generation unit 124 in units of a plurality of lines. The image generation unit 124 generates image data by repeating interpolation processing for digital image signals read in units of a plurality of lines until one image is completed. The image generation unit 124 sends the image data generated by the development process to the WDMA controller 127.
モアレ判定部125は、バッファメモリ122に格納され、メモリ制御部123から読み出された縮小画像データに対し、色モアレが発生している領域を判定する色モアレ判定処理を行なう。モアレ判定部125は、縮小画像データの全体に対して色モアレ判定処理を行なうため、メモリ制御部123に対してバッファメモリ122からの縮小画像データの読み出しを指示する際に、縮小画像データ全体を読み出してモアレ判定部125に出力するようにアドレス情報を指示する。 The moiré determination unit 125 performs color moiré determination processing for determining an area where color moiré is generated on the reduced image data stored in the buffer memory 122 and read from the memory control unit 123. Since the moire determination unit 125 performs color moire determination processing on the entire reduced image data, when the memory control unit 123 is instructed to read the reduced image data from the buffer memory 122, the entire reduced image data is processed. The address information is instructed to be read and output to the moire determination unit 125.
そしてモアレ判定部125は、メモリ制御部123から送られる縮小画像データの全体に対して、色モアレ、すなわち特定の2つの色が繰り返して現れるパタンが存在する場所を、細分化されてバッファメモリ122に格納された縮小画像データの各領域単位で判定する。 The moire determination unit 125 subdivides the entire reduced image data sent from the memory control unit 123 into the buffer memory 122 by subdividing a color moire, that is, a place where a pattern in which two specific colors appear repeatedly exists. Is determined for each area of the reduced image data stored in.
モアレ判定部125は、縮小画像データの各領域に対して、色モアレの発生の有無を判定するが、本実施形態では、色モアレの発生の有無を判定する際に、色モアレである確からしさを複数の段階、例えば1から10の10段階で判定してもよい。この場合、数字が大きい方を色モアレである確からしさが高いとしてもよい。 The moire determination unit 125 determines whether or not color moiré occurs for each area of the reduced image data. In this embodiment, when determining whether or not color moiré occurs, the moiré determination unit 125 is likely to have color moiré. May be determined in a plurality of stages, for example, 10 stages from 1 to 10. In this case, the higher the number, the higher the probability of color moire.
モアレ判定部125は、縮小画像データの各領域に対する色モアレ判定処理の結果を、それぞれの領域を識別する情報と、色モアレ判定処理の結果とを紐付けて、WDMAコントローラ127に送る。 The moire determination unit 125 sends the result of the color moire determination process for each area of the reduced image data to the WDMA controller 127 in association with the information for identifying each area and the result of the color moire determination process.
スイッチ部126は、補間処理部106がモードAで動作する場合は、画像生成部124とWDMAコントローラ127とを接続し、補間処理部106がモードAで動作する場合は、モアレ判定部125とWDMAコントローラ127とを接続するような切り替え動作を行なう。 The switch unit 126 connects the image generation unit 124 and the WDMA controller 127 when the interpolation processing unit 106 operates in mode A, and the moire determination unit 125 and WDMA when the interpolation processing unit 106 operates in mode A. A switching operation for connecting the controller 127 is performed.
WDMAコントローラ127は、画像生成部124の現像処理によって生成した画像データや、モアレ判定部125による色モアレ判定処理の結果を、バス112を通じてDDR SDRAM116に格納する。 The WDMA controller 127 stores the image data generated by the development processing of the image generation unit 124 and the result of the color moire determination processing by the moire determination unit 125 in the DDR SDRAM 116 through the bus 112.
補間処理部106がモードAで動作する場合は、WDMAコントローラ127は、画像生成部124の現像処理によって生成した画像データをDDR SDRAM116に格納する。 When the interpolation processing unit 106 operates in mode A, the WDMA controller 127 stores the image data generated by the development processing of the image generation unit 124 in the DDR SDRAM 116.
一方、補間処理部106がモードBで動作する場合は、WDMAコントローラ127は、モアレ判定部125による色モアレ判定処理の結果をDDR SDRAM116に格納する。 On the other hand, when the interpolation processing unit 106 operates in mode B, the WDMA controller 127 stores the result of the color moire determination process by the moire determination unit 125 in the DDR SDRAM 116.
本発明の一実施形態に係る撮像装置100に含まれる補間処理部106は、図8に示したような構成を有することで、縮小画像データの各領域に対して色モアレの発生を判定し、色モアレの発生の判定結果に基づいて、色モアレを除去しつつ現像処理を行い、色モアレが除去された画像データを生成することが出来る。 The interpolation processing unit 106 included in the imaging apparatus 100 according to the embodiment of the present invention has the configuration illustrated in FIG. 8, thereby determining the occurrence of color moire for each area of the reduced image data. Based on the determination result of occurrence of color moire, development processing can be performed while removing color moire, and image data from which color moire has been removed can be generated.
以上、図8を用いて本発明の一実施形態に係る撮像装置100に含まれる補間処理部106の詳細な機能構成例について説明した。続いて、本発明の一実施形態に係る撮像装置100の動作例について説明する。 The detailed functional configuration example of the interpolation processing unit 106 included in the imaging apparatus 100 according to the embodiment of the present invention has been described above with reference to FIG. Subsequently, an operation example of the imaging apparatus 100 according to an embodiment of the present invention will be described.
[2.2.動作例]
図9は、本発明の一実施形態に係る撮像装置100の動作例を示す流れ図である。図9に示したのは、デジタル画像信号を縮小した後に現像して得られる縮小画像データに対して色モアレ判定処理を行い、色モアレ判定処理の結果に基づいて、色モアレを除去しながら縮小画像データの基になっているデジタル画像信号に対する現像処理を行なう際の、撮像装置100の動作例である。以下、図9を用いて本発明の一実施形態に係る撮像装置100の動作例について説明する。
[2.2. Example of operation]
FIG. 9 is a flowchart illustrating an operation example of the imaging apparatus 100 according to an embodiment of the present invention. FIG. 9 shows that color moire determination processing is performed on the reduced image data obtained by developing after reducing the digital image signal, and reduction is performed while removing color moire based on the result of the color moire determination processing. It is an operation example of the imaging apparatus 100 when performing development processing on a digital image signal that is the basis of image data. Hereinafter, an operation example of the imaging apparatus 100 according to an embodiment of the present invention will be described with reference to FIG.
撮像装置100は、まず現像処理対象のデジタル画像信号を縮小した後に現像して得られる縮小画像データに対して色モアレ判定処理を実行して、色モアレが発生している領域を判定する。撮像装置100は、DDR SDRAM116に格納されている上記縮小画像データを読み出し(ステップS101)、読み出した当該縮小画像データを、複数の同じサイズの矩形領域に分け、領域ごとに色モアレが発生しているかどうかを判定する(ステップS102)。ステップS101の読み出し処理は例えばRDMAコントローラ121が実行し、ステップS102の判定処理は、例えばモアレ判定部125が実行する。 The imaging apparatus 100 first performs color moire determination processing on reduced image data obtained by developing after reducing a digital image signal to be developed, and determines an area where color moire has occurred. The imaging apparatus 100 reads the reduced image data stored in the DDR SDRAM 116 (step S101), divides the read reduced image data into a plurality of rectangular areas having the same size, and color moiré occurs in each area. It is determined whether or not (step S102). The read process in step S101 is executed by, for example, the RDMA controller 121, and the determination process in step S102 is executed by, for example, the moire determination unit 125.
撮像装置100は、DDR SDRAM116から出した上記縮小画像データの全体に対して、色モアレ、すなわち特定の2つの色が繰り返して現れるパタンが存在する場所を、細分化されてバッファメモリ122に格納された縮小画像データの各領域単位で判定する。撮像装置100は、DDR SDRAM116から出した上記縮小画像データの各領域に対して色モアレの発生の有無を判定するが、本実施形態では、色モアレの発生の有無を判定する際に、色モアレである確からしさを複数の段階、例えば1から10の10段階で判定してもよい。この場合、数字が大きい方を色モアレである確からしさが高いとしてもよい。 The image capturing apparatus 100 stores the color moire, that is, a place where a pattern in which specific two colors appear repeatedly exists in the entire reduced image data output from the DDR SDRAM 116 and stores it in the buffer memory 122. The determination is made for each area of the reduced image data. The image capturing apparatus 100 determines whether or not color moiré occurs for each area of the reduced image data output from the DDR SDRAM 116. In this embodiment, when determining whether or not color moiré occurs, the image capturing apparatus 100 performs color moiré. The certainty may be determined in a plurality of stages, for example, 10 stages from 1 to 10. In this case, the higher the number, the higher the probability of color moire.
撮像装置100は、ある領域に対して色モアレを判定する際には、他の領域、特に隣接する領域との比較によって色モアレかどうかを判定してもよい。例えば撮像装置100は、縮小画像データのある領域を観察した結果、緑とマゼンタの繰り返しパタンが見つかった場合に、隣接している領域にその緑とマゼンタの繰り返しパタンが見つからなかったときは、その緑とマゼンタの繰り返しパタンを色モアレの可能性が高いと判定してもよい。 When determining the color moire for a certain area, the imaging apparatus 100 may determine whether the color moire is based on a comparison with another area, particularly an adjacent area. For example, as a result of observing a certain area of the reduced image data, the imaging apparatus 100 finds a repeated pattern of green and magenta. If the repeated pattern of green and magenta is not found in the adjacent area, You may determine with the possibility of a color moire having a high repetition pattern of green and magenta.
撮像装置100は、縮小画像データで領域ごとに色モアレが発生しているかどうかを判定すると、領域を識別する情報と、その領域の判定結果とを紐付けて、DDR SDRAM116に記録する(ステップS103)。ステップS103の記録処理は、例えばWDMAコントローラ127が実行する。 When the imaging apparatus 100 determines whether or not color moiré is generated for each area in the reduced image data, the information identifying the area is associated with the determination result of the area and is recorded in the DDR SDRAM 116 (step S103). ). The recording process in step S103 is executed by the WDMA controller 127, for example.
領域を識別する情報は、例えば、縮小画像データの左上の領域を0として、右方向に向かって値が増加し、一番右端の領域に達したら1段下に移り、左端から右方向に向かって再び値が増加し、これを右下の領域に達するまで繰り返すものであってもよい。 The information for identifying the area is, for example, the value in the upper left area of the reduced image data is set to 0, the value increases in the right direction, and when reaching the rightmost area, it moves down by one step and moves from the left end to the right direction. The value increases again, and this may be repeated until the lower right region is reached.
続いて撮像装置100は、色モアレ判定処理を行った縮小画像データの基となるデジタル画像信号及び色モアレ判定処理の結果をDDR SDRAM116から読み出す(ステップS104)。ステップS104の読み出し処理は例えばRDMAコントローラ121が実行する。 Subsequently, the imaging apparatus 100 reads the digital image signal that is the basis of the reduced image data subjected to the color moire determination process and the result of the color moire determination process from the DDR SDRAM 116 (step S104). The read processing in step S104 is executed by, for example, the RDMA controller 121.
そして撮像装置100は、DDR SDRAM116から読み出したデジタル画像信号に対し、色モアレ判定処理の結果に基づいて色モアレを除去しながら、画素間の補間処理によって画像データを生成する現像処理を実行する(ステップS105)。ステップS105の処理は例えば画像生成部124が実行する。 Then, the imaging apparatus 100 executes development processing for generating image data by interpolating between pixels while removing color moire based on the result of the color moire determination processing on the digital image signal read from the DDR SDRAM 116 ( Step S105). For example, the image generation unit 124 executes the processing in step S105.
例えば、縮小画像データの左上の領域で色モアレが発生しているという判定結果が出た場合は、撮像装置100は、デジタル画像信号におけるその領域に対応する領域について、色モアレを除去しながら画素間の補間を行なう。撮像装置100は、例えば色モアレが生じている場所を白色で繋ぎながら補間処理を行なうことで色モアレを除去するが、この色モアレの除去方法は特定の方法に限定されるものではない。 For example, when it is determined that a color moire has occurred in the upper left area of the reduced image data, the imaging apparatus 100 removes the color moire from the area corresponding to the area in the digital image signal. Interpolate between. The imaging apparatus 100 removes the color moire by performing interpolation processing while connecting the places where the color moire is generated with white, for example, but the method for removing the color moire is not limited to a specific method.
本発明の一実施形態に係る撮像装置100は、図9に示したような一連の動作を実行することで、縮小画像データの各領域に対して色モアレの発生を判定し、色モアレの発生の判定結果に基づいて、色モアレを除去しつつ現像処理を行い、色モアレが除去された画像データを生成することが出来る。 The imaging apparatus 100 according to an embodiment of the present invention determines the occurrence of color moire for each area of the reduced image data by executing a series of operations as shown in FIG. Based on the determination result, development processing is performed while removing color moire, and image data from which color moire has been removed can be generated.
<3.まとめ>
以上説明したように本発明の一実施形態によれば、縮小画像データの各領域に対して色モアレの発生を判定し、色モアレの発生の判定結果に基づいて、色モアレを除去しつつ現像処理を行い、色モアレが除去された画像データを生成することが可能な撮像装置100が提供される。
<3. Summary>
As described above, according to an embodiment of the present invention, the occurrence of color moire is determined for each area of the reduced image data, and development is performed while removing color moire based on the determination result of occurrence of color moire. An imaging apparatus 100 that can perform processing and generate image data from which color moire has been removed is provided.
本発明の一実施形態に係る撮像装置100は、縮小画像データの各領域に対して色モアレの発生を判定することで、メモリ容量が少ない場合であっても、ハードウェア的に色モアレの発生を適確に判定することができる。 The imaging apparatus 100 according to an embodiment of the present invention determines the occurrence of color moiré for each area of the reduced image data, so that even when the memory capacity is small, the occurrence of color moiré in hardware. Can be determined accurately.
本明細書における装置が実行する処理における各ステップは、必ずしもフローチャート(flowchart)やシーケンス(sequence)図として記載された順序に沿って時系列に処理される必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても良く、並列的に処理されてもよい。 Each step in the processing executed by the apparatus in the present specification does not necessarily have to be processed in time series in the order described as a flow chart or a sequence diagram. For example, each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
また上述した各装置の構成と同等の機能を、本明細書における装置に内蔵されるCPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などのハードウェア(図示せず)に発揮させるためのコンピュータプログラムも作成されることができる。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。 In addition, functions (e.g., a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory) incorporated in the device in this specification have functions equivalent to the configuration of each device described above. ) Can be created. A storage medium storing the computer program can also be provided. Moreover, a series of processes can also be realized by hardware by configuring each functional block shown in the functional block diagram with hardware.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
100 :撮像装置
102 :撮像部
106 :補間処理部
108 :コーデック部
110 :通信部
112 :バス
114 :制御部
116 :SDRAM
121 :RDMAコントローラ
122 :バッファメモリ
123 :メモリ制御部
124 :画像生成部
125 :モアレ判定部
126 :スイッチ部
127 :WDMAコントローラ
100: Imaging device 102: Imaging unit 106: Interpolation processing unit 108: Codec unit 110: Communication unit 112: Bus 114: Control unit 116: SDRAM
121: RDMA controller 122: buffer memory 123: memory control unit 124: image generation unit 125: moire determination unit 126: switch unit 127: WDMA controller
Claims (20)
前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、
前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、
を備えることを特徴とする、画像処理装置。 An image signal output from a sensor array in which a plurality of light receiving elements that receive a light beam via an optical system and perform photoelectric conversion are arranged in a two-dimensional Bayer array is acquired, and developed after reduction of the image signal to reduce a reduced image An image reduction unit for generating data;
A moire determination unit that determines a region where moire is generated from the reduced image data generated by the image reduction unit;
A moire removing unit that removes moire from the original image data obtained by developing the image signal using a determination result of a region where moire is generated by the moire determining unit;
An image processing apparatus comprising:
前記記憶部に対する前記原画像データ及び前記縮小画像データの読み書きを制御する記憶制御部と、
をさらに備えることを特徴とする、請求項1に記載の画像処理装置。 A storage unit for storing the original image data and the reduced image data;
A storage control unit that controls reading and writing of the original image data and the reduced image data with respect to the storage unit;
The image processing apparatus according to claim 1, further comprising:
前記画像縮小ステップで生成された縮小画像データからモアレが発生している領域を判定するモアレ判定ステップと、
前記モアレ判定ステップによるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去ステップと、
を含むことを特徴とする、画像処理方法。 An image signal output from a sensor array in which a plurality of light receiving elements that receive a light beam via an optical system and perform photoelectric conversion are arranged in a two-dimensional Bayer array is acquired, and developed after reduction of the image signal to reduce a reduced image An image reduction step for generating data;
A moire determination step for determining a region where moire is generated from the reduced image data generated in the image reduction step;
A moire removal step of removing moire from the original image data obtained by developing the image signal using the determination result of the area where moire occurs in the moire determination step;
An image processing method comprising:
前記撮像部から出力される画像信号の縮小後に現像して縮小画像データを生成する画像縮小部と、
前記画像縮小部が生成した縮小画像データからモアレが発生している領域を判定するモアレ判定部と、
前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号を現像して得られる原画像データに対してモアレを除去するモアレ除去部と、
を備えることを特徴とする、撮像装置。 An imaging unit including a sensor array in which a plurality of light receiving elements that receive and photoelectrically convert a light beam through an optical system are arranged in a two-dimensional Bayer array;
An image reduction unit that develops after reduction of the image signal output from the imaging unit and generates reduced image data;
A moire determination unit that determines a region where moire is generated from the reduced image data generated by the image reduction unit;
A moire removing unit that removes moire from the original image data obtained by developing the image signal using a determination result of a region where moire is generated by the moire determining unit;
An imaging apparatus comprising:
前記記憶部に対する前記原画像データ及び前記縮小画像データの読み書きを制御する記憶制御部と、
をさらに備えることを特徴とする、請求項14に記載の撮像装置。
A storage unit for storing the original image data and the reduced image data;
A storage control unit that controls reading and writing of the original image data and the reduced image data with respect to the storage unit;
The imaging apparatus according to claim 14, further comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015120816A JP6628987B2 (en) | 2015-06-16 | 2015-06-16 | Image processing apparatus, image processing method, and imaging apparatus |
KR1020150172649A KR102368222B1 (en) | 2015-06-16 | 2015-12-04 | Image processing apparatus, image processing method, and photographing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015120816A JP6628987B2 (en) | 2015-06-16 | 2015-06-16 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017005644A true JP2017005644A (en) | 2017-01-05 |
JP6628987B2 JP6628987B2 (en) | 2020-01-15 |
Family
ID=57734033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015120816A Active JP6628987B2 (en) | 2015-06-16 | 2015-06-16 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6628987B2 (en) |
KR (1) | KR102368222B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112712467A (en) * | 2021-01-11 | 2021-04-27 | 郑州科技学院 | Image processing method based on computer vision and color filter array |
CN113362300A (en) * | 2021-06-03 | 2021-09-07 | 豪威科技(武汉)有限公司 | Training, detecting and focusing method and shooting device |
CN117132479A (en) * | 2023-04-28 | 2023-11-28 | 荣耀终端有限公司 | Moire pattern eliminating method, electronic device and readable storage medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220078191A (en) | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | Electronic device for performing image processing and operation method thereof |
KR102617103B1 (en) * | 2022-05-03 | 2023-12-27 | (주)에이앤아이 | Apparatus and method for removing the moire pattern in a terminal |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001157216A (en) * | 1999-11-26 | 2001-06-08 | Casio Comput Co Ltd | Image pickup device and image pickup method |
JP2003018479A (en) * | 2001-07-05 | 2003-01-17 | Fuji Photo Film Co Ltd | Image processing unit and image processing method, and imaging apparatus |
JP4556102B2 (en) | 2004-01-20 | 2010-10-06 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP4377428B2 (en) * | 2007-12-12 | 2009-12-02 | アキュートロジック株式会社 | Solid-state imaging device and imaging apparatus using the same |
KR101530554B1 (en) | 2008-07-03 | 2015-06-22 | 엘지전자 주식회사 | Mobile terminal and operation control method thereof |
-
2015
- 2015-06-16 JP JP2015120816A patent/JP6628987B2/en active Active
- 2015-12-04 KR KR1020150172649A patent/KR102368222B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112712467A (en) * | 2021-01-11 | 2021-04-27 | 郑州科技学院 | Image processing method based on computer vision and color filter array |
CN112712467B (en) * | 2021-01-11 | 2022-11-11 | 郑州科技学院 | Image processing method based on computer vision and color filter array |
CN113362300A (en) * | 2021-06-03 | 2021-09-07 | 豪威科技(武汉)有限公司 | Training, detecting and focusing method and shooting device |
CN117132479A (en) * | 2023-04-28 | 2023-11-28 | 荣耀终端有限公司 | Moire pattern eliminating method, electronic device and readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR20160148438A (en) | 2016-12-26 |
KR102368222B1 (en) | 2022-03-03 |
JP6628987B2 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5280448B2 (en) | Image processing apparatus, image processing method, image processing program, and semiconductor integrated circuit | |
JP3968121B2 (en) | Image compression method | |
JP6628987B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US8723991B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
EP2630786A1 (en) | System and method for imaging using multi aperture camera | |
JP2002204389A (en) | Method for exposure control | |
US20030063185A1 (en) | Three-dimensional imaging with complementary color filter arrays | |
US9832382B2 (en) | Imaging apparatus and imaging method for outputting image based on motion | |
JP4796871B2 (en) | Imaging device | |
JP2002209098A (en) | Method for generating low resolution image | |
JP6626272B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
KR101364050B1 (en) | Method and apparatus for image processing | |
US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
JP6190119B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP2006049950A (en) | Dynamic image converting apparatus, dynamic image decompressing apparatus and method thereof, and computer program | |
US9866809B2 (en) | Image processing system with aliasing detection mechanism and method of operation thereof | |
JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
JP2010141661A (en) | Image processing device | |
JP2010074826A (en) | Imaging apparatus and image processing program | |
CN115170554A (en) | Image detection method and electronic equipment | |
JP6702792B2 (en) | Image processing apparatus and control method thereof | |
JP6871795B2 (en) | Imaging device, its control method, program and recording medium | |
JP6467455B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
US11595578B2 (en) | Image processing apparatus and image sensing apparatus, methods of controlling the same, and non-transitory computer-readable storage medium | |
KR101204921B1 (en) | Image processing device and method for processing image data of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20181221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190320 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6628987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |