JP2013197613A - Imaging apparatus, image processing device, and image processing program - Google Patents
Imaging apparatus, image processing device, and image processing program Download PDFInfo
- Publication number
- JP2013197613A JP2013197613A JP2012059195A JP2012059195A JP2013197613A JP 2013197613 A JP2013197613 A JP 2013197613A JP 2012059195 A JP2012059195 A JP 2012059195A JP 2012059195 A JP2012059195 A JP 2012059195A JP 2013197613 A JP2013197613 A JP 2013197613A
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel
- pixels
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 45
- 239000003990 capacitor Substances 0.000 description 42
- 239000003086 colorant Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000005484 gravity Effects 0.000 description 9
- 238000009792 diffusion process Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像装置、画像処理装置及び画像処理プログラムに関する。 The present invention relates to an imaging apparatus, an image processing apparatus, and an image processing program.
撮像装置の一例であるデジタルカメラは、静止画像の撮影機能の他、動画像の撮影機能を備えている。このデジタルカメラにおいては静止画像の画質向上を図るうえで、高画素化された固体撮像素子が搭載されている。この固体撮像素子として、赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色を市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられている。このようなデジタルカメラを用いて静止画像を撮影する場合には、固体撮像素子に配列される全ての画素に対して信号の読み出しを行っている。一方、動画像を撮影する場合には、動画像を取得する際のフレームレートや、動画像のファイルフォーマットに対応するために、固体撮像素子に配列される画素のうち、同色画素を、例えば間引き読出しなどの手法を用いて信号を読み出している。 A digital camera, which is an example of an imaging apparatus, has a moving image shooting function in addition to a still image shooting function. This digital camera is equipped with a solid-state imaging device with high pixels in order to improve the quality of still images. As this solid-state imaging device, a single-plate color sensor including a Bayer array color filter array in which red (R), green (G), and blue (B) colors are arranged in a checkered pattern is used. When a still image is taken using such a digital camera, signals are read out from all the pixels arranged in the solid-state imaging device. On the other hand, when capturing a moving image, in order to correspond to the frame rate at the time of acquiring the moving image or the file format of the moving image, the same color pixels among the pixels arranged in the solid-state image sensor are thinned out, for example. The signal is read using a method such as reading.
ところで、上述した単板式カラーセンサからなる固体撮像素子から出力される各画素の信号は、赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のいずれかの色成分の信号である。このため、出力された信号に対して色補間処理を施し、Ｒ色、Ｇ色及びＢ色の全ての色成分の信号を生成している。例えば、撮像光学系が静止画像の解像感に最適化されているデジタルカメラを用いて動画像を撮影した場合には、撮像光学系が合焦に近い状態となっている時に、間引き読出しにより得られる信号に対して色補間処理を施すと、モアレや偽色が発生してしまう原因となる。これらモアレや偽色の発生を防止するために、例えば加算間引き読出し時に読み出す画素の範囲を広げることでローパスフィルタの効果を付与することも提案されている（特許文献１参照）。 By the way, the signal of each pixel output from the solid-state imaging device composed of the single-plate color sensor described above is a signal of any color component of red (R), green (G), and blue (B). . For this reason, the output signal is subjected to color interpolation processing to generate signals of all color components of R, G, and B colors. For example, when a moving image is shot using a digital camera in which the imaging optical system is optimized for the resolution of still images, thinning readout is performed when the imaging optical system is close to focusing. If color interpolation processing is performed on the obtained signal, moire and false colors are caused. In order to prevent the occurrence of these moire and false colors, for example, it has also been proposed to provide the effect of a low-pass filter by widening the range of pixels to be read during addition thinning readout (see Patent Document 1).
しかしながら、上述した特許文献１の発明では、モアレや偽色の発生は抑えられるものの、得られた動画像における解像感が低下してしまうという問題がある。
However, although the above-described invention of
本発明は、モアレや偽色の発生を抑えつつ、動画像における解像感の低下を防止することができるようにした撮像装置、画像処理装置及び画像処理プログラムを提供することを目的とする。 It is an object of the present invention to provide an imaging apparatus, an image processing apparatus, and an image processing program that can prevent a decrease in resolution in moving images while suppressing the occurrence of moire and false colors.
上述した課題を解決するために、本発明の撮像装置は、少なくとも１以上の色成分を用いて同一の色空間を表現することが可能な複数の色成分のいずれかの色成分の光を受光する複数の画素が、水平方向である行方向と、垂直方向である列方向との２次元に配置された画素配列と、前記画素配列に配置される前記複数の画素に対する読出範囲をずらしながら、前記読出範囲に含まれる画素のうち、色差成分の信号値を生成することが可能な２つの色成分のいずれかの信号値を有する画素に対する加重加算を色成分毎に実行することで、前記２つの色成分の信号値を備えた画素からなる画像を取得する読出回路と、を備えたことを特徴とする。 In order to solve the above-described problem, an imaging apparatus according to the present invention receives light of any one of a plurality of color components capable of expressing the same color space using at least one color component. A plurality of pixels are arranged in a two-dimensional arrangement of a row direction that is a horizontal direction and a column direction that is a vertical direction, and a reading range for the plurality of pixels arranged in the pixel array is shifted, The weighted addition is performed for each color component for each pixel having a signal value of one of two color components capable of generating a signal value of a color difference component among the pixels included in the readout range. And a readout circuit that acquires an image composed of pixels having signal values of two color components.
また、本発明の画像処理装置は、少なくとも１以上の色成分を用いて同一の色空間を表現することが可能な複数の色成分のいずれかの信号値を備えた複数の画素からなる第１画像を受け付ける受付部と、前記受付部により受け付けた前記第１画像における複数の画素に対して読出範囲をずらしながら、前記読出範囲に含まれる画素のうち、色差成分の信号値を生成することが可能な２つの色成分のいずれかの信号値を有する画素に対する加重加算を色成分毎に実行することで、前記２つの色成分の値を備えた画素からなる第２画像を生成する画像生成部と、を備えたことを特徴とする。 In addition, the image processing apparatus of the present invention includes a first pixel including a plurality of pixels each having a signal value of a plurality of color components capable of expressing the same color space using at least one color component. An accepting unit that accepts an image, and generating a signal value of a color difference component among pixels included in the readout range while shifting the readout range with respect to a plurality of pixels in the first image received by the accepting unit. An image generation unit that generates a second image composed of pixels having the values of the two color components by performing weighted addition on the pixels having signal values of either of the two possible color components for each color component And.
また、本発明の画像処理プログラムは、少なくとも１以上の色成分を用いて同一の色空間を表現することが可能な複数の色成分のいずれかの信号値を備えた複数の画素からなる第１画像を受け付ける受付工程と、前記受付工程により受け付けた前記第１画像における複数の画素に対して読出範囲をずらしながら、前記読出範囲に含まれる画素のうち、色差成分の信号値を生成することが可能な２つの色成分のいずれかの信号値を有する画素に対する加重加算を色成分毎に実行することで、前記２つの色成分の値を備えた画素からなる第２画像を生成する画像生成工程と、を、コンピュータに実行させることが可能なものである。 The image processing program of the present invention is a first program comprising a plurality of pixels each having a signal value of any of a plurality of color components capable of expressing the same color space using at least one or more color components. An accepting step of accepting an image, and generating a signal value of a color difference component among the pixels included in the readout range while shifting the readout range with respect to the plurality of pixels in the first image accepted by the accepting step. An image generation step of generating a second image composed of pixels having the values of the two color components by performing weighted addition on the pixels having signal values of either of the two possible color components for each color component Can be executed by a computer.
本発明によれば、モアレや偽色の発生を抑えつつ、動画像における解像感の低下を防止することができる。 According to the present invention, it is possible to prevent a decrease in resolution in a moving image while suppressing generation of moire and false colors.
以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。撮像装置１０は、撮像光学系１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、測光回路１９、ＣＰＵ２０、撮像素子駆動回路２１、Ａ／Ｄ変換器２２、画像処理回路２３、液晶モニタ２４、圧縮伸長処理回路２５、表示出力回路２６、記憶媒体２７を備えている。
Embodiments of the present invention will be described below. FIG. 1 is a functional block diagram illustrating an example of an imaging apparatus according to the present embodiment. The
不図示の被写体の像は、撮像光学系１５によって、撮像素子１６の撮像面上に結像される。撮像光学系１５は、複数枚のレンズで構成され、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。
A subject image (not shown) is formed on the image pickup surface of the
撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。このＣＭＯＳイメージセンサは、例えば赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のカラーフィルタを市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられる。この撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像、及び動画像の撮像が可能な撮像素子である。この撮像素子１６は、測光回路１９で得られた被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路２１によって駆動される。撮像素子１６により読み出された画像信号は、Ａ／Ｄ変換器２２に入力される。
For example, a CMOS image sensor is used as the
Ａ／Ｄ変換器２２は、撮像素子１６から読み出されたアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像信号に変換する。デジタルの画像信号は、画像処理回路２３に入力される。
The A /
画像処理回路２３は、入力された画像信号に対して、ホワイトバランス処理、γ変換処理、エッジ強調処理などの画像処理を施す。この画像処理回路２３は、必要に応じて、入力される画像信号に対して、色空間変換処理を実行する。
The
また、画像処理回路２３は、液晶モニタ２４に表示を行うための解像度（画素数）変換処理を施し、圧縮伸長処理回路２５及び表示出力回路２６に出力する。表示出力回路２６は、画像処理回路２３から入力された画像信号に所定の信号処理を施し、液晶モニタ２４に出力する。なお、表示出力回路２６は、さらに、ＣＰＵ２０の制御に基づいて、必要に応じて、画像処理回路２３から出力された画像信号に、撮影メニュー、カーソルなどのオーバーレイ画像信号を重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。
In addition, the
圧縮伸長処理回路２５は、入力された画像信号に対して圧縮処理を施し、記憶媒体２７に記憶する。また、この他に、圧縮伸長処理回路２５は、記憶媒体２７に記憶された画像信号が読み出されたときに、読み出された画像信号に対して復号化処理を施し、画像処理回路２３および表示出力回路２６を介して、液晶モニタ２４に供給する。
The compression /
ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像信号を抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。
The
また、ＣＰＵ２０は、撮像光学系１５を駆動し、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。
Further, the
なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。 Although the contrast AF operation is exemplified as the automatic focusing operation, the present invention is not limited to this, and a well-known pupil division type phase difference AF operation can also be used. Also in this case, the shooting distance information of each region can be obtained by the automatic focusing operation.
ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像信号、又は記憶媒体２７に記憶される画像信号を、画像処理回路２３による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。
The
次に、撮影により得られる動画像のサイズ（画像サイズ）が、静止画像の画像サイズに対して、水平方向及び垂直方向にそれぞれ１／３倍の画像サイズに設定される場合について、第１実施形態と称して説明する。 Next, a first implementation will be described in which the size of the moving image obtained by shooting (image size) is set to an image size that is 1/3 times the horizontal size and the vertical size of the still image. This will be described as a form.
＜第１実施形態＞
まず、第１実施形態における撮像素子の構成について図２を用いて説明する。図２に示すように、撮像素子１６は、画素部４１、プリチャージ部４２ａ，４２ｂ、切替え部４３ａ，４３ｂ、垂直走査回路４４、水平走査回路４５ａ，４５ｂを備えている。
<First Embodiment>
First, the configuration of the image sensor in the first embodiment will be described with reference to FIG. As shown in FIG. 2, the
画素部４１は、複数の画素が水平方向である行方向と垂直方向である列方向とに２次元に配置される。なお、図２において、「Ｒ」は、赤（Ｒ）色のカラーフィルタが配置される画素、「Ｇ」は、緑（Ｇ）色のカラーフィルタが配置される画素、「Ｂ」は、青（Ｂ）色のカラーフィルタが配置される画素である。以下、赤（Ｒ）色のカラーフィルタが配置される画素をＲ色画素、緑（Ｇ）色のカラーフィルタが配置される画素をＧ色画素、青（Ｂ）色のカラーフィルタが配置される画素をＢ色画素と称して説明する。
The
この撮像素子１６においては、同一列に配置される画素に対して、２本の垂直信号線４７ａ，４７ｂが設けられている。各画素に設けられるカラーフィルタは、Ｒ色、Ｇ色、Ｂ色の各色カラーフィルタが２×２の配列パターンによるベイヤー配列にて配列された構成からなる。例えば、Ｒ色画素、Ｇ色画素が交互に配置される列（奇数の列）においては、垂直信号線４７ａはＲ色画素と接続され、垂直信号線４７ｂはＧ色画素と接続される。また、Ｇ色画素、Ｂ色画素が交互に配置される列（偶数の列）においては、垂直信号線４７ａはＢ色画素と接続され、垂直信号線４７ｂはＧ色画素と接続される。
In the
プリチャージ部４２ａ，４２ｂは、各垂直信号線４７ａ，４７ｂにソース電極が接続されたプリチャージトランジスタＰＲＥと、プリチャージトランジスタＰＲＥのゲート電圧に制御信号φＰＲＥを供給する行信号線とを含む。各プリチャージトランジスタＰＲＥのドレイン電極には、プリチャージ電圧Ｖｐｒｅが供給される。各列に設けられる垂直信号線４７ａ，４７ｂは、各画素から電圧信号（画素信号）を読み出す前に、対応のプリチャージトランジスタＰＲＥを介して所定のプリチャージ電圧Ｖｐｒｅにプリチャージされる。
The
切替え部４３ａは、コンデンサＣＤ１、加算トランジスタＡＤＤ１，ＡＤＤ２，ＡＤＤ３，ＡＤＤ４，ＡＤＤ５，ＡＤＤ６、スイッチングトランジスタＳＷ１、制御信号φＡＤＤ１、φＡＤＤ２、φＡＤＤ３，φＡＤＤ４，φＡＤＤ５，φＡＤＤ６、制御信号φＬＩＮＥ１，φＬＩＮＥ２，φＬＩＮＥ３，φＬＩＮＥ４を供給する１０本の行信号線とから構成される。コンデンサＣＤ１は、画素部４１に設けられる複数の画素のうち、各列に配置されるＧ色画素から垂直信号線４７ｂに出力された電圧信号を保持する。
加算トランジスタＡＤＤ１は、６Ｒ−５（Ｒ＝１，２，３・・）列目の垂直信号線４７ｂと、６Ｒ−４列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ１は、制御信号φＡＤＤ１が出力されることでオンとなり、６Ｒ−５列目の垂直信号線４７ｂと６Ｒ−４列目の垂直信号線４７ｂとを短絡させる。
The addition transistor ADD 1 is connected to the
加算トランジスタＡＤＤ２は、６Ｒ−４列目の垂直信号線４７ｂと６Ｒ−３列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ２は、制御信号φＡＤＤ２が出力されることでオンとなり、６Ｒ−４列目の垂直信号線４７ｂと６Ｒ−３列目の垂直信号線４７ｂとを短絡させる。
Summing transistor ADD 2 are connected to each of the 6R-4 column of
加算トランジスタＡＤＤ３は、６Ｒ−３列目の垂直信号線４７ｂと６Ｒ−２列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ３は、制御信号φＡＤＤ３が出力されることでオンとなり、６Ｒ−３列目の垂直信号線４７ｂと６Ｒ−２列目の垂直信号線４７ｂとを短絡させる。
Summing transistor ADD 3 is connected to each of the 6R-3 column of the
加算トランジスタＡＤＤ４は、６Ｒ−２列目の垂直信号線４７ｂと６Ｒ−１列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ４は、制御信号φＡＤＤ４が出力されることでオンとなり、６Ｒ−２列目の垂直信号線４７ｂと６Ｒ−１列目の垂直信号線４７ｂとを短絡させる。
Summing transistor ADD 4 is connected to each of the 6R-2 column of the
加算トランジスタＡＤＤ５は、６Ｒ−１列目の垂直信号線４７ｂと６Ｒ列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ５は、制御信号φＡＤＤ５が出力されることでオンとなり、６Ｒ−１列目の垂直信号線４７ｂと６Ｒ列目の垂直信号線４７ｂとを短絡させる。
The addition transistor ADD 5 is connected to each of the
加算トランジスタＡＤＤ６は、６Ｒ列目の垂直信号線４７ｂと６Ｒ＋１列目の垂直信号線４７ｂとのそれぞれに接続される。この加算トランジスタＡＤＤ６は、制御信号φＡＤＤ６が出力されることでオンとなり、６Ｒ列目の垂直信号線４７ｂと６Ｒ＋１列目の垂直信号線４７ｂとを短絡させる。
The addition transistor ADD 6 is connected to each of the
スイッチングトランジスタＳＷ１は、列ごとに読み出した電圧信号を読み出す。例えば、４Ｓ−３（Ｓ＝１，２，３，・・・）列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ１が入力され、４Ｓ−２列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ２が入力される。また、４Ｓ−１列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ３が入力され、４Ｓ列に配置されるスイッチトランジスタＳＷ１のゲート電極には信号φＬＩＮＥ４が入力される。このスイッチングトランジスタＳＷ１がオンとなることにより、対応する列のコンデンサＣＤ１に保持される電圧信号がカラムアンプＣＡＭＰ１に出力される。 The switching transistor SW1 reads the voltage signal read for each column. For example, the signal φLINE1 is input to the gate electrode of the switch transistor SW1 arranged in the 4S-3 (S = 1, 2, 3,...) Column, and the gate of the switch transistor SW1 arranged in the 4S-2 column. A signal φLINE2 is input to the electrode. A signal φLINE3 is input to the gate electrode of the switch transistor SW1 arranged in the 4S-1 column, and a signal φLINE4 is input to the gate electrode of the switch transistor SW1 arranged in the 4S column. When the switching transistor SW1 is turned on, a voltage signal held in the capacitor CD1 of the corresponding column is output to the column amplifier CAMP1.
切替え部４３ｂは、コンデンサＣＤ２、加算トランジスタＡＤＤ７，ＡＤＤ８，ＡＤＤ９，ＡＤＤ１０、スイッチングトランジスタＳＷ２、制御信号φＡＤＤ７，φＡＤＤ８，φＡＤＤ９，φＡＤＤ１０、制御信号φＬＩＮＥ５，φＬＩＮＥ６，φＬＩＮＥ７、φＬＩＮＥ８を供給する８本の行信号線とから構成される。コンデンサＣＤ２は、画素部４１に設けられる複数の画素のうち、各列に配置されるＲ色画素、又はＢ色画素から垂直信号線４７ａに出力された電圧信号を保持する。
加算トランジスタＡＤＤ７は、６Ｒ−５列目の垂直信号線４７ａと、６Ｒ−３列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ７は、制御信号φＡＤＤ７が出力されることでオンとなり、６Ｒ−５列目の垂直信号線４７ａと６Ｒ−３列目の垂直信号線４７ａとを短絡させる。
The addition transistor ADD 7 is connected to the
加算トランジスタＡＤＤ８は、６Ｒ−４列目の垂直信号線４７ａと、６Ｒ−２列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ８は、制御信号φＡＤＤ８が出力されることでオンとなり、６Ｒ−４列目の垂直信号線４７ａと６Ｒ−２列目の垂直信号線４７ａとを短絡させる。
The addition transistor ADD 8 is connected to the
加算トランジスタＡＤＤ９は、６Ｒ−２列目の垂直信号線４７ａと、６Ｒ列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ９は、制御信号φＡＤＤ９が出力されることでオンとなり、６Ｒ−２列目の垂直信号線４７ａ、６Ｒ列目の垂直信号線４７ａを短絡させる。
The addition transistor ADD 9 is connected to the
加算トランジスタＡＤＤ１０は、６Ｒ−１列目の垂直信号線４７ａと、６Ｒ＋１列目の垂直信号線４７ａとに接続される。この加算トランジスタＡＤＤ１０は、制御信号φＡＤＤ１０が出力されることでオンとなり、６Ｒ−１列目の垂直信号線４７ａ、６Ｒ＋１列目の垂直信号線４７ａを短絡させる。
Summing transistor ADD 10 includes a 6R-1 column of the
スイッチングトランジスタＳＷ２は、列ごとに読み出した電圧信号を読み出す。ここで、４Ｓ−３列に配置されるスイッチトランジスタＳＷ２のゲート電極には制御信号φＬＩＮＥ５が入力され、４Ｓ−２列に配置されるスイッチトランジスタＳＷ２のゲート電極には信号φＬＩＮＥ６が入力される。また、４Ｓ−１列に配置されるスイッチトランジスタＳＷ２のゲート電極には信号φＬＩＮＥ７が入力され、４Ｓ列に配置されるスイッチトランジスタＳＷ２のゲート電極には信号φＬＩＮＥ８が入力される。このスイッチングトランジスタＳＷ２がオンとなることにより、対応する列のコンデンサＣＤ２に保持される電圧信号がカラムアンプＣＡＭＰ２に出力される。 The switching transistor SW2 reads the voltage signal read for each column. Here, the control signal φLINE5 is input to the gate electrode of the switch transistor SW2 arranged in the 4S-3 column, and the signal φLINE6 is input to the gate electrode of the switch transistor SW2 arranged in the 4S-2 column. A signal φLINE7 is input to the gate electrode of the switch transistor SW2 arranged in the 4S-1 column, and a signal φLINE8 is input to the gate electrode of the switch transistor SW2 arranged in the 4S column. When the switching transistor SW2 is turned on, a voltage signal held in the capacitor CD2 of the corresponding column is output to the column amplifier CAMP2.
カラムアンプＣＡＭＰ１及びカラムアンプＣＡＭＰ２は、対応の垂直信号線に接続された各画素から出力された電圧信号を受ける。各画素からは、入射光を受光した際の光電変換によって得られる電荷量に応じた電圧信号（光信号）と、光電変換によって生成された電荷がリセットされたときの電圧信号（暗信号）とを出力する。これらカラムアンプＣＡＭＰ１，ＣＡＭＰ２は、光信号と暗信号とをサンプルホールドし、光信号と暗信号との差分を示す差分信号を増幅して出力する。 The column amplifier CAMP1 and the column amplifier CAMP2 receive the voltage signal output from each pixel connected to the corresponding vertical signal line. From each pixel, a voltage signal (optical signal) corresponding to the amount of charge obtained by photoelectric conversion when incident light is received, and a voltage signal (dark signal) when the charge generated by photoelectric conversion is reset Is output. These column amplifiers CAMP1 and CAMP2 sample and hold the optical signal and the dark signal, amplify and output a differential signal indicating the difference between the optical signal and the dark signal.
垂直走査回路４４は、図示を省略した信号生成回路とバッファ回路とを備え、制御信号φＴＸ、制御信号φＲＳＴ、制御信号φＳＷ３及び制御信号φＧＡＩＮの各信号や電源ＶＣＣを、画素部４１に２次元に配置される各画素に対して行毎に供給する。
The
水平走査回路４５ａは、プリチャージ部４２ａに対して制御信号φＰＲＥや、電源Ｖｐｒｅを供給する。また、水平走査回路４５ａは、切替え部４３ａに対して制御信号φＡＤＤ１，φＡＤＤ２，φＡＤＤ３，φＡＤＤ４，φＡＤＤ５，φＡＤＤ６，制御信号φＬＩＮＥ１，φＬＩＮＥ２，φＬＩＮＥ３，φＬＩＮＥ４の各信号を供給する。
The
同様にして、水平走査回路４５ｂは、プリチャージ部４２ｂに対して制御信号φＰＲＥや電源Ｖｐｒｅを供給する。また、水平走査回路４５ｂは、切替え部４３ｂに対して制御信号φＡＤＤ７，φＡＤＤ８，φＡＤＤ９，φＡＤＤ１０，制御信号φＬＩＮＥ５、φＬＩＮＥ６，φＬＩＮＥ７、φＬＩＮＥ８の各信号を供給する。
Similarly, the
次に、撮像素子１６の画素部４１に配置される画素の構成について、図３を用いて説明する。撮像素子１６の画素Ｐは、フォトダイオードＰＤ、転送トランジスタＴＸ、フローティングディフュージョンＦＤ、増幅トランジスタＡＭＩ、リセットトランジスタＲＳＴ、電流源ＩＳＳ、スイッチングトランジスタＳＷ３、アンプＡＭＰを備えている。
Next, the configuration of the pixels arranged in the
フォトダイオードＰＤは、入射光を光電変換することにより、入射光の受光量に応じた電荷を生成する。転送トランジスタＴＸは、ゲート電極に供給される制御信号φＴＸに応答して、フォトダイオードＰＤにて生成された電荷をフローティングディフュージョンＦＤに転送する。フローティングディフュージョンＦＤは、転送トランジスタＴＸから転送された電荷を蓄積する。フローティングディフュージョンＦＤの電位は、蓄積された電荷量に応じて決まる。 The photodiode PD generates charges according to the amount of incident light received by photoelectrically converting the incident light. The transfer transistor TX transfers the charge generated by the photodiode PD to the floating diffusion FD in response to the control signal φTX supplied to the gate electrode. The floating diffusion FD accumulates the charges transferred from the transfer transistor TX. The potential of the floating diffusion FD is determined according to the amount of accumulated charge.
増幅トランジスタＡＭＩは、そのドレイン電極が電源ノードＶＣＣに接続され、そのゲート電圧がフローティングディフュージョンＦＤに接続される。また、増幅トランジスタＡＭＩのソース電極は電流源ＩＳＳに接続される。この増幅トランジスタＡＭＩによりソースフォロアが構成される結果、増幅トランジスタＡＭＩのソース電極には、フローティングディフュージョンＦＤの電位に応じた電圧が生じる。 The amplification transistor AMI has its drain electrode connected to the power supply node VCC and its gate voltage connected to the floating diffusion FD. The source electrode of the amplification transistor AMI is connected to the current source ISS. As a result of the amplification transistor AMI forming a source follower, a voltage corresponding to the potential of the floating diffusion FD is generated at the source electrode of the amplification transistor AMI.
リセットトランジスタＲＳＴは、電源ノードＶＣＣとフローティングディフュージョンＦＤとの間に接続される。リセットトランジスタＲＳＴは、そのゲート電極に供給される制御信号φＲＳＴに応答してフローティングディフュージョンＦＤの電位をリセットする。 Reset transistor RST is connected between power supply node VCC and floating diffusion FD. The reset transistor RST resets the potential of the floating diffusion FD in response to the control signal φRST supplied to the gate electrode.
アンプＡＭＰは、増幅トランジスタＡＭＩにより生じる電圧に対して所定のゲインを乗算することで入力される電圧を増幅する。なお、入力される電圧に対して乗算されるゲインについては後述するが、アンプＡＭＰは、例えば撮像素子１６に配置される複数の画素を全て読み出す際に用いるゲインと、撮像素子１６に配置される複数の画素を間引きながら加算して読み出す際に用いるゲインとを切り替えることができるようになっている。なお、このゲインの切り替えは、制御信号φＧＡＩＮの出力の有無により実行される。スイッチングトランジスタＳＷ３は、信号φＳＷ３の出力によりオンとなる。このスイッチングトランジスタＳＷ３がオンとなることで、アンプＡＭＰにより増幅された電圧信号が垂直信号線４７に出力される。
The amplifier AMP amplifies the input voltage by multiplying the voltage generated by the amplification transistor AMI by a predetermined gain. The gain multiplied by the input voltage will be described later. For example, the amplifier AMP is disposed in the
次に、各画素におけるアンプＡＭＰのゲインについて説明する。なお、静止画像を撮影する場合には、全画素読み出しにより撮像素子１６を制御することから、各画素のアンプＡＭＰに対するゲインは１となる。
Next, the gain of the amplifier AMP in each pixel will be described. When a still image is taken, the
一方、動画像を撮影する場合には、加算間引き読出しにより撮像素子１６を制御する。上述したように、第１実施形態では、撮影により得られる動画像の画像サイズは、静止画像の画像サイズ（Ｗ×Ｈ）に対して、水平方向及び垂直方向にそれぞれ１／３倍に縮小した、Ｗ／３×Ｈ／３の画像サイズに設定される。
On the other hand, when shooting a moving image, the
撮像素子１６における各画素の位置を、Ｒ（ｉ，ｊ）、Ｇ（ｉ＋１，ｊ）、Ｇ（ｉ，ｊ＋１）、Ｂ（ｉ＋１，ｊ＋１）等で表す。なお、ｉは水平方向の座標、ｊは垂直方向の座標である。一方、取得される動画像における各画素の位置を、Ｒ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）、Ｂ’（ｘ，ｙ）等で表す。なお、ｘは水平方向の座標、ｙは垂直方向の座標である。
The position of each pixel in the
図４は、加算間引き読出しにより読み出された動画像の画素と、撮像素子１６上の画素の位置関係を示している。図４においては、撮像素子１６の画素部４１に配置される各画素を薄線で示し、動画像の各画素を太線で示している。第１実施形態は、撮像素子１６の画素部４１に配置される画素のうち、４行４列の画素の範囲（ハッチングの範囲）に含まれる同色画素の信号値を加重加算することで、動画像の画素の各色成分の信号値を生成する場合を示す。以下、４行４列の画素の範囲を読出範囲と称し、符号６０を付与する。
FIG. 4 shows the positional relationship between the pixels of the moving image read by the addition thinning readout and the pixels on the
読出範囲６０における同色画素の信号値を用いた加重加算は、動画像の画素における各色成分の重心位置が、読出範囲６０における重心位置と一致するように実行される。なお、図４においては、記号「○」で示す位置が読出範囲６０における重心位置である。
The weighted addition using the signal value of the same color pixel in the
加算間引き読出しにより生成される画素における各色成分の重心位置を、読出範囲における重心位置と一致させる方法として、加重加算における各画素の加重係数をガウス分布に基づいて設定することが挙げられる。図５は、４行４列の画素の範囲を読出範囲とした場合に設定される各画素に対する重みの一例である。読出範囲に含まれる各画素の重みは、読出範囲６０の重心位置を中心とするガウス分布に基づいて設定される。
As a method of matching the barycentric position of each color component in the pixel generated by the addition thinning-out reading with the barycentric position in the reading range, setting the weighting coefficient of each pixel in the weighted addition based on a Gaussian distribution can be mentioned. FIG. 5 is an example of the weight for each pixel set when the pixel range of 4 rows and 4 columns is set as the readout range. The weight of each pixel included in the readout range is set based on a Gaussian distribution with the center of gravity of the
第１実施形態では、図６に示すように、動画像の奇数行目（ｙ行目、ｙ＋２行目・・）に配置される画素に関してはＲ色成分及びＢ色成分の信号値を読み出し、動画像の偶数行目（ｙ＋１行目、ｙ＋３行目・・）に配置される画素に関してはＧ色成分及びＢ色成分の信号値を読み出す場合を説明する。なお、２×２画素のベイヤー配列においては、Ｇ色画素が２画素含まれることから、以後、Ｇ画素については、Ｇｒ画素、Ｇｂ画素と称する。 In the first embodiment, as shown in FIG. 6, the signal values of the R color component and the B color component are read for the pixels arranged in the odd-numbered rows (y-th row, y + 2-th row,...) Of the moving image, The case where the signal values of the G color component and the B color component are read out for the pixels arranged in the even-numbered rows (y + 1 row, y + 3 row...) Of the moving image will be described. Since the 2 × 2 pixel Bayer array includes two G color pixels, the G pixel is hereinafter referred to as a Gr pixel and a Gb pixel.
図７に示すように、左上隅にあるＲ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この読出範囲６０においては、撮像素子１６上の座標（ｉ，ｊ）にあるＲ色画素が基準となる画素（以下、基準画素）として設定される。この場合、基準画素は、Ｒ色画素とＧｒ色画素とが交互に配置される行にある。つまり、色画素又はＧｒ色画素のいずれかの画素が基準画素となる。この場合の読出範囲６０に対しては、読出範囲６０に含まれるＲ色画素、Ｇｒ色画素、Ｇｂ色画素及びＢ色画素のうち、Ｂ色画素を除いた画素の信号値を用いて、動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分の信号値を求める。動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分の信号値は、（１）式で表わされる。
As shown in FIG. 7, a case is considered in which the
ここで、Ｒ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）は、動画像における座標（ｘ，ｙ）の画素のＲ色成分の信号値及びＧ色成分の信号値を示す。 Here, R ′ (x, y) and G ′ (x, y) indicate the signal value of the R color component and the signal value of the G color component of the pixel at the coordinate (x, y) in the moving image.
つまり、左上隅にあるＲ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＲ色画素及びＧ色画素のアンプＡＭＰのゲインは、上述した（１）式が成り立つように設定される。
That is, in the case of the
次に、図８に示すように、左上隅にあるＧｒ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この場合も、Ｒ色画素を基準画素とした場合と同様に、読出範囲に含まれるＲ色画素、Ｇｒ色画素、Ｇｂ色画素及びＢ色画素のうち、Ｂ色画素を除いた画素の信号値を用いて、動画像における座標（ｘ＋１，ｙ）にある画素のＲ色成分、Ｇ色成分の信号値を求める。動画像における座標（ｘ＋１，ｙ）にある画素のＲ色成分、Ｇ色成分の信号値は、（２）式で表わされる。
Next, as shown in FIG. 8, a case is considered in which the
ここで、Ｒ’（ｘ＋１，ｙ）、Ｇ’（ｘ＋１，ｙ）は、動画像における座標（ｘ＋１，ｙ）の画素のＲ色成分の信号値及びＧ色成分の信号値を示す。 Here, R ′ (x + 1, y) and G ′ (x + 1, y) indicate the signal value of the R color component and the signal value of the G color component of the pixel at the coordinate (x + 1, y) in the moving image.
つまり、左上隅にあるＧｒ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＲ色画素及びＧ色画素のアンプＡＭＰのゲインは、上述した（２）式が成り立つように設定される。
That is, in the case of the
次に、図９に示すように、左上隅にあるＧｂ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この読出範囲６０においては、撮像素子１６上の座標（ｉ，ｊ）にあるＧｂ色画素が基準画素として設定される。この場合、基準画素は、Ｇｂ色画素とＢ色画素とが交互に配置される行にある。つまり、Ｇｂ色画素又はＢ画素のいずれかの画素が基準画素となる。この場合の読出範囲６０に対しては、読出範囲６０に含まれるＲ色画素、Ｇｒ色画素、Ｇｂ色画素及びＢ色画素のうち、Ｒ色画素を除いた画素の信号値を用いて、動画像における座標（ｘ，ｙ＋１）にある画素のＧ色成分、Ｂ色成分の信号値を求める。動画像における座標（ｘ，ｙ＋１）にある画素のＲ色成分、Ｇ色成分の信号値は、（３）式で表わされる。
Next, as shown in FIG. 9, consider a case where a
ここで、Ｇ’（ｘ，ｙ＋１）、Ｂ’（ｘ，ｙ＋１）は、動画像における座標（ｘ，ｙ＋１）の画素のＧ色成分の信号値及びＢ色成分の信号値を示す。 Here, G ′ (x, y + 1) and B ′ (x, y + 1) indicate the signal value of the G color component and the signal value of the B color component of the pixel at the coordinate (x, y + 1) in the moving image.
つまり、左上隅にあるＧｂ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＧ色画素及びＢ色画素のアンプＡＭＰのゲインは、上述した（３）式が成り立つように設定される。
In other words, in the case of the
最後に、図１０に示すように、左上隅にあるＧｒ色画素を基準にした４行４列の画素の範囲（ハッチングの領域）を読出範囲６０とした場合について考慮する。この場合、読出範囲６０に含まれるＲ色画素、Ｇｒ色画素、Ｇｂ色画素及びＢ色画素のうち、Ｒ色画素を除いた画素を用いて、動画像における座標（ｘ＋１，ｙ＋１）にある画素のＧ色成分、Ｂ色成分の各信号値を求める。この場合、動画像における座標（ｘ＋１，ｙ＋１）にある画素のＧ色成分、Ｂ色成分の各信号値は、（４）式で表わされる。
Finally, as shown in FIG. 10, a case is considered in which the
ここで、Ｇ’（ｘ＋１，ｙ＋１）、Ｂ’（ｘ＋１，ｙ＋１）は、動画像における座標（ｘ，ｙ＋１）の画素のＧ色成分の信号値及びＢ色成分の信号値を示す。 Here, G ′ (x + 1, y + 1) and B ′ (x + 1, y + 1) indicate the signal value of the G color component and the signal value of the B color component of the pixel at the coordinate (x, y + 1) in the moving image.
つまり、左上隅にあるＢ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＧ色画素及びＢ色画素のアンプＡＭＰのゲインは、上述した（４）式が成り立つように設定される。
That is, in the case of the
次に、撮像素子１６から画像信号を読み出す場合の処理について説明する。静止画像の撮影においては、撮像素子１６の画素部４１に配置された複数の画素のそれぞれで蓄積された電荷を、画素毎に読み出す、全画素読み出しにて実行される。この全画素読み出しにおいては、複数の画素を行毎に読み出していく。この全画素読み出しでは、垂直走査回路４４は、制御信号φＧＡＩＮを出力しない。これにより、各画素に設けられたアンプＡＭＰのゲインが１となる。また、水平走査回路４５ａ及び水平走査回路４５ｂは、切替え部４３ａに設けられる各加算トランジスタに対しての制御信号を出力しない。この全画像読み出しにおいては、撮像素子１６から出力される画像信号は、各画素の色成分がＲ色、Ｇ色、Ｂ色のいずれかの色成分からなる画像信号となる。
Next, a process for reading an image signal from the
一方、動画像の撮影においては、撮像素子１６の画素部４１に配置された複数の画素のうち、例えば４行４列の画素の範囲を読出範囲６０として色成分毎に加重加算により読み出す、加算間引き読出しが行われる。
On the other hand, in moving image shooting, for example, a range of pixels of 4 rows and 4 columns among a plurality of pixels arranged in the
まず、垂直走査回路４４は、読出範囲６０に含まれる４行に配置された各画素に対して制御信号φＧＡＩＮを出力する。この出力を受けて、各画素のアンプＡＭＰのゲインが１から加重加算を用いた加算間引き読出し時のゲインの値に切り替わる。なお、切り替わるゲインの値は、上述した（１）式から（４）式のいずれかの式を満たす値である。そして、垂直走査回路４４は、制御信号φＳＷ３を出力する。これにより、読出範囲に含まれる各画素から、アンプＡＭＰにより増幅された電圧信号が対応する垂直信号線に出力される。この垂直信号線に出力された電圧信号は、コンデンサＣＤ１に蓄積される。その後、垂直走査回路４４は、制御信号φＳＷ３の出力を停止する。
First, the
ここで、Ｒ色画素、Ｇｒ色画素が交互に配置された行の画素が読出範囲の基準画素となる場合の加算間引き読出しについて説明する。 Here, addition thinning-out readout when pixels in a row in which R color pixels and Gr color pixels are alternately arranged serves as a reference pixel in the readout range will be described.
水平走査回路４５ａは、制御信号φＡＤＤ１，φＡＤＤ２，φＡＤＤ３を出力する。これにより、加算トランジスタＡＤＤ１，ＡＤＤ２，ＡＤＤ３がオンとなり、これら垂直信号線４７ｂがそれぞれ短絡する。これにより、６Ｒ−５列目、６Ｒ−４列目、６Ｒ−３列目及び６Ｒ−２列目の垂直信号線４７ｂにそれぞれ接続されるコンデンサＣＤ１の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ１，φＡＤＤ２，φＡＤＤ３の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ１を出力する。これにより、６Ｒ−５列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ１がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ１に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、例えば動画像における座標（ｘ，ｙ）にある画素のＧ色成分の信号値となる。
The
水平走査回路４５ｂは、制御信号φＡＤＤ７を出力する。加算トランジスタＡＤＤ７がオンとなると、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ７の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ５を出力する。これにより、６Ｒ−５列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−５列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ，ｙ）にある画素のＲ色成分の信号となる。
この読み出しの後、垂直走査回路４４は、制御信号φＳＷ３を出力する。また、水平走査回路４５ａは、制御信号φＡＤＤ４，φＡＤＤ５，φＡＤＤ６を出力する。これを受けて、加算トランジスタＡＤＤ４，ＡＤＤ５，ＡＤＤ６がオンとなり、６Ｒ−２列目、６Ｒ−１列目、６Ｒ列目、６Ｒ＋１列目の垂直信号線４７ｂが短絡する。これにより、これら垂直信号線４７ｂに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ４，φＡＤＤ５，φＡＤＤ６の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ４を出力する。これにより、６Ｒ−２列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ１がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ１に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、動画像の座標（ｘ＋１，ｙ）にある画素のＧ色成分の信号となる。
After this reading, the
水平走査回路４５ｂは、制御信号φＡＤＤ１０を出力する。加算トランジスタＡＤＤ１０がオンとなると、６Ｒ−１列目及び６Ｒ＋１列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−１列目及び６Ｒ＋１列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ１０の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ５を出力する。これにより、６Ｒ−１列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−１列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ＋１，ｙ）にある画素のＲ色成分の信号となる。
このようにして、読出範囲６０を水平方向に３画素ずつずらしながら、加算間引き読出しにより読み出していく。その後、読出範囲６０を垂直方向に３画素ずらした後、読出範囲を水平方向に３画素ずつずらしながら、加算間引き読出しにより読み出す。
In this manner, the
次に、読出範囲６０の基準画素がＧｂ色画素、Ｂ色画素が交互に配置された行の画素となる場合の加算間引き読出しについて説明する。なお、水平走査回路４５ａにおける信号の出力は、読出範囲６０の基準画素がＲ色画素、Ｇｒ色画素が交互に配置された行の画素となる場合の加算間引き読出しと同様の読み出し方法で実行される。これにより、動画像の座標（ｘ，ｙ＋１）及び座標（ｘ＋１，ｙ＋１）にある画素のＧ色成分の信号値が得られる。以下、Ｂ色成分の信号を読み出す場合について説明する。
Next, addition thinning readout when the reference pixel in the
水平走査回路４５ｂは、制御信号φＡＤＤ８を出力する。加算トランジスタＡＤＤ８がオンとなると、６Ｒ−４列目及び６Ｒ−２列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−４列目及び６Ｒ−２列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ８の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ６を出力する。これにより、６Ｒ−４列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−４列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ，ｙ＋１）にある画素のＢ色成分の信号となる。
また、水平走査回路４５ｂは、制御信号φＡＤＤ９を出力する。加算トランジスタＡＤＤ９がオンとなると、６Ｒ−２列目及び６Ｒ列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−２列目及び６Ｒ列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ８の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ８を出力する。これにより、６Ｒ−２列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−２列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ＋１，ｙ＋１）にある画素のＢ色成分の信号となる。
The
このようにして、Ｇ色画素及びＢ色画素が交互に配置された行の画素を基準画素に設定した場合も、読出範囲６０を水平方向に３画素ずつずらしながら、加算間引き読出しにより読み出す。
In this way, even when pixels in a row in which G color pixels and B color pixels are alternately arranged are set as reference pixels, readout is performed by addition thinning readout while the
上述した方法により、撮像素子１６の画素部４１に配置される複数の画素に対して加算間引き読出しが実行され、動画像の各画素の信号値が取得される。この場合、図に示すように、動画像を構成する各画素のうち、奇数行目（ｙ行目、ｙ＋２行目・・）に配置される画素は、それぞれＲ色成分及びＧ色成分の信号値を有している。また、偶数行目（ｙ＋１行目、ｙ＋３行目・・）に配置される画素は、それぞれＧ色成分及びＢ色成分の信号値を有している。つまり、これら動画像の各画素においては、１つの色成分の信号値が得られていないことになる。そこで、撮像素子１６から出力される２つの色成分の信号値を有する画像信号に対して、画像処理回路２３は、色補間処理を実行する。
By the above-described method, addition thinning-out readout is executed for a plurality of pixels arranged in the
ここで、動画像の偶数行目（ｙ＋１行目、ｙ＋３行目・・）に配置される画素に対する色補間処理について説明する。まず、動画像の座標（ｘ，ｙ）にある画素と、座標（ｘ、ｙ＋２）にある画素のそれぞれで、色差成分の信号値を求める。この色差成分の信号値は、（５）式を用いて求められる。 Here, the color interpolation processing for the pixels arranged in the even-numbered lines (y + 1 line, y + 3 line...) Of the moving image will be described. First, the signal value of the color difference component is obtained for each of the pixel at the coordinate (x, y) of the moving image and the pixel at the coordinate (x, y + 2). The signal value of this color difference component is obtained using equation (5).
そして、画像処理回路２３は、（５）式にて求めた色差成分の信号値を用いて、動画像の座標（ｘ、ｙ＋１）の画素において不足するＲ色成分の信号値を求める。なお、Ｒ色成分の信号値は、（６）式を用いて求められる。
Then, the
このようにして、動画像を構成する画素のうち、偶数行目（ｙ＋１行目、ｙ＋３行目・・）に配置される画素のそれぞれ不足するＲ色成分の信号値を求める。 In this way, the signal values of the R color components that are deficient in the pixels arranged in the even-numbered rows (y + 1 row, y + 3 row,...) Among the pixels constituting the moving image are obtained.
一方、奇数行目（ｙ行目、ｙ＋２行目・・）に配置される画素においては、Ｂ色成分の信号値が不足している。例えばｙ＋２行目に配置される画素については、ｙ行目及びｙ＋２行目に配置される同一列の画素を用いて色差成分の信号値を求めた後、（６）式の手法を用いて、不足するＢ色成分の信号値を求めればよい。なお、ｙ行目に配置される画素については、ｙ−１行目に配置される画素がないことから、ｙ＋１行目のＢ色成分の信号値を、ｙ行目に配置される画素のＢ色成分の信号値としてもよい。このように、色補間処理を実行することで、Ｒ色成分、Ｇ色成分及びＢ色成分の全ての色成分を備えた画像信号を得ることができる。 On the other hand, in the pixels arranged in the odd-numbered rows (y-th row, y + 2-th row,...), The signal value of the B color component is insufficient. For example, for the pixel arranged in the y + 2 row, after obtaining the signal value of the color difference component using the pixels in the same column arranged in the y row and the y + 2 row, using the method of the equation (6), What is necessary is just to obtain | require the signal value of the B color component which is insufficient. As for the pixel arranged in the y-th row, since there is no pixel arranged in the y−1-th row, the signal value of the B color component in the y + 1-th row is changed to B of the pixel arranged in the y-th row. It may be a signal value of a color component. As described above, by executing the color interpolation process, an image signal including all the color components of the R color component, the G color component, and the B color component can be obtained.
なお、第１実施形態においては、加算間引き読出しを行うことで、色差成分の信号値を求めることが可能な２つの色成分の信号値を有する画像信号を得ることになる。例えば動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／３倍、垂直方向に１／３倍の画像サイズとした場合、読み出される画像信号のデータ量は、静止画像の際に読み出される画像信号のデータ量の１／３×１／３×２＝２／９倍のデータ量となる。これにより、動画像の撮影時に各フレーム画像を高速で読み出すことができる。 In the first embodiment, by performing addition thinning-out reading, an image signal having signal values of two color components from which the signal value of the color difference component can be obtained is obtained. For example, when the image size of a moving image is set to an image size that is 1/3 times in the horizontal direction and 1/3 times in the vertical direction with respect to the image size of the still image, the data amount of the read image signal is the still image At this time, the data amount is 1/3 × 1/3 × 2 = 2/9 times the data amount of the image signal read out. Thus, each frame image can be read at a high speed when a moving image is captured.
この第１実施形態では、動画像の各画素における各色成分の信号値は、加算読み出しにより読み出された後、色補間処理が実行される。例えば通常の間引き読出しにより読み出される画像信号を用いた色補間処理の場合には、読み出されていない画素の信号値を用いずに色補間処理を行うため、モアレや偽色が発生しやすくなるが、第１実施形態においては、加算間引き読出しにより得られる各色成分の信号値の重心位置が一致するように、各画素のゲインを設定している。このため、得られる動画像に対して色補間処理を行った場合であっても、モアレや偽色の発生を抑制することができる。 In the first embodiment, the color interpolation processing is executed after the signal value of each color component in each pixel of the moving image is read by addition reading. For example, in the case of color interpolation processing using an image signal read out by normal thinning readout, color interpolation processing is performed without using signal values of pixels that have not been read out, so that moire and false colors are likely to occur. However, in the first embodiment, the gain of each pixel is set so that the barycentric positions of the signal values of the respective color components obtained by the addition thinning readout match. For this reason, even when color interpolation processing is performed on the obtained moving image, it is possible to suppress the occurrence of moire and false colors.
第１実施形態では、ｙ＋（２ｍ−２）行目（ｍ＝１，２，３・・・）に配置される画素に対しては、Ｒ色成分及びＧ色成分の信号値を読み出し、ｙ＋（２ｍ−１）行目に配置される画素に対してはＧ色成分及びＢ色成分の信号値を読み出している。しかしながら、動画像の各画素に対して読み出す色成分は、上記に限定される必要はない。 In the first embodiment, for the pixels arranged in the y + (2m−2) th row (m = 1, 2, 3,...), The signal values of the R color component and the G color component are read out, and y + For the pixels arranged in the (2m-1) th row, the signal values of the G color component and the B color component are read out. However, the color components read out for each pixel of the moving image need not be limited to the above.
以下、Ｒ色成分及びＧ色成分の信号値の読み出しと、Ｇ色成分及びＢ色成分の信号値の読み出しとを同一行において交互に行う場合について、第２実施形態として説明する。 Hereinafter, a case where the reading of the signal values of the R color component and the G color component and the reading of the signal values of the G color component and the B color component are alternately performed in the same row will be described as a second embodiment.
＜第２実施形態＞
この第２実施形態の撮像素子の構成は、第１実施形態の撮像素子１６の構成と同一の構成からなることから、撮像素子１６の構成についての説明は省略する。
この場合、第１実施形態と同様に、４行４列の画素の範囲を読出範囲６０とし、また、
Second Embodiment
Since the configuration of the image sensor of the second embodiment is the same as the configuration of the
In this case, as in the first embodiment, the pixel range of 4 rows and 4 columns is set as the
読出範囲に含まれる各画素の重みは、図６に示す読出範囲６０の重心位置を中心とするガウス分布に基づいて設定される。
The weight of each pixel included in the readout range is set based on a Gaussian distribution centering on the position of the center of gravity of the
この第２実施形態においては、動画像の各画素においては、図１１に示すように、Ｒ色成分及びＧ色成分の信号値が読み出される画素と、Ｇ色成分とＢ色成分の信号値が読み出される画素とが、水平方向及び垂直方向に、それぞれ交互に配置される場合を示す。 In the second embodiment, in each pixel of the moving image, as shown in FIG. 11, a pixel from which the signal values of the R color component and the G color component are read, and the signal values of the G color component and the B color component are A case where pixels to be read out are alternately arranged in the horizontal direction and the vertical direction is shown.
図７に示すように、Ｒ色画素を基準画素とした読出範囲６０の場合は、第１実施形態と同様に、動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分の各信号値は、上述した（１）式で表わされる。このため、読出範囲６０に含まれるＲ色画素及びＧ色画素のアンプＡＭＰのゲインは、上述した（１）式を満足するように設定される。
As shown in FIG. 7, in the case of the
次に、図８に示すように、Ｇｒ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＲ色画素、Ｇｒ色画素、Ｇｂ色画素及びＢ色画素のうち、Ｒ色画素を除いた画素を用いて、動画像における座標（ｘ＋１，ｙ）にある画素のＧ色成分、Ｂ色成分の各信号値を求める。この場合、動画像における座標（ｘ＋１，ｙ）にある画素のＲ色成分、Ｇ色成分の各信号値は、（７）式で表わされる。
Next, as shown in FIG. 8, in the case of the
つまり、Ｇｒ色画素を基準画素とした読出範囲６０の場合には、読出範囲６０に含まれるＧ色画素及びＢ色画素のアンプＡＭＰのゲインは、上述した（７）式が成り立つように設定される。
That is, in the case of the
次に、図９に示すように、Ｇｂ色画素を基準画素とした読出範囲６０の場合について考慮する。この場合、第１実施形態と同様に、動画像における座標（ｘ，ｙ＋１）にある画素のＧ色成分、Ｂ色成分の各信号値は、上述した（３）式で表わされる。このため、読出範囲６０に含まれるＧ色画素及びＢ色画素のアンプＡＭＰのゲインは、上述した（３）式を満足するように設定される。
Next, as shown in FIG. 9, consider the case of a
最後に、図１０に示すように、Ｂ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＲ色画素、Ｇｒ色画素、Ｇｂ色画素及びＢ色画素のうち、Ｂ色画素を除いた画素を用いて、動画像における座標（ｘ＋１，ｙ＋１）にある画素のＲ色成分、Ｇ色成分の各信号値を求める。この場合、動画像における座標（ｘ＋１，ｙ＋１）にある画素のＲ色成分、Ｇ色成分の各信号値は、（８）式で表わされる。
Finally, as shown in FIG. 10, in the case of the
つまり、Ｂ色画素を基準画素とした読出範囲６０の場合、読出範囲６０に含まれるＲ色画素及びＧ色画素のアンプＡＭＰのゲインは、上述した（８）式が成り立つように設定される。
That is, in the case of the
以下、動画像の撮影時に撮像素子１６から画像信号を読み出す場合の処理について説明する。この場合も、第１実施形態と同様に、加算間引き読出しにより撮像素子１６から信号を読み出す。
Hereinafter, a process in the case where an image signal is read from the
まず、垂直走査回路４４は、読出範囲６０に含まれる４行に配置された各画素に対して制御信号φＧＡＩＮを出力する。この出力を受けて、各画素のアンプＡＭＰのゲインが１から所定値に切り替わる。そして、垂直走査回路４４は、制御信号φＳＷ３を出力する。これにより、読出範囲に含まれる各画素から、アンプＡＭＰにより増幅された電圧信号が対応する垂直信号線に出力される。この垂直信号線に出力された電圧信号は、コンデンサＣＤ１に蓄積される。その後、垂直走査回路４４は、制御信号φＳＷ３の出力を停止する。
First, the
水平走査回路４５ａは、制御信号φＡＤＤ１，φＡＤＤ２，φＡＤＤ３を出力する。これにより、加算トランジスタＡＤＤ１，ＡＤＤ２，ＡＤＤ３がオンとなり、６Ｒ−５列、６Ｒ−４列、６Ｒ−３列の垂直信号線４７ｂが短絡する。これにより、各垂直信号線４７ｂに接続されるコンデンサＣＤ１の電荷量が同一となる。その後、水平走査回路４５ａは、φＡＤＤ１，φＡＤＤ２，φＡＤＤ３の出力を停止する。その後、水平走査回路４５ａは、制御信号φＬＩＮＥ１を出力する。これにより、６Ｒ−５列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ１がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ１に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、動画像の座標（ｘ，ｙ）にある画素のＧ色成分の信号値となる。
The
水平走査回路４５ｂは、制御信号φＡＤＤ７を出力する。加算トランジスタＡＤＤ７がオンとなると、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−５列目及び６Ｒ−４列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ７の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ５を出力する。これにより、６Ｒ−５列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−５列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ，ｙ）にある画素のＲ色成分の信号となる。
これら読み出しの後、垂直走査回路４４は、制御信号φＳＷ３を出力する。また、水平走査回路４５ａは、制御信号φＡＤＤ４，φＡＤＤ５，φＡＤＤ６を出力する。これを受けて、加算トランジスタＡＤＤ４，ＡＤＤ５，ＡＤＤ６がオンとなり、６Ｒ−２列目、６Ｒ−１列目、６Ｒ列目、６Ｒ＋１列目の垂直信号線４７ｂが短絡する。これにより、これら垂直信号線４７ｂに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ４，φＡＤＤ５，φＡＤＤ６の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ４を出力する。これにより、６Ｒ−２列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ１がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ１に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、出力される電圧信号が、動画像の座標（ｘ＋１，ｙ）にある画素のＧ色成分の信号となる。
After these readings, the
水平走査回路４５ｂは、制御信号φＡＤＤ９を出力する。加算トランジスタＡＤＤ９がオンとなると、６Ｒ−２列目及び６Ｒ列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−２列目及び６Ｒ列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ９の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ８を出力する。これにより、６Ｒ−２列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−２列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ＋１，ｙ）にある画素のＢ色成分の信号となる。
このようにして、読出範囲を水平方向に３画素ずつずらしながら、加算間引き読出しにより読み出していく。その後、読出範囲を垂直方向に３画素ずらした後、読出範囲を水平方向に３画素ずつずらしながら、加算間引き読出しにより読み出す。
次に、Ｇ色画素及びＢ色画素が交互に配置された行の画素を基準画素とした加算間引き読出しについて説明する。なお、水平走査回路４５ａにおける信号の出力は、読出範囲の基準画素がＲ色画素、Ｇ色画素が交互に配置された行の画素となる場合の加算間引き読出しと同様の読み出し方法で実行される。これにより、動画像の座標（ｘ，ｙ＋１）及び座標（ｘ＋１，ｙ＋１）にある画素のＧ色成分の信号値が取得される。
In this way, the readout range is read by addition thinning readout while shifting the readout range by 3 pixels in the horizontal direction. Thereafter, the readout range is shifted by 3 pixels in the vertical direction, and then readout is performed by addition thinning readout while the readout range is shifted by 3 pixels in the horizontal direction.
Next, addition thinning readout using a pixel in a row in which G color pixels and B color pixels are alternately arranged as a reference pixel will be described. The signal output in the
一方、水平走査回路４５ｂは、制御信号φＡＤＤ８を出力する。加算トランジスタＡＤＤ７がオンとなると、６Ｒ−４列目及び６Ｒ−２列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−４列目及び６Ｒ−２列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ８の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ６を出力する。これにより、６Ｒ−４列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−４列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ，ｙ＋１）にある画素のＢ色成分の信号となる。
On the other hand, the
次に、水平走査回路４５ｂは、制御信号φＡＤＤ１０を出力する。加算トランジスタＡＤＤ１０がオンとなると、６Ｒ−１列目及び６Ｒ＋１列目の垂直信号線４７ａが短絡する。これにより、６Ｒ−１列目及び６Ｒ＋１列目の垂直信号線４７ａに接続されるコンデンサＣＤ２の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ１０の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ５を出力する。これにより、６Ｒ−１列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ２がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ２に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、６Ｒ−１列目の垂直信号線４７ａから出力される電圧信号が、動画像の座標（ｘ＋１，ｙ＋１）にある画素のＲ色成分の信号となる。
Then, the
このようにして、Ｇ色画素及びＢ色画素が交互に配置された行の画素を基準画素に設定した場合も、読出範囲６０を水平方向に３画素ずつずらしながら、加算間引き読出しにより読み出す。
In this way, even when pixels in a row in which G color pixels and B color pixels are alternately arranged are set as reference pixels, readout is performed by addition thinning readout while the
上述した方法により、撮像素子１６の画素部４１に配置される複数の画素に対して加算間引き読出しが実行され、動画像の各画素の信号値が取得される。この場合、図に示すように、動画像を構成する各画素は、Ｒ色成分及びＧ色成分の信号値を有する画素と、Ｇ色成分及びＢ色成分の信号値を有する画素とが交互に配列された状態となる。これら動画像の各画素においては、１つの色成分の信号値が得られていない。そこで、第２実施形態においても、撮像素子１６から出力される２つの色成分の信号値を有する画像信号に対して、画相処理回路２３は、色補間処理を実行する。
By the above-described method, addition thinning-out readout is executed for a plurality of pixels arranged in the
例えば、座標（ｘ＋１，ｙ＋１）にある画素の周囲にある各画素の色差成分の信号値は、（９）式で求められる。 For example, the signal value of the color difference component of each pixel around the pixel at the coordinates (x + 1, y + 1) is obtained by equation (9).
次に、（９）式にて求めた色差成分の信号値を用いて、動画像の座標（ｘ＋１、ｙ＋１）の画素において不足するＢ色成分の信号値が求められる。なお、Ｂ色成分の信号値は、（１０）式を用いて求められる。 Next, the signal value of the B color component that is insufficient in the pixel at the coordinate (x + 1, y + 1) of the moving image is obtained using the signal value of the color difference component obtained by the equation (9). Note that the signal value of the B color component is obtained using equation (10).
このようにして、動画像を構成する画素のそれぞれで不足する色成分の信号値を求めることで、色補間処理が実行される。このように、色補間処理を実行することで、Ｒ色成分、Ｇ色成分及びＢ色成分の全ての色成分を備えた画像信号を得ることができる。また、この場合も、第１実施形態と同様の効果を得ることができる。また、垂直方向だけでなく、水平方向の画素についても考慮していることから、動画像において偽色の発生をさらに抑制することができる。 In this way, the color interpolation processing is executed by obtaining the signal value of the color component that is insufficient in each of the pixels constituting the moving image. As described above, by executing the color interpolation process, an image signal including all the color components of the R color component, the G color component, and the B color component can be obtained. Also in this case, the same effect as in the first embodiment can be obtained. In addition, since consideration is given not only to the vertical direction but also to the horizontal pixel, the occurrence of false colors in the moving image can be further suppressed.
なお、第２実施形態における色補間処理として、（９）式及び（１０）式の手法を用いているが、これに限定される必要はなく、例えば、対象となる画素の周囲に位置する画素の勾配を考慮した色補間処理を行うことも可能である。 In addition, although the method of (9) Formula and (10) Formula is used as the color interpolation process in 2nd Embodiment, it is not necessary to be limited to this, For example, the pixel located around the pixel of object It is also possible to perform color interpolation processing in consideration of the gradient.
この場合、まず、対象となる画素を座標（ｘ＋１，ｙ＋１）にある画素とする。この画素に対して、水平方向におけるＢ色画素の勾配と、垂直方向におけるＢ色画素の勾配とを、それぞれ（１１）式より求める。 In this case, first, the target pixel is a pixel at coordinates (x + 1, y + 1). With respect to this pixel, the gradient of the B color pixel in the horizontal direction and the gradient of the B color pixel in the vertical direction are respectively obtained from Equation (11).
そして、求めた勾配の大小に基づいて色差成分の信号値を求める。色差成分の信号値は、（１２）式にて求められる。 Then, the signal value of the color difference component is obtained based on the magnitude of the obtained gradient. The signal value of the color difference component is obtained by the equation (12).
この（１２）式に基づいた色差成分の信号値を用いて、座標（ｘ＋１，ｙ＋１）にある画素のＢ色成分の信号値を求める。 Using the signal value of the color difference component based on the expression (12), the signal value of the B color component of the pixel at the coordinates (x + 1, y + 1) is obtained.
上述した第２実施形態では、読出範囲６０に含まれる画素のアンプＡＭＰのゲインを、ガウス分布に基づいて設定される重みに基づいた値とすることで、動画像の各画素の各色成分の重心位置が読出範囲における重心位置と一致するように設定している。しかしながら、読出範囲に含まれる画素のアンプＡＭＰのゲインを、ガウス分布に基づいて設定される重みに基づいた値とする必要はない。例えば、読出範囲６０に含まれる画素に対する重みを１として、読出範囲６０に含まれる各画素のアンプＡＭＰのゲインを設定することも可能である。以下、読出範囲６０に含まれる画素に対する重みを１とした場合について、第３実施形態として説明する。
In the second embodiment described above, the gain of the amplifier AMP of the pixels included in the
＜第３実施形態＞
この第３実施形態では、第２実施形態と同様に、撮影により得られる動画像の画像サイズが、静止画像の画像サイズに対して、水平方向及び垂直方向にそれぞれ１／３倍のサイズに設定される場合について説明する。この場合、撮像素子１６の構成は、実施形態１と同一であることから、ここでは、撮像素子１６の構成については省略する。
<Third Embodiment>
In the third embodiment, as in the second embodiment, the image size of the moving image obtained by shooting is set to 1/3 times the horizontal size and the vertical direction of the still image size. The case where it will be described. In this case, since the configuration of the
上述したように、第３実施形態においては、読出範囲６０に含まれる画素に対する重みを１として、読出範囲に含まれる各画素のアンプＡＭＰのゲインを設定する。例えば図７に示すように、動画像における座標（ｘ、ｙ）にある画素のＲ色成分、Ｇ色成分の各信号値は、撮像素子１６上の座標（ｉ，ｊ）にあるＲ色画素を左上端とした４×４画素の範囲（ハッチングの領域）に含まれる画素を用いた加重加算により求められる。
ここで、撮像素子１６上の座標（ｉ，ｊ）にあるＲ色画素を基準画素とした場合には、動画像において、座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分の各信号値は（１３）式で表すことができる。
As described above, in the third embodiment, the weight of the pixel included in the
Here, when the R color pixel at the coordinates (i, j) on the
ここで、（１３）式に示すように、動画像において、座標（ｘ，ｙ）にある画素における各色成分の信号値は、読出範囲６０に含まれる同色画素の信号値を単純加算平均した値となる。
Here, as shown in the equation (13), in the moving image, the signal value of each color component in the pixel at the coordinate (x, y) is a value obtained by simply adding and averaging the signal values of the same color pixel included in the
つまり、動画像における座標（ｘ，ｙ）にある画素のＲ色成分、Ｇ色成分の信号値を読み出す際には、上述した（１３）式が成り立つように、対象となる読出範囲６０に含まれるＲ色画素、Ｇ色画素のそれぞれのアンプＡＭＰのゲインをそれぞれ設定する。
That is, when reading the signal values of the R color component and G color component of the pixel located at the coordinates (x, y) in the moving image, they are included in the target read
同様にして、動画像において、座標（ｘ＋１，ｙ＋１）にある画素のＲ色成分、Ｇ色成分の信号値を読み出す場合も、図１０に示す読出範囲６０に含まれる同色画素の信号値を加算間引き読出しにより読み出す。さらに、動画像において座標（ｘ＋１，ｙ）にある画素や座標（ｘ，ｙ＋１）にある画素のそれぞれの画素のＧ色成分、Ｂ色成分の各信号値を読み出す場合も、対応する読出範囲に含まれる同色画素の信号値を単純加算平均する加算間引き読出しにより読み出す。
Similarly, when reading the signal values of the R color component and the G color component of the pixel at the coordinates (x + 1, y + 1) in the moving image, the signal values of the same color pixels included in the
図１２は、動画像の各画素における色成分毎の重心位置について説明している。動画像の各画素を太線、撮像素子上の画素を薄線、読出範囲を実線で示す。ここでは、動画像の各画素を、Ｒ色成分及びＧ色成分の信号値を有する画素と、Ｇ色成分及びＢ色成分の信号値を有する画素とが、水平方向及び垂直方向のそれぞれに交互に配置される場合を示している。 FIG. 12 explains the barycentric position for each color component in each pixel of the moving image. Each pixel of the moving image is indicated by a thick line, a pixel on the image sensor is indicated by a thin line, and a readout range is indicated by a solid line. Here, each pixel of a moving image is composed of pixels having R and G component signal values and pixels having G and B component signal values alternately in the horizontal and vertical directions. The case where it arrange | positions is shown.
例えば座標（ｘ，ｙ）にある画素について考慮する。この座標（ｘ，ｙ）にある画素は、Ｒ色成分及びＧ色成分の信号値を有する画素である。この画素においては、Ｇ色成分の重心位置（図中記号「○」）が画素の中心に位置している。一方、Ｒ色成分の重心位置は、画素の中心（Ｇ色成分の重心位置）からずれた位置となる。また、Ｒ色成分及びＧ色成分の信号値を有する画素であっても、画素の位置によっては、Ｒ色成分の重心位置が、それぞれ異なる位置となっている。この重心位置のずれは、Ｒ色成分及びＧ色成分の信号値を有する画素だけではなく、Ｇ色成分及びＢ色成分の信号値を有する画素についても同様である。図中記号「×」にて示す位置がＢ色成分の重心位置である。このような重心位置のずれは、静止画像においては、偽色として見え画像劣化の原因となる。 For example, consider a pixel at coordinates (x, y). The pixel at the coordinates (x, y) is a pixel having signal values of the R color component and the G color component. In this pixel, the center position of the G color component (symbol “◯” in the figure) is located at the center of the pixel. On the other hand, the center of gravity of the R color component is shifted from the center of the pixel (the center of gravity of the G color component). In addition, even for pixels having signal values of R color components and G color components, the barycentric positions of the R color components are different positions depending on the positions of the pixels. This shift in the center of gravity position applies not only to the pixels having the signal values of the R color component and the G color component but also to the pixels having the signal values of the G color component and the B color component. The position indicated by the symbol “x” in the figure is the barycentric position of the B color component. Such a shift in the position of the center of gravity appears as a false color in a still image and causes image deterioration.
ここで、動画像の場合には、色空間フォーマットをＲＧＢ色空間からＹＵＶ４２０色空間に変換する処理を行うのが一般的である。つまり、この変換の際に、Ｒ色成分、Ｇ色成分、Ｂ色成分の各色成分における重心位置が一致する箇所でＹＵＶ４２０色空間における色差信号を生成することで、動画像を読み出す際の重心位置のずれの影響を低減する。 Here, in the case of a moving image, it is common to perform processing for converting the color space format from the RGB color space to the YUV420 color space. That is, during this conversion, a centroid position when reading out a moving image is generated by generating a color difference signal in the YUV420 color space at a location where the centroid positions of the R, G, and B color components match. Reduce the effects of misalignment.
以下、得られた動画像の色空間フォーマットを、ＲＧＢ色空間からＹＵＶ４２０色空間に変換する処理について説明する。なお、この処理は、画像処理回路２３において色空間変換処理として実行される。
Hereinafter, a process of converting the color space format of the obtained moving image from the RGB color space to the YUV420 color space will be described. This process is executed as a color space conversion process in the
ここで、ＹＵＶ４２０色空間は、２×２画素に対して、輝度信号（Ｙ信号）を４画素、色差信号（Ｕ信号、及びＶ信号）をそれぞれ１画素とる色空間である。まず、画像処理回路２３は、ＹＵＶ色空間に変換するためのＲ色成分、Ｇ色成分及びＢ色成分の各信号値を（１４）式を用いて生成する。
Here, the YUV420 color space is a color space that takes 4 pixels of luminance signals (Y signals) and 1 pixel of color difference signals (U signals and V signals) for 2 × 2 pixels. First, the
そして、画像処理回路２３は、（１４）式により求めた値を用いて色空間変換処理を実行する。ここで、輝度信号（Ｙ信号）については、動画像における座標（ｘ，ｙ）、座標（ｘ＋１，ｙ）、座標（ｘ，ｙ＋１）、座標（ｘ＋１，ｙ＋１）にある画素の信号値を用いて、各画素において不足する色成分の信号値を色補間処理により求めた後、Ｒ’色成分、Ｇ’色成分、Ｂ’色成分の信号値を用いて色空間を変換する。一方、色差信号（Ｕ信号及びＶ信号）については、（１４）式にて求めたＲ”色成分、Ｇ”色成分、Ｂ”色成分を用いて色空間を変換する。なお、色空間を変換する式は、下記の（１５）式となる。
Then, the
この色空間変換処理を行うことで、ＹＵＶ４２０色空間に変換された動画像の各画素の色成分の重心位置が、撮像素子の座標（ｉ＋３，ｊ＋３）の位置（動画像の座標（ｘ＋０．５，ｙ＋０．５）の位置）となる。なお、図１２中「☆」で示す位置が、ＹＵＶ４２０色空間に変換された動画像の各画素における重心位置である。 By performing this color space conversion process, the barycentric position of the color component of each pixel of the moving image converted into the YUV420 color space is the position of the coordinates (i + 3, j + 3) of the image sensor (moving image coordinates (x + 0.5 , Y + 0.5)). Note that the position indicated by “☆” in FIG. 12 is the barycentric position of each pixel of the moving image converted into the YUV420 color space.
このように、対象となる４行４列の範囲における同一色成分の画素毎の単純加算平均により加算間引き読出し行う場合には、読み出される動画像の各画素において、各色成分の重心位置が異なる。このような場合、画像処理回路２３により実行される色空間変換処理の際に、各色成分の重心位置が一致するように、動画像における色空間フォーマットを変換することにより、重心位置のズレの発生を防止でき、その結果、動画像における偽色の発生を防止することができる。
As described above, in the case of performing addition thinning readout by simple addition averaging for each pixel of the same color component in the
なお、第３実施形態の場合、読み出された画像信号に対して、画像処理回路２３による上記の色空間変換処理を行うことで、第１実施形態と同様の効果を得ることができる。
In the case of the third embodiment, the same effect as that of the first embodiment can be obtained by performing the above color space conversion processing by the
上述した第１から第３実施形態においては、取得される動画像の画像サイズは、静止画像の画像サイズに対して水平方向に１／３倍、垂直方向に１／３倍の画像サイズとしているが、これに限定される必要はなく、動画像の画像サイズは、静止画像の画像サイズに対して水平方向に１／４倍、垂直方向に１／４倍してもよい。 In the first to third embodiments described above, the image size of the acquired moving image is set to an image size that is 1/3 times in the horizontal direction and 1/3 times in the vertical direction relative to the image size of the still image. However, the present invention is not limited to this, and the image size of the moving image may be 1/4 times in the horizontal direction and 1/4 times in the vertical direction with respect to the image size of the still image.
以下、動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／４倍、垂直方向に１／４倍となる場合について、第４実施形態と称して説明する。 Hereinafter, a case where the image size of the moving image is 1/4 times in the horizontal direction and 1/4 times in the vertical direction with respect to the image size of the still image will be referred to as a fourth embodiment.
＜第４実施形態＞
この第４実施形態においては、Ｇ色画素を読み出すための切替え部、及びＲ色画素又はＢ色画素を読み出すための切替え部の構成が第１実施形態とは異なる。以下、Ｇ色画素を読み出すための切替え部に対して符号４３ａ’を付し、Ｒ色画素又はＢ色画素を読み出すための切替え部に対して符号４３ｂ’を付して説明する。なお、他の構成は第１実施形態と共通することから、第１実施形態と同一の符号を付して説明する。
<Fourth embodiment>
In the fourth embodiment, the configuration of a switching unit for reading G color pixels and a switching unit for reading R color pixels or B color pixels are different from those of the first embodiment. Hereinafter, the switching unit for reading the G color pixel will be denoted by reference numeral 43a ′, and the switching unit for reading the R color pixel or B color pixel will be denoted by reference numeral 43b ′. Since other configurations are the same as those in the first embodiment, the same reference numerals as those in the first embodiment are used for explanation.
図１３に示すように、切替え部４３ａ’は、コンデンサＣＤ３、加算トランジスタＡＤＤ１１、ＡＤＤ１２、ＡＤＤ１３、スイッチングトランジスタＳＷ４の他、制御信号φＡＤＤ１１、φＡＤＤ１２、φＡＤＤ１３及び制御信号φＬＩＮＥ９，φＬＩＮＥ１０，φＬＩＮＥ１１，φＬＩＮＥ１２を供給する７本の行信号線とから構成される。ここで、加算トランジスタＡＤＤ１１は制御信号φＡＤＤ１１が出力されることでオンとなり、４Ｔ−３（Ｔ＝１，２，３，・・・）列の垂直信号線４７ｂと、４Ｔ−２列目の垂直信号線４７ｂとが短絡される。また、加算トランジスタＡＤＤ１２は制御信号φＡＤＤ１２が出力されることでオンとなり、４Ｔ−２列目の垂直信号線４７ｂと、４Ｔ−１列目の垂直信号線４７ｂが短絡される。また、加算トランジスタＡＤＤ１３は制御信号φＡＤＤ１３が出力されることでオンとなり、４Ｔ−１列目の垂直信号線４７ｂと、４Ｔ列目の垂直信号線４７ｂとが短絡される。
As shown in FIG. 13, the
切替え部４３ｂ’は、コンデンサＣＤ４、加算トランジスタＡＤＤ１４，ＡＤＤ１５，ＡＤＤ１６，ＡＤＤ１７，スイッチングトランジスタＳＷ４の他、制御信号φＡＤＤ１４、φＡＤＤ１５，φＡＤＤ１６，φＡＤＤ１７及び制御信号φＬＩＮＥ１３，φＬＩＮＥ１４，φＬＩＮＥ１５，φＬＩＮＥ１６を供給する８本の行信号線とから構成される。ここで、加算トランジスタＡＤＤ１４は制御信号φＡＤＤ１４が出力されることでオンとなり、８Ｕ−７（Ｕ＝１，２，３，・・・）列の垂直信号線４７ａと、８Ｕ−５列目の垂直信号線が短絡される。また、加算トランジスタＡＤＤ１５は制御信号φＡＤＤ１５が出力されることでオンとなり、８Ｕ−６列目の垂直信号線４７ａと、８Ｕ−４列目の垂直信号線が短絡される。
また、加算トランジスタＡＤＤ１６は制御信号φＡＤＤ１６が出力されることでオンとなり、８Ｕ−３列の垂直信号線４７ａと、８Ｕ−１列目の垂直信号線が短絡される。また、加算トランジスタＡＤＤ１７は制御信号φＡＤＤ１７が出力されることでオンとなり、８Ｕ−２列目の垂直信号線４７ａと、８Ｕ列目の垂直信号線が短絡される。
Further, the addition transistor ADD 16 is turned on when the control signal φADD 16 is output, and the
上述したように、第４実施形態では、動画像の画像サイズを、静止画像の画像サイズに対して水平方向に１／４倍、垂直方向に１／４倍した画像サイズとすることを目的にしている。つまり、この第４実施形態の場合には、４行４列の画素の範囲を読出範囲する点では第１実施形態と同一であるが、この第４実施形態では、水平方向又は垂直方向に４画素ずつずらしながら、動画像における画素の各色成分を読み出す点で第１実施形態とは異なる。図１４は、撮像素子１６上の各画素の位置と、動画像における各画素の位置との関係を示している。ここで、ハッチングで示す４行４列の範囲（読出範囲）がそれぞれ、動画像の各画素に対応する。この場合、読出範囲６０に含まれる各画素の配置は同一の画素の配置となる。
As described above, the purpose of the fourth embodiment is to set the image size of a moving image to 1/4 times the horizontal image size and 1/4 times the vertical image size. ing. In other words, the fourth embodiment is the same as the first embodiment in that the pixel range of 4 rows and 4 columns is read out, but in the fourth embodiment, 4 pixels are arranged in the horizontal direction or the vertical direction. This is different from the first embodiment in that each color component of the pixel in the moving image is read out while shifting the pixel by pixel. FIG. 14 shows the relationship between the position of each pixel on the
なお、第４実施形態においては、第２実施形態と同様に、Ｒ色成分及びＧ色成分の読み出しと、Ｇ色成分及びＢ色成分の読み出しとを交互に行う場合について説明する。第１実施形態と同様に、読出範囲６０に対する各画素の重みは、ガウス分布に基づいて設定される（図５参照）。
In the fourth embodiment, as in the second embodiment, a case will be described in which reading of the R color component and the G color component and reading of the G color component and the B color component are alternately performed. As in the first embodiment, the weight of each pixel with respect to the
まず、読出範囲６０に含まれる各画素から、Ｒ色成分及びＧ色成分を読み出す場合について説明する。この場合、読出範囲に含まれるＲ色画素及びＧ色画素のアンプＡＭＰのゲインは、以下の（１６）式を考慮して設定される。
First, a case where an R color component and a G color component are read from each pixel included in the
また、読出範囲に含まれる各画素から、Ｇ色成分及びＢ色成分を読み出す場合について説明する。この場合、読出範囲に含まれるＧ色画素及びＢ色画素のアンプＡＭＰのゲインは、以下の（１７）式を考慮して設定される。 A case where the G color component and the B color component are read from each pixel included in the reading range will be described. In this case, the gain of the amplifier AMP of the G color pixel and the B color pixel included in the read range is set in consideration of the following equation (17).
次に、動画像の撮影時に、読出範囲６０に含まれる各画素からＲ色成分及びＧ色成分の信号値を読み出す場合の処理について説明する。垂直走査回路４４は、読出範囲となる４行に配列される各画素に対して制御信号φＧＡＩＮを出力する。この出力を受けて、各画素のアンプＡＭＰのゲインが１から所定値に切り替わる。そして、制御信号φＳＷ３を出力することで、各画素から、アンプＡＭＰにより増幅された電圧信号が対応する垂直信号線に出力される。この垂直信号線に出力された電圧信号は、コンデンサＣＤ３又はコンデンサＣＤ４に蓄積される。その後、垂直走査回路４４は、制御信号φＳＷ３の出力を停止する。
Next, a process in the case of reading out the signal values of the R color component and the G color component from each pixel included in the
水平走査回路４５ａは、制御信号φＡＤＤ１１，φＡＤＤ１２，φＡＤＤ１３を出力する。これにより、加算トランジスタＡＤＤ１１，ＡＤＤ１２，ＡＤＤ１３がオンとなり、４Ｔ−３列目、４Ｔ−２列目、４Ｔ−１列目及び４Ｔ列目の垂直信号線４７ｂが短絡される。これにより、４Ｔ−３列目、４Ｔ−２列目、４Ｔ−１列目及び４Ｔ列目の各垂直信号線４７ｂに接続されるコンデンサＣＤ３の電荷量が同一となる。その後、水平走査回路４５ａは、制御信号φＡＤＤ１１，φＡＤＤ１２，φＡＤＤ１３の出力を停止する。そして、水平走査回路４５ａは、制御信号φＬＩＮＥ９を出力する。これにより、４Ｔ−３列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ４がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ３に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ１に出力される。ここで、カラムアンプＣＡＭＰ１から出力される電圧信号が、例えば動画像における座標（ｘ，ｙ）や座標（ｘ＋１，ｙ）にある画素のＧ色成分の信号となる。
The
水平走査回路４５ｂは、制御信号φＡＤＤ１４を出力する。これにより、加算トランジスタＡＤＤ１４がオンとなる。加算トランジスタＡＤＤ１４がオンとなると、８Ｕ−７列目及び８Ｕ−５列目の垂直信号線４７ａが短絡する。これにより、８Ｕ−７列目及び８Ｕ−５列目の各垂直信号線４７ｂに接続されるコンデンサＣＤ４の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ１４の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ１３を出力する。制御信号φＬＩＮＥ１３が出力されることで、８Ｕ−７列目の垂直信号線４７ｂに接続されたスイッチトランジスタＳＷ４がオンとなり、対応する垂直信号線４７ｂに接続されたコンデンサＣＤ４に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、出力される電圧信号が、例えば動画像における座標（ｘ，ｙ）にある画素のＲ色成分の信号となる。
次に、読出範囲に含まれる各画素からＧ色成分及びＢ色成分の信号値を読み出す場合の処理について説明する。なお、Ｇ色成分の信号値を読み出す処理は、同一であるので省略する。Ｂ色成分の信号値を読み出す場合、水平走査回路４５ｂは、制御信号φＡＤＤ１７を出力する。これにより、加算トランジスタＡＤＤ１７がオンとなる。加算トランジスタＡＤＤ１７がオンとなると、８Ｕ−６列目及び８Ｕ列目の垂直信号線４７ａが短絡する。これにより、８Ｕ−６列目及び８Ｕ列目の各垂直信号線４７ｂに接続されるコンデンサＣＤ４の電荷量が同一となる。その後、水平走査回路４５ｂは、制御信号φＡＤＤ１７の出力を停止する。そして、水平走査回路４５ｂは、制御信号φＬＩＮＥ１４を出力する。制御信号φＬＩＮＥ１４が出力されることで、８Ｕ−６列目の垂直信号線４７ａに接続されたスイッチトランジスタＳＷ４がオンとなり、対応する垂直信号線４７ａに接続されたコンデンサＣＤ４に蓄積された電荷量に基づく電圧信号がカラムアンプＣＡＭＰ２に出力される。ここで、出力される電圧信号が、例えば動画像における座標（ｘ＋１、ｙ）にある画素のＢ色成分の信号となる。
Next, processing in the case where signal values of the G color component and the B color component are read from each pixel included in the reading range will be described. Note that the process of reading the signal value of the G color component is the same, and is omitted. When reading a signal value of the B color component, the
上述した処理を行うことで、読出範囲からＲ色成分及びＧ色成分の信号値、或いはＧ色成分及びＢ色成分の信号値のいずれかが、動画像の各画素における信号値として読み出されていく。 By performing the above-described processing, either the R color component and G color component signal values or the G color component and B color component signal values are read from the readout range as signal values in each pixel of the moving image. To go.
上述したように、動画像の各画素における信号値は、Ｒ色成分及びＧ色成分の信号値、或いはＧ色成分及びＢ色成分の信号値である。この場合も、画像処理回路２３は、撮像素子１６から出力される動画像に対して色補間処理を実行する。この色補間処理は、例えば上述した（５）式及び（６）式を用いて、又は、（９）式から（１２）式を用いて実行される。
As described above, the signal value in each pixel of the moving image is the signal value of the R color component and the G color component, or the signal value of the G color component and the B color component. Also in this case, the
このように、色補間処理を実行することで、Ｒ色成分、Ｇ色成分及びＢ色成分の全ての色成分を備えた画像信号を得ることができる。この第４実施形態においても、撮像素子から読み出される動画像の画像サイズは、静止画像の画像サイズに対して、水平方向に１／４倍、垂直方向に１／４倍の画像サイズであることから、読み出される画像信号のデータ量は、静止画像の際に読み出される画像信号のデータ量の１／４×１／４×２＝１／８倍となる。これにより、動画像の撮影時に各フレーム画像を高速で読み出すことができる。 As described above, by executing the color interpolation process, an image signal including all the color components of the R color component, the G color component, and the B color component can be obtained. Also in the fourth embodiment, the image size of the moving image read from the image sensor is 1/4 times the horizontal size and 1/4 times the vertical size relative to the still image size. Therefore, the data amount of the image signal to be read is 1/4 × 1/4 × 2 = 1/8 times the data amount of the image signal read in the case of a still image. Thus, each frame image can be read at a high speed when a moving image is captured.
また、第１実施形態と同様に、動画像の各画素における各色成分の信号値は、加算読み出しにより読み出された後、色補間処理が実行される。例えば通常の間引き読出しにより読み出される画像信号を用いた色補間処理の場合には、読み出されていない画素の信号値を用いずに色補間処理を行うため、モアレや偽色が発生しやすくなるが、第１実施形態においては、加算間引き読出しにより得られる各色成分の信号値の重心位置が一致するように、各画素のゲインを設定している。このため、得られる動画像に対して色補間処理を行った場合であっても、モアレや偽色の発生を抑制することができる。 Similarly to the first embodiment, the signal value of each color component in each pixel of the moving image is read by addition reading, and then color interpolation processing is executed. For example, in the case of color interpolation processing using an image signal read out by normal thinning readout, color interpolation processing is performed without using signal values of pixels that have not been read out, so that moire and false colors are likely to occur. However, in the first embodiment, the gain of each pixel is set so that the barycentric positions of the signal values of the respective color components obtained by the addition thinning readout match. For this reason, even when color interpolation processing is performed on the obtained moving image, it is possible to suppress the occurrence of moire and false colors.
この第４実施形態では、動画像を構成する画素のうち、Ｒ色成分及びＧ色成分の信号値を読み出す画素と、Ｇ色成分及びＢ色成分の信号値を読み出す画素とを、水平方向及び垂直方向に対して交互に配置されるようにしているが、これに限定される必要はなく、動画像の画素のうち、Ｒ色成分及びＧ色成分の信号値を読み出す画素と、Ｇ色成分及びＢ色成分の信号値を読み出す画素とを、垂直方向にのみ交互に配置されるようにしてもよい。 In the fourth embodiment, among the pixels constituting the moving image, the pixels that read the signal values of the R color component and the G color component and the pixels that read the signal values of the G color component and the B color component are set in the horizontal direction and The pixels are alternately arranged in the vertical direction, but the present invention is not limited to this. Among the pixels of the moving image, the pixels for reading out the signal values of the R color component and the G color component, and the G color component Also, the pixels for reading out the signal values of the B color component may be alternately arranged only in the vertical direction.
上述した第３実施形態及び第４実施形態においては、動画像の画像サイズが、静止画像の画像サイズに対して水平方向に１／４、垂直方向に１／４の画像サイズの場合を示している。しかしながら、例えばアスペクト比３：２となる撮像素子が搭載された撮像装置において、ＨＤ動画に必要な水平方向の画素数１９２０を満たす画像サイズとする場合には、撮像素子の画素数が、水平方向（１９２０×４）、垂直方向（１９２０×２／３×４）の計３７．５Ｍとなる。ここで、撮像装置に搭載される撮像素子の画素数が３７．５Ｍ画素を満足していない場合には、加算間引き読出しにより読み出した動画像は、ＨＤ動画における画像サイズを満足していない。このような場合には、得られる動画像に対して超解像度処理を施すことも可能である。 In the third embodiment and the fourth embodiment described above, the case where the image size of the moving image is 1/4 in the horizontal direction and 1/4 in the vertical direction with respect to the image size of the still image is shown. Yes. However, for example, in an imaging apparatus equipped with an imaging device with an aspect ratio of 3: 2, when the image size satisfies the horizontal pixel number 1920 necessary for HD video, the number of pixels of the imaging device is horizontal. (1920 × 4) in the vertical direction (1920 × 2/3 × 4) is 37.5M in total. Here, when the number of pixels of the image sensor mounted on the imaging device does not satisfy 37.5 M pixels, the moving image read by the addition thinning readout does not satisfy the image size in the HD moving image. In such a case, it is possible to perform super-resolution processing on the obtained moving image.
上述した第１から第３実施形態では、動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／３倍、垂直方向に１／３倍の画像サイズに設定される場合について説明している。また、第４実施形態では、動画像の画像サイズが、静止画像の画像サイズに対して、水平方向に１／４倍、垂直方向に１／４倍の画像サイズに設定される場合について説明している。しかしながら、水平方向の縮小率や垂直方向の縮小率は、その一例を示したものであり、これら縮小率は適宜設定してよい。また、上述した各実施形態では、水平方向の縮小率と垂直方向の縮小率とを同一の縮小率としているが、これに限定される必要はなく、水平方向の縮小率と垂直方向の縮小率とを異なる縮小率とすることも可能である。 In the first to third embodiments described above, the image size of the moving image is set to an image size that is 1/3 times in the horizontal direction and 1/3 times in the vertical direction relative to the image size of the still image. Describes. In the fourth embodiment, a case where the image size of the moving image is set to an image size that is 1/4 times in the horizontal direction and 1/4 times in the vertical direction with respect to the image size of the still image will be described. ing. However, the reduction ratio in the horizontal direction and the reduction ratio in the vertical direction are just examples, and these reduction ratios may be set as appropriate. In each of the above-described embodiments, the horizontal reduction ratio and the vertical reduction ratio are set to the same reduction ratio. However, the present invention is not limited to this, and the horizontal reduction ratio and the vertical reduction ratio are not limited thereto. It is also possible to use different reduction ratios.
上述した第１から第４実施形態においては、撮像素子の各画素に配置されるカラーフィルタを、Ｒ色、Ｇ色、Ｂ色としているが、これに限定される必要はなく、シアン（Ｃ）、イエロー（Ｙ）、マゼンタ（Ｍ）のカラーフィルタであってもよい。 In the first to fourth embodiments described above, the color filters arranged in each pixel of the image sensor are R color, G color, and B color. However, the present invention is not limited to this, and cyan (C) , Yellow (Y) and magenta (M) color filters.
上述した第１から第４実施形態においては、Ｒ色画素、Ｇ色画素及びＢ色画素を２行２列で配置したベイヤー配列としているが、これに限定される必要はなく、他の配列にて各色成分の画素を配置することも可能である。 In the first to fourth embodiments described above, a Bayer array in which R color pixels, G color pixels, and B color pixels are arranged in 2 rows and 2 columns is used. However, the present invention is not limited to this, and other arrays may be used. It is also possible to arrange pixels of each color component.
上述した第１から第４実施形態においては、動画像の撮影時に、加算間引き読出しを行うことを前提に説明しているが、これに限定される必要はなく、静止画像の撮影時に、第１から第４実施形態のいずれかの手法を用いることも可能である。 In the first to fourth embodiments described above, the description has been made on the assumption that addition thinning readout is performed at the time of moving image shooting. However, the present invention is not limited to this. It is also possible to use any method of the fourth embodiment.
上述した第１実施形態から第４実施形態においては、撮像装置を例に取り上げて説明しているが、これに限定される必要はなく、画像処理装置の場合であってもよい。図１５に示すように、画像処理装置６０は、縮小画像生成部６１及び色補間処理部６２を備えている。この画像処理装置６０には、例えば撮像素子から全画素読み出しにて読み出された動画像が、直接、或いは、バッファメモリや記憶媒体を介して入力される。縮小画像生成部６１は、入力される画像に対して、上述した（１）式から（４）式、又は、（７）式及び（８）式を用いて、又は（１３）式、或いは（１６）式を用いて、縮小された動画像を生成する。色補間部６２は、縮小された動画像に対して、（５）式及び（６）式、又は（９）式から（１２）式、又は（１４）式及び（１５）式を用いて、色補間処理を行い、動画像における各画素に対して欠けている色成分を補間する。そして、画像処理回路６０は、必要に応じて、色補間処理が施された動画像に対して、色空間フォーマットをＲＧＢ色空間からＹＵＶ４２０色空間に変換する処理を行う。
In the first to fourth embodiments described above, the image pickup apparatus has been described as an example. However, the present invention is not limited to this and may be an image processing apparatus. As illustrated in FIG. 15, the
また、画像処理装置の他に、画像処理プログラムであってもよい。この場合、図１６に示すフローチャートの処理をコンピュータにて実行することができる画像処理プログラムであればよい。 In addition to the image processing apparatus, an image processing program may be used. In this case, any image processing program that can execute the processing of the flowchart shown in FIG.
以下、画像処理プログラムにおける処理の手順について説明する。 Hereinafter, a processing procedure in the image processing program will be described.
ステップＳ１０１は、動画像を入力する処理である。この処理を行うことで、例えば全画素読み出しにて読み出された動画像をコンピュータが受け付ける。 Step S101 is a process for inputting a moving image. By performing this process, for example, the computer accepts a moving image read by all-pixel reading.
ステップＳ１０２は、動画像の生成処理である。ステップＳ１０１にて受け付けた動画像に対して、動画像生成処理を実行する。なお、この動画像生成処理は、上述した（１）式から（４）式、又は、（７）式及び（８）式を用いて、又は（１３）式、或いは（１６）式を用いて実行する。これにより、例えば、水平方向に１／３、垂直方向に１／３に縮小された動画像が生成される。この動画像においては、Ｒ色、Ｇ色、Ｂ色のいずれかの色成分の信号値を有する動画像が、Ｒ色、Ｇ色、Ｂ色の全ての色成分の信号値を有する動画像となる。 Step S102 is a moving image generation process. A moving image generation process is performed on the moving image received in step S101. This moving image generation processing is performed using the above-described equations (1) to (4), or (7) and (8), or (13) or (16). Run. Thereby, for example, a moving image reduced to 1/3 in the horizontal direction and 1/3 in the vertical direction is generated. In this moving image, a moving image having a signal value of any color component of R, G, and B is a moving image having signal values of all the color components of R, G, and B. Become.
ステップＳ１０３は、動画像の生成処理が終了したか否かを判定する処理である。この画像処理プログラムを実行するコンピュータのＣＰＵは、ステップＳ１０２における動画像の生成処理が終了したか否かにより、このステップＳ１０３の判定処理を実行する。動画像の生成処理が終了している場合には、このステップＳ１０３の判定処理がＹｅｓとなり、ステップＳ１０４に進む。一方、動画像の生成処理が終了していない場合には、ステップＳ１０３の判定処理がＮｏとなり、ステップＳ１０２に戻る。 Step S103 is a process of determining whether or not the moving image generation process is completed. The CPU of the computer that executes the image processing program executes the determination process in step S103 depending on whether or not the moving image generation process in step S102 is completed. If the moving image generation process has been completed, the determination process in step S103 is Yes, and the process proceeds to step S104. On the other hand, if the moving image generation process has not ended, the determination process in step S103 is No and the process returns to step S102.
ステップＳ１０４は、縮小された動画想に対する色補間処理である。色補間部６２は、縮小された動画像に対して、（５）式及び（６）式、又は（９）式から（１２）式、又は（１４）式及び（１５）式を用いて、色補間処理を行う。
Step S104 is a color interpolation process for the reduced moving image idea. The
ステップＳ１０５は、縮小された動画像を出力する処理である。上述したコンピュータのＣＰＵは、縮小した動画像を、例えば記憶媒体に出力する。 Step S105 is processing to output a reduced moving image. The CPU of the computer described above outputs the reduced moving image to, for example, a storage medium.
なお、この画像処理プログラムは、メモリカード、磁気ディスク、光学ディスクなど、コンピュータにより読み取り可能な記憶媒体に記憶されていることが好ましい。 The image processing program is preferably stored in a computer-readable storage medium such as a memory card, a magnetic disk, or an optical disk.
１０…撮像装置、１６…撮像素子、４１…画素部、４２ａ，４２ｂ…プリチャージ部、４３ａ，４３ｂ…切替え部、４４…垂直走査回路、４５ａ，４５ｂ…水平走査回路
DESCRIPTION OF
Claims (13)
前記画素配列に配置される前記複数の画素に対する読出範囲をずらしながら、前記読出範囲に含まれる画素のうち、色差成分の信号値を生成することが可能な２つの色成分のいずれかの信号値を有する画素に対する加重加算を色成分毎に実行することで、前記２つの色成分の信号値を備えた画素からなる画像を取得する読出回路と、
を備えたことを特徴とする撮像装置。 A plurality of pixels that receive light of any one of a plurality of color components capable of expressing the same color space using at least one or more color components includes a horizontal row direction and a vertical direction. A pixel array arranged two-dimensionally with the column direction,
The signal value of one of two color components capable of generating a signal value of a color difference component among the pixels included in the readout range while shifting the readout range for the plurality of pixels arranged in the pixel array. A readout circuit that obtains an image composed of pixels having signal values of the two color components by performing weighted addition on the pixels having
An imaging apparatus comprising:
前記複数の画素は、赤（Ｒ）色を受光するＲ色画素、緑（Ｇ）色を受光するＧ色画素、青（Ｂ）色を受光するＢ色画素から構成されることを特徴とする撮像装置。 The imaging device according to claim 1,
The plurality of pixels include an R color pixel that receives red (R) color, a G color pixel that receives green (G) color, and a B color pixel that receives blue (B) color. Imaging device.
前記読出回路は、前記色差成分の信号値を生成することが可能な２つの色成分の画素として、Ｒ色画素及びＧ色画素、或いは、Ｇ色画素及びＢ色画素を読み出すことを特徴とする撮像装置。 The imaging device according to claim 2,
The readout circuit reads out an R color pixel and a G color pixel, or a G color pixel and a B color pixel as two color component pixels capable of generating a signal value of the color difference component. Imaging device.
前記複数の画素は、ベイヤー配列により配置されることを特徴とする撮像装置。 The imaging device according to claim 1,
The plurality of pixels are arranged in a Bayer array.
前記読出回路は、前記画像の各画素における前記２つの色成分の重心位置がそれぞれ一致するように、前記読出範囲における前記２つの色成分の信号値に対する加重加算を実行することを特徴とする撮像装置。 The imaging device according to claim 1,
The readout circuit performs weighted addition on the signal values of the two color components in the readout range so that the centroid positions of the two color components in each pixel of the image coincide with each other. apparatus.
前記読出回路は、単純加算平均に基づいて設定される加重係数を用いて、前記２つの色成分の画素の信号値に対する加重加算を実行することを特徴とする撮像装置。 The imaging device according to claim 1,
The image pickup apparatus, wherein the readout circuit performs weighted addition on signal values of pixels of the two color components using a weighting coefficient set based on a simple addition average.
前記読出回路により読み出された前記２つの色成分の信号値を用いて前記色差成分の信号値を求め、求めた前記色差成分の信号値を用いて、読み出された前記画像に対する色補間処理を実行する色補間処理部を備えていることを特徴とする撮像装置。 The imaging device according to claim 1,
Using the signal values of the two color components read out by the readout circuit, the signal values of the color difference components are obtained, and color interpolation processing is performed on the read image using the obtained signal values of the color difference components An image pickup apparatus comprising a color interpolation processing unit for executing the above.
前記色補間処理部により色補間処理が施された前記画像に対する色空間を変換する色空間変換部を備え、
前記色空間部変換部は、前記画像に対する色空間の変換時に、前記画像の各画素における各色成分の重心位置を一致させることを特徴とする撮像装置。 The imaging apparatus according to claim 7,
A color space conversion unit that converts a color space for the image that has undergone color interpolation processing by the color interpolation processing unit;
The color space section conversion section matches the barycentric position of each color component in each pixel of the image when converting the color space for the image.
前記複数の画素は、
受光した入射光を光電変換する光電変換素子と、
前記光電変換された電荷量に基づく信号を増幅する増幅部と、を備えていることを特徴とする撮像装置。 The imaging device according to claim 1,
The plurality of pixels are:
A photoelectric conversion element that photoelectrically converts received incident light; and
An imaging device comprising: an amplification unit that amplifies a signal based on the photoelectrically converted charge amount.
前記増幅部は、前記光電変換された電荷量に基づく信号を、前記加重加算時の加重係数に基づいて増幅することを特徴とする撮像装置。 The imaging device according to claim 9,
The amplifying unit amplifies a signal based on the photoelectrically converted charge amount based on a weighting coefficient at the time of the weighted addition.
前記複数の垂直信号線のそれぞれに接続され、前記複数の垂直信号線により垂直方向に転送される信号を一時的に保持する保持部と、
前記読出範囲に含まれる画素のうち、前記同一色成分の画素に接続される垂直信号線を短絡することで、前記保持部に保持された前記同一色成分の画素の信号を加算する複数のスイッチと、
を備えたことを特徴とする撮像装置。 A plurality of vertical signal lines connected to each of pixels of the same color component arranged in the same column direction among the plurality of pixels arranged in the pixel array;
A holding unit that is connected to each of the plurality of vertical signal lines and temporarily holds a signal transferred in the vertical direction by the plurality of vertical signal lines;
A plurality of switches for adding the signals of the pixels of the same color component held in the holding unit by short-circuiting the vertical signal lines connected to the pixels of the same color component among the pixels included in the readout range When,
An imaging apparatus comprising:
前記受付部により受け付けた前記第１画像における複数の画素に対して読出範囲をずらしながら、前記読出範囲に含まれる画素のうち、色差成分の信号値を生成することが可能な２つの色成分のいずれかの信号値を有する画素に対する加重加算を色成分毎に実行することで、前記２つの色成分の値を備えた画素からなる第２画像を生成する画像生成部と、
を備えたことを特徴とする画像処理装置。 A receiving unit that receives a first image including a plurality of pixels having signal values of any of a plurality of color components capable of expressing the same color space using at least one or more color components;
While shifting the readout range with respect to the plurality of pixels in the first image received by the reception unit, two color components that can generate a signal value of a color difference component among the pixels included in the readout range. An image generation unit that generates a second image including pixels having the values of the two color components by performing weighted addition on the pixels having any one of the signal values for each color component;
An image processing apparatus comprising:
前記受付工程により受け付けた前記第１画像における複数の画素に対して読出範囲をずらしながら、前記読出範囲に含まれる画素のうち、色差成分の信号値を生成することが可能な２つの色成分のいずれかの信号値を有する画素に対する加重加算を色成分毎に実行することで、前記２つの色成分の値を備えた画素からなる第２画像を生成する画像生成工程と、
を、コンピュータに実行させることが可能な画像処理プログラム。 An accepting step of accepting a first image composed of a plurality of pixels having signal values of any of a plurality of color components capable of expressing the same color space using at least one or more color components;
While shifting the readout range with respect to the plurality of pixels in the first image received in the reception step, two color components that can generate a signal value of a color difference component among the pixels included in the readout range. An image generation step of generating a second image composed of pixels having the values of the two color components by performing weighted addition on the pixels having any one of the signal values for each color component;
Is an image processing program that can be executed by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012059195A JP6127368B2 (en) | 2012-03-15 | 2012-03-15 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012059195A JP6127368B2 (en) | 2012-03-15 | 2012-03-15 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013197613A true JP2013197613A (en) | 2013-09-30 |
| JP6127368B2 JP6127368B2 (en) | 2017-05-17 |
Family
ID=49396116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012059195A Active JP6127368B2 (en) | 2012-03-15 | 2012-03-15 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6127368B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016039617A (en) * | 2014-08-11 | 2016-03-22 | キヤノン株式会社 | Imaging device and its control method, program, storage medium |
| JP2018088721A (en) * | 2018-03-05 | 2018-06-07 | キヤノン株式会社 | Solid state image sensor, imaging device and method for controlling the same, program, and storage medium |
| US10362252B2 (en) | 2014-04-07 | 2019-07-23 | Canon Kabushiki Kaisha | Solid-state image sensor, image capturing apparatus and control method thereof, and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147093A (en) * | 2002-10-24 | 2004-05-20 | Canon Inc | Apparatus and method for signal processing, and imaging apparatus |
| JP2004193911A (en) * | 2002-12-10 | 2004-07-08 | Sharp Corp | Image processing apparatus, its method and digital still camera |
| JP2005086247A (en) * | 2003-09-04 | 2005-03-31 | Olympus Corp | Imaging apparatus |
| JP2008060893A (en) * | 2006-08-31 | 2008-03-13 | Dainippon Printing Co Ltd | Interpolation arithmetic unit |
-
2012
- 2012-03-15 JP JP2012059195A patent/JP6127368B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147093A (en) * | 2002-10-24 | 2004-05-20 | Canon Inc | Apparatus and method for signal processing, and imaging apparatus |
| JP2004193911A (en) * | 2002-12-10 | 2004-07-08 | Sharp Corp | Image processing apparatus, its method and digital still camera |
| JP2005086247A (en) * | 2003-09-04 | 2005-03-31 | Olympus Corp | Imaging apparatus |
| JP2008060893A (en) * | 2006-08-31 | 2008-03-13 | Dainippon Printing Co Ltd | Interpolation arithmetic unit |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10362252B2 (en) | 2014-04-07 | 2019-07-23 | Canon Kabushiki Kaisha | Solid-state image sensor, image capturing apparatus and control method thereof, and storage medium |
| JP2016039617A (en) * | 2014-08-11 | 2016-03-22 | キヤノン株式会社 | Imaging device and its control method, program, storage medium |
| JP2018088721A (en) * | 2018-03-05 | 2018-06-07 | キヤノン株式会社 | Solid state image sensor, imaging device and method for controlling the same, program, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6127368B2 (en) | 2017-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5026951B2 (en) | Imaging device driving device, imaging device driving method, imaging device, and imaging device | |
| US9661210B2 (en) | Image pickup device and image pickup apparatus | |
| JP5850680B2 (en) | Imaging apparatus and control method thereof | |
| US20070076269A1 (en) | Imaging unit and image sensor | |
| US20220328543A1 (en) | Image sensor, focus adjustment device, and imaging device | |
| CN107306335B (en) | Image pickup apparatus and control method thereof | |
| US10033951B2 (en) | Image sensor that performs different readout operations and image capturing apparatus including image sensor | |
| JP6442362B2 (en) | Image pickup apparatus and image pickup element control method | |
| US20240015406A1 (en) | Image sensor and imaging device | |
| WO2012147515A1 (en) | Image capture device and image capture method | |
| JP2007129581A (en) | Image pickup device and image pickup system | |
| JP5607265B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
| JP6127368B2 (en) | Imaging device | |
| JP2019186910A (en) | Imaging device, imaging apparatus, and control method therefor | |
| JP6545013B2 (en) | Image forming method, image forming apparatus, and image forming program | |
| JP6069857B2 (en) | Imaging device | |
| JP5624228B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
| JP6010943B2 (en) | Imaging device | |
| JP5124549B2 (en) | Moving image signal readout method and imaging apparatus for solid-state imaging device | |
| JP4848349B2 (en) | Imaging apparatus and solid-state imaging device driving method | |
| JP2022102594A (en) | Imaging element and imaging apparatus | |
| JP2015173387A (en) | Imaging element, driving method of the same, and program | |
| JP6065395B2 (en) | Imaging device | |
| JP2018042222A (en) | Imaging apparatus and its driving method | |
| JP2006340065A (en) | Image data capturing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6127368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |