JP2009217073A

JP2009217073A - Imaging apparatus and method for controlling the same

Info

Publication number: JP2009217073A
Application number: JP2008061843A
Authority: JP
Inventors: Masaaki Matsuoka; 正明松岡; Hideyuki Rengakuji; 秀行蓮覚寺
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-03-11
Filing date: 2008-03-11
Publication date: 2009-09-24
Anticipated expiration: 2028-03-11
Also published as: JP5164617B2

Abstract

PROBLEM TO BE SOLVED: To generate image signals at focus detecting pixels with a small storage capacity. SOLUTION: An imaging apparatus is provided with an imaging element 10 including an imaging pixel group and a focus detecting pixel group, a memory 20 for storing distribution information indicating the positional distribution of the focus detecting pixel group, a correction circuit 13 for generating image signals in the position of the pixels of the focus detecting pixel group from image signals of the imaging pixel group according to the distribution information indicating the positional distribution, and a signal processing circuit 15 for forming a capture image from the image signals of the imaging pixel group and the image signals of the focus detecting pixel group generated by the correction circuit 13. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、焦点検出機能を有し、更に光電変換素子を用いて撮像を行う撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus that has a focus detection function and that performs imaging using a photoelectric conversion element, and a control method thereof.

従来より、光電変換素子を使用して被写体像を電子的に撮像すると共に焦点検出機能も備えた撮像装置に関する種々の技術が開示されている。 Conventionally, various techniques relating to an imaging apparatus that electronically captures a subject image using a photoelectric conversion element and also has a focus detection function have been disclosed.

特許文献１においては、撮像素子の画素のうちに、本来の画像情報取り込み以外の焦点検出等のための機能画素を設けることで、本来の撮像面において、撮像素子そのもので焦点検出を行う位相差方式による焦点検出技術が開示されている。 In Patent Document 1, by providing a functional pixel for focus detection other than the original image information capture among the pixels of the image sensor, a phase difference that performs focus detection with the image sensor itself on the original imaging surface. A focus detection technique based on this method is disclosed.

この場合、機能画素の位置に対応する被写体像は直接得られないが、この課題に対して特許文献１では周辺にある被写体撮像用の画素から補間して画素値を得るという技術が開示されている。そして、機能画素の位置についてはＲＯＭに記録された情報に基づいて判別するとされている。 In this case, a subject image corresponding to the position of the functional pixel cannot be obtained directly. However, Patent Document 1 discloses a technique for obtaining a pixel value by interpolating from surrounding subject imaging pixels. Yes. The position of the functional pixel is determined based on information recorded in the ROM.

また、被写体像の画素値が得られない画素に対して周辺画素から補間して画素値を得る技術については、特許文献２で周辺画素との相関により任意の画像中の任意の欠陥判定を行い補正するという技術が開示されている。 Regarding a technique for obtaining a pixel value by interpolating from a peripheral pixel with respect to a pixel for which a pixel value of a subject image cannot be obtained, Patent Document 2 performs an arbitrary defect determination in an arbitrary image based on a correlation with the peripheral pixel. A technique of correcting is disclosed.

特許文献１と特許文献２の技術を組み合わせれば、簡単な構成で焦点検出等のための機能画素の位置に対応する被写体像が補間された被写体像を得ることは容易である。
特開２０００−１５６８２３号公報特開平９−２４７５４８号公報 By combining the techniques of Patent Document 1 and Patent Document 2, it is easy to obtain a subject image in which a subject image corresponding to the position of a functional pixel for focus detection or the like is interpolated with a simple configuration.
JP 2000-156823 A Japanese Patent Laid-Open No. 9-247548

しかしながら、特許文献１ではＲＯＭに記録されている情報の詳細については開示がない。 However, Patent Document 1 does not disclose details of information recorded in the ROM.

また、特許文献１と特許文献２を組み合わせた上述の技術では焦点検出等の機能画素を誤判定する可能性があるという問題がある。 In addition, there is a problem that the above-described technique combining Patent Document 1 and Patent Document 2 may erroneously determine a function pixel such as focus detection.

本発明は上記の問題に鑑みてなされたものであり、焦点検出画素における画像信号を少ない記憶容量で生成することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to generate an image signal in a focus detection pixel with a small storage capacity.

本発明の第１の側面は、撮像装置に係り、撮像用画素群と焦点検出用画素群とを含む撮像素子と、前記焦点検出用画素群の各画素の位置分布を示す分布情報を記憶する記憶手段と、前記分布情報に基づいて前記焦点検出用画素群の各画素の位置における画像信号を前記撮像用画素群の画像信号から生成する生成手段と、前記撮像用画素群の画像信号と、前記生成手段により生成された画像信号と、に基づいて撮像画像を形成する形成手段と、を備えることを特徴とする。 A first aspect of the present invention relates to an imaging apparatus, and stores an image sensor including an imaging pixel group and a focus detection pixel group, and distribution information indicating a position distribution of each pixel of the focus detection pixel group. Storage means; generation means for generating an image signal at the position of each pixel of the focus detection pixel group from the image signal of the imaging pixel group based on the distribution information; and an image signal of the imaging pixel group; And forming means for forming a captured image based on the image signal generated by the generating means.

本発明の第２の側面は、撮像用画素群と焦点検出用画素群とを含む撮像素子を備える撮像装置の制御方法に係り、前記焦点検出用画素群の各画素の位置分布を示す分布情報を記憶する工程と、前記分布情報に基づいて前記焦点検出用画素群の各画素の位置における画像信号を前記撮像用画素群の画像信号から生成する工程と、前記撮像用画素群の画像信号と、前記生成された画像信号と、に基づいて撮像画像を形成する工程と、を含むことを特徴とする。 According to a second aspect of the present invention, there is provided a control method for an imaging apparatus including an imaging device including an imaging pixel group and a focus detection pixel group, and distribution information indicating a position distribution of each pixel of the focus detection pixel group. Storing an image signal at each pixel position of the focus detection pixel group based on the distribution information from the image signal of the imaging pixel group, and an image signal of the imaging pixel group; And a step of forming a captured image based on the generated image signal.

本発明によれば、焦点検出画素における画像信号を少ない記憶容量で生成することができる。 According to the present invention, an image signal in a focus detection pixel can be generated with a small storage capacity.

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
（第１の実施形態）
図１、本発明の好適な第１の実施形態に係る撮像装置の構成を示す図である。本実施形態では、デジタルスチルカメラの構成を例示的に示す。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to a preferred first embodiment of the present invention. In the present embodiment, the configuration of a digital still camera is exemplarily shown.

図１において、撮像素子１０は、色フィルタがベイヤー配列で構成されたエリアセンサであり、撮像用画素群と焦点検出用画素群とで構成されている。すなわち、一部の画素は、焦点検出用画素として透明フィルタの色フィルタで構成されている。 In FIG. 1, an image sensor 10 is an area sensor in which color filters are configured in a Bayer array, and includes an image pickup pixel group and a focus detection pixel group. That is, some of the pixels are constituted by transparent color filters as focus detection pixels.

タイミングジェネレータ（ＴＧ）１１は、撮像素子１０の駆動パルスを静止画撮影モード、間引きモード、焦点検出モードに応じて生成する。また、ＴＧ１１は、マイクロプロセッサ２４と制御線で接続され、マイクロプロセッサ２４からの指令に応じて駆動パルスを、静止画撮影モード、間引きモード、焦点検出モードに切り替える。 The timing generator (TG) 11 generates drive pulses for the image sensor 10 according to the still image shooting mode, the thinning mode, and the focus detection mode. The TG 11 is connected to the microprocessor 24 through a control line, and switches the drive pulse to a still image shooting mode, a thinning mode, or a focus detection mode in accordance with a command from the microprocessor 24.

撮像素子１０の出力は、アナログフロントエンド（ＡＦＥ）１２でサンプリング、ゲイン調整された後、Ａ／Ｄ変換される。Ａ／Ｄ変換されたＡＦＥ出力は、スイッチ２６及びメモリコントローラ１９に接続されている。 The output of the image sensor 10 is sampled and gain-adjusted by an analog front end (AFE) 12 and then A / D converted. The AFE output after A / D conversion is connected to the switch 26 and the memory controller 19.

補正回路１３は、焦点検出用画素の位置にある画像信号を形成する形成手段として機能する。具体的には、Ａ／Ｄ変換された撮像素子１０の出力信号に基づいて、焦点検出用画素の位置にある撮像画像の画素値を周辺の通常画素から補正（補間及び補外を含む）する。補間は、例えば、周辺の通常画素を用いて公知のバイキュービック法などにより行われうる。 The correction circuit 13 functions as a forming unit that forms an image signal at the position of the focus detection pixel. Specifically, the pixel value of the captured image at the position of the focus detection pixel is corrected from the surrounding normal pixels (including interpolation and extrapolation) based on the output signal of the image sensor 10 subjected to A / D conversion. . The interpolation can be performed, for example, by a known bicubic method using peripheral normal pixels.

信号処理回路１５は、補正回路１３の出力に基づいて、輝度色差画像データを形成する回路である。 The signal processing circuit 15 is a circuit that forms luminance color difference image data based on the output of the correction circuit 13.

圧縮回路１６は、信号処理回路１５で形成された輝度色差画像データをＪＰＥＧなどの規格に従って圧縮処理する回路である。 The compression circuit 16 is a circuit that compresses the luminance color difference image data formed by the signal processing circuit 15 in accordance with a standard such as JPEG.

位相差演算回路２１は、Ａ／Ｄ変換された撮像素子１０の出力信号に基づいて、焦点検出用の画素値による位相差演算を行う。マイクロプロセッサ２４は、位相差演算回路２１の位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。 The phase difference calculation circuit 21 performs a phase difference calculation based on the pixel value for focus detection based on the output signal of the image sensor 10 subjected to A / D conversion. The microprocessor 24 calculates a defocus value from the phase difference calculation result of the phase difference calculation circuit 21 and outputs a lens driving signal corresponding to the defocus value to the photographing lens 28.

位置演算回路１４は、マイクロプロセッサ２４から焦点検出用画素の位置分布を示す分布情報（以下「分布情報」という。）と属性情報とを受信して、焦点検出用画素の位置情報を算出する位置演算手段である。位置演算回路１４は、分布情報と属性情報とを、ベイヤー配列に従った場合における色フィルタ情報（色情報）と共に出力する。 The position calculation circuit 14 receives distribution information (hereinafter referred to as “distribution information”) indicating the position distribution of the focus detection pixels and attribute information from the microprocessor 24, and calculates the position information of the focus detection pixels. It is a calculation means. The position calculation circuit 14 outputs the distribution information and the attribute information together with the color filter information (color information) when the Bayer arrangement is followed.

２０はメモリであり、ＤＲＡＭなどのメモリ素子によって構成される。 Reference numeral 20 denotes a memory, which includes a memory element such as a DRAM.

メモリコントローラ１９は、入力されたデータをメモリ２０に記録するための制御を行ったり、メモリ２０上のデータを他のブロックからのリクエストに応じて読み出すための制御を行ったりする。 The memory controller 19 performs control for recording input data in the memory 20 and performs control for reading data on the memory 20 in response to a request from another block.

外部記録メディア２３は、不揮発性のメモリ素子によって構成され、画像データファイルなどの保存を行う。 The external recording medium 23 is configured by a nonvolatile memory element, and stores an image data file and the like.

外部記録メディア制御回路２２は、外部記録メディア２３に対してデータの書き出しなどを制御する回路である。 The external recording media control circuit 22 is a circuit that controls data writing to the external recording media 23.

ディスプレイ１８は、ＬＣＤなどによって構成され、撮影した静止画を表示したり、電子ビューファインダーとして撮影前に撮像素子１０に入射する光学系により結像された被写体像を表示したりする。 The display 18 is configured by an LCD or the like, and displays a captured still image, or displays an object image formed by an optical system that enters the image sensor 10 before shooting as an electronic viewfinder.

撮影レンズ２８は、マイクロプロセッサ２４からの指令によって撮像素子１０に対する焦点位置を調整可能なレンズである。 The taking lens 28 is a lens capable of adjusting the focal position with respect to the image pickup device 10 according to a command from the microprocessor 24.

シャッタースイッチ２５は、半押しすると制御信号ＳＷ１が出力され、全押しすると制御信号ＳＷ２が出力され、何も押さない状態ではＳＷ０を出力するスイッチで、焦点検出時に半押し、撮影時に全押しして使用される。 The shutter switch 25 is a switch that outputs a control signal SW1 when pressed halfway, outputs a control signal SW2 when pressed fully, and outputs SW0 when not pressed. The shutter switch 25 is pressed halfway during focus detection and fully pressed during shooting. used.

２７はシャッターであり、羽根を開閉させることにより撮像素子１０への光の入射を制御する。 Reference numeral 27 denotes a shutter that controls the incidence of light on the image sensor 10 by opening and closing the blades.

マイクロプロセッサ２４は、システム全体を制御する回路である。マイクロプロセッサ２４は、不揮発性のメモリ素子などで構成されたＲＯＭを含み、ＲＯＭにはマイクロプロセッサ２４を制御するプログラムや焦点検出用画素の分布情報及び属性情報などが記憶されている。 The microprocessor 24 is a circuit that controls the entire system. The microprocessor 24 includes a ROM composed of a nonvolatile memory element and the like, and a program for controlling the microprocessor 24, distribution information and attribute information of focus detection pixels, and the like are stored in the ROM.

図２は、撮像素子１０の色フィルタ配列と読み出しモードを説明するための図である。本実施形態において、撮像素子１０は、画素数が（水平）×（垂直）＝１６００×１２００画素であり、色フィルタはベイヤー配列であるとする。ただし、本発明は、上記の画素数や色フィルタ配列に限定されず、他の画素数や補色フィルタなどを用いたものでもよい。また、図２において、Ｒはレッド、Ｇはグリーン、Ｂはブルーの色フィルタであるとする。Ｗは透明フィルタであり、焦点検出に用いるものとする。なお、焦点検出には、測距、測光などが含まれる。また、本実施形態に係る撮像装置は、静止画モード、焦点検出モード、間引きモードの３つの読み出しモードを有し、各読み出しモードに対して左矢印で示したラインが読み出されるものとする。ただし、本発明は、上記３つのモードのみを持つものに限定されず、その他の読み出しモードを有していてもよい。 FIG. 2 is a diagram for explaining the color filter array and the readout mode of the image sensor 10. In the present embodiment, it is assumed that the number of pixels of the image sensor 10 is (horizontal) × (vertical) = 1600 × 1200 pixels, and the color filter is a Bayer array. However, the present invention is not limited to the number of pixels and the color filter array described above, and other numbers of pixels and complementary color filters may be used. In FIG. 2, R is a red color filter, G is a green color filter, and B is a blue color filter. W is a transparent filter and is used for focus detection. Note that focus detection includes distance measurement, photometry, and the like. In addition, the imaging apparatus according to the present embodiment has three readout modes of a still image mode, a focus detection mode, and a thinning mode, and a line indicated by a left arrow is read out for each readout mode. However, the present invention is not limited to one having only the above three modes, and may have other readout modes.

焦点検出用画素の属性情報は、図２のブロックパターンの形式でＲＯＭに保持している。Ｒはレッド、Ｂはブルー、Ｇ１はレッド画素が存在する行のグリーン、Ｇ２はブルー画素が存在する行のグリーン、ＷＲ、ＷＧ１、ＷＧ２、ＷＢは焦点検出用のＷ画素でＷに続く文字はベイヤー配列の場合に存在するはずの色フィルタの色を示している。ただし、本発明は、ブロックパターンの形式を図２に限るものではなく、例えば色フィルタの種類は８種類ではなくて、例えば、２種類（Ｗ以外とＷだけ）などでもよい。また、例えば、ブロック内のベクトル表示で（０，０）、（１，１）のような形式で持つのみでもよい。また、ベイヤー配列でＲＢ画素をＷ画素に置き換えることが前提のシステムであればブロックパターン自体を持たなくてもよい。 The attribute information of the focus detection pixels is held in the ROM in the block pattern format of FIG. R is red, B is blue, G1 is green in the row where the red pixel is present, G2 is green in the row where the blue pixel is present, WR, WG1, WG2, WB are W pixels for focus detection, and the characters following W are The color of the color filter that should exist in the case of the Bayer array is shown. However, the present invention does not limit the format of the block pattern to that shown in FIG. 2. For example, the type of color filter is not limited to eight, but may be, for example, two (other than W and only W). Further, for example, the vector display in the block may have only a format such as (0, 0), (1, 1). Further, if the system is based on the premise that the RB pixel is replaced with the W pixel in the Bayer array, the block pattern itself may not be provided.

焦点検出用画素の分布情報は、Ｗ画素が存在するブロックパターンの分布情報を持つものとし、以下の多項式の各係数及びＮをＲＯＭに保持している。ここで、ＨＣＯＵＮＴは水平画素カウンタ、ＶＣＯＵＮＴは垂直ラインカウンタであり、それぞれ１１ビットのカウンタである。 The focus detection pixel distribution information includes distribution information of a block pattern in which W pixels exist, and each coefficient and N of the following polynomial are held in the ROM. Here, HCOUNT is a horizontal pixel counter, and VCOUNT is a vertical line counter, each of which is an 11-bit counter.

ｆ（ｘ）＝ａ２ｘ^２＋ａ１ｘ＋ａ０
ｇ（ｙ）＝ｂ２ｙ^２＋ｂ１ｙ＋ｂ０
θ（ｙ）＝（ｃ２ｙ^２＋ｃ１ｙ＋ｃ０）ｍｏｄ（Ｎ）
ｘ＝ＨＣＯＵＮＴ（１０：１）
ｙ＝ＶＣＯＵＮＴ（１０：１）
ただし、本発明は、分布情報を焦点検出用のＷ画素の分布情報で持ってもよいし、多項式の次数に制限を設けるものでもない。また関数は多項式でなくてもよく、例えば三角関数や指数関数などを含んでもよい。 f (x) = a2x ² + a1x + a0
g (y) = b2y ² + b1y + b0
θ (y) = (c2y ² + c1y + c0) mod (N)
x = HCOUNT (10: 1)
y = VCOUNT (10: 1)
However, the present invention may have the distribution information as the distribution information of W pixels for focus detection, and does not limit the order of the polynomial. The function may not be a polynomial, and may include, for example, a trigonometric function or an exponential function.

位置演算回路１４は、マイクロプロセッサ２４から分布情報を取得してＷ画素ブロックパターンの位置を算出する。図２は、静止画モードの分布情報（分布関数）が示されている。つまり、静止画モードにおいては、分布情報として以下の情報をマイクロプロセッサ２４から取得してＷ画素ブロックパターンの位置を算出する。 The position calculation circuit 14 acquires distribution information from the microprocessor 24 and calculates the position of the W pixel block pattern. FIG. 2 shows still image mode distribution information (distribution function). That is, in the still image mode, the following information is acquired from the microprocessor 24 as distribution information, and the position of the W pixel block pattern is calculated.

ａ２＝ａ１＝０，ａ０＝６
ｂ２＝ｂ１＝０，ｂ０＝６
ｃ２＝０，ｃ１＝１，ｃ０＝０，Ｎ＝６
本実施形態では、ｆ（ｘ）は、次のＷ画素ブロックパターンまでの水平距離を示している。例えば、ｘ＝０、ｙ＝０であればｆ（ｘ）＝６となり、次のＷ画素ブロックパターンはｘ＝６、ｙ＝０にある。同様に、ｇ（ｙ）は、次のＷ画素ブロックパターンまでの垂直距離を示している。例えば、ｙ＝０であればｇ（ｙ）＝６なので次のＷ画素ブロックパターンはｙ＝６のラインにある。θ（ｙ）は、ｆ（ｘ）を開始する水平位置を示している。例えば、ｙ＝３であればθ（ｙ）＝３なのでｘ＝３、ｙ＝３を始点として次のＷ画素ブロックはｘ＝９、ｙ＝３となる。ただし、本発明は、分布情報を次のＷ画素ブロックパターンまでの距離に限るものではなく、例えば単位距離あたりのＷ画素ブロックパターンの個数（密度）などで表現してもよい。 a2 = a1 = 0, a0 = 6
b2 = b1 = 0, b0 = 6
c2 = 0, c1 = 1, c0 = 0, N = 6
In the present embodiment, f (x) represents the horizontal distance to the next W pixel block pattern. For example, if x = 0 and y = 0, f (x) = 6, and the next W pixel block pattern is at x = 6 and y = 0. Similarly, g (y) indicates the vertical distance to the next W pixel block pattern. For example, if y = 0, g (y) = 6, so the next W pixel block pattern is on the line y = 6. θ (y) indicates a horizontal position at which f (x) starts. For example, if y = 3, θ (y) = 3, so that x = 3 and y = 3 are the starting points, and the next W pixel block is x = 9 and y = 3. However, in the present invention, the distribution information is not limited to the distance to the next W pixel block pattern, and may be expressed by, for example, the number (density) of W pixel block patterns per unit distance.

位置演算回路１４は算出結果をＷ画素の位置と色フィルタ情報として出力する。つまり、静止画撮影モードであれば、以下の（ＨＣＯＵＮＴ、ＶＣＯＵＮＴ、色）のフォーマットでデータを出力する。 The position calculation circuit 14 outputs the calculation result as the position of the W pixel and the color filter information. That is, in the still image shooting mode, data is output in the following format (HCOUNT, VCOUNT, color).

（０，０，４），（１２，０，４），（２４，０，４），…
（６，６，７），（１８，６，７），（３０，６，４），…
…
ただし、本発明においては、上記に限られず、例えば、一度だけブロックパターン情報を出力し、その後は焦点検出用のＷ画素を含むブロックパターンの位置を出力してもよい。 (0,0,4), (12,0,4), (24,0,4), ...
(6, 6, 7), (18, 6, 7), (30, 6, 4), ...
...
However, the present invention is not limited to the above. For example, the block pattern information may be output only once, and then the position of the block pattern including the W pixel for focus detection may be output.

図３は、焦点検出モードの分布関数を説明するための図である。本実施形態における焦点検出モードでは焦点検出用のＷ画素が存在するラインだけを読み出すものとする。つまり、焦点検出モードにおいては、以下の分布情報をマイクロプロセッサ２４から取得する。 FIG. 3 is a diagram for explaining the distribution function in the focus detection mode. In the focus detection mode in the present embodiment, only a line in which W pixels for focus detection exist are read out. That is, the following distribution information is acquired from the microprocessor 24 in the focus detection mode.

ａ２＝ａ１＝０，ａ０＝６
ｂ２＝ｂ１＝０，ｂ０＝１
ｃ２＝０，ｃ１＝３，ｃ０＝０，Ｎ＝６
図４は、間引きモードの分布関数を説明するための図である。本実施形態における間引きモードは電子ビューファインダー時に使用するモードであり、焦点検出用のＷ画素が存在しないラインを読み出すものとする。つまり、間引きモードにおいては、以下の分布情報をマイクロプロセッサ２４から取得する。 a2 = a1 = 0, a0 = 6
b2 = b1 = 0, b0 = 1
c2 = 0, c1 = 3, c0 = 0, N = 6
FIG. 4 is a diagram for explaining the distribution function in the thinning mode. The thinning mode in the present embodiment is a mode used at the time of the electronic viewfinder, and reads a line in which no W pixel for focus detection exists. That is, the following distribution information is acquired from the microprocessor 24 in the thinning mode.

ａ２＝ａ１＝ａ０＝０
ｂ２＝ｂ１＝ｂ０＝０
ｃ２＝ｃ１＝ｃ０＝０，Ｎ＝０
係数が全てゼロであれば、位置演算回路１４は、焦点検出用のＷ画素位置を算出しない。 a2 = a1 = a0 = 0
b2 = b1 = b0 = 0
c2 = c1 = c0 = 0, N = 0
If the coefficients are all zero, the position calculation circuit 14 does not calculate the W pixel position for focus detection.

本実施形態においては、撮像素子１０の読み出しモードに応じて分布関数を切り替えているが、本発明はこれに限られず、例えば、ブロックパターンを切り替えるように構成されてもよい。 In the present embodiment, the distribution function is switched according to the readout mode of the image sensor 10, but the present invention is not limited to this, and may be configured to switch the block pattern, for example.

図７は、撮像素子１０の読み出しモードに応じてブロックパターンを切り替える場合を説明するための図である。静止画撮影モード用のブロックパターンは、全ての画素について色フィルタ情報を持っている。焦点検出モード用のブロックパターンは、読み出される画素のみブロックパターンを持っていて、ＷＲ及びＷＢの画素が存在する。間引きモード用のブロックパターンは、読み出される画素のみがブロックパターンを持っており、Ｒ、Ｇ１、Ｇ２、Ｂの画素のみが存在する。 FIG. 7 is a diagram for explaining a case where the block pattern is switched according to the reading mode of the image sensor 10. The block pattern for the still image shooting mode has color filter information for all pixels. The block pattern for the focus detection mode has a block pattern for only the read pixels, and there are WR and WB pixels. In the block pattern for the thinning mode, only the pixels to be read have the block pattern, and there are only R, G1, G2, and B pixels.

図５に本実施形態のデジタルスチルカメラの動作の流れを示す。 FIG. 5 shows an operation flow of the digital still camera of the present embodiment.

ステップＳ１では、カメラに電源が投入される。 In step S1, the camera is turned on.

ステップＳ２では、スイッチ２９を端子ｄ（マイクロプロセッサ２４）と接続する。そして、カメラはまず電子ビューファインダーを起動する。 In step S2, the switch 29 is connected to the terminal d (microprocessor 24). The camera first activates the electronic viewfinder.

ステップＳ３では、マイクロプロセッサ２４は、制御信号を通じてＴＧ１１に対して指令を送り、ＴＧ１１が間引きモードで動作するようにセットする。これによって、ＴＧ１１は、間引きモードの駆動信号を撮像素子１０に出力する。 In step S3, the microprocessor 24 sends a command to the TG 11 through the control signal, and sets the TG 11 to operate in the thinning mode. As a result, the TG 11 outputs a driving signal for the thinning mode to the image sensor 10.

ステップＳ４では、マイクロプロセッサ２４は、位置演算回路１４に間引きモードの分布情報と属性情報とをセットする。間引きモードの分布情報では、係数が全てゼロなので、位置演算回路１４は、位置を算出しない。 In step S 4, the microprocessor 24 sets the distribution information and attribute information of the thinning mode in the position calculation circuit 14. In the distribution information in the thinning mode, since all the coefficients are zero, the position calculation circuit 14 does not calculate the position.

ステップＳ５では、マイクロプロセッサ２４は、スイッチ２６を端子ａに接続する。撮像素子１０に入射した被写体像は、図２に示すように２／６間引きをされて読み出される。読み出されるラインは、４００ラインになるが、電子ビューファインダーを実現するためには、十分なライン数である。また、１フィールドを読み出す速度を短縮できるため、被写体をフレーミングするのに十分なフレームレート（秒３０コマ程度）を実現できる。また、焦点検出用画素から読み出されるデータは存在しないため、後述する静止画撮影モードのような補間処理を行う必要はない。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。補正回路１３は、位置演算回路１４の算出結果に応じて焦点検出用のＷ画素を検出し、Ｗ画素における被写体像の画素値を補正する。間引きモードでは、位置演算回路１４は、位置を算出しないため、補正回路１３はスルー動作をする。信号処理回路１５は、補正回路１３から入力された信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は、入力された画像データを連続して表示する。これにより、ディスプレイ１８には、撮像素子１０に入射した被写体像が１秒あたり３０コマの動画として表示される。撮影者は、ディスプレイ（電子ビューファインダー）１８によって被写体を決定し、シャッタースイッチ２５を半押しする。 In step S5, the microprocessor 24 connects the switch 26 to the terminal a. The subject image incident on the image sensor 10 is read after being thinned by 2/6 as shown in FIG. The number of lines to be read is 400 lines, but the number of lines is sufficient to realize an electronic viewfinder. Further, since the speed of reading one field can be shortened, a frame rate sufficient for framing the subject (about 30 frames per second) can be realized. In addition, since there is no data read from the focus detection pixels, it is not necessary to perform an interpolation process as in the still image shooting mode described later. The output of the image sensor 10 is processed by the AFE 12 and output as a digital signal. The correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14, and corrects the pixel value of the subject image in the W pixel. In the thinning mode, since the position calculation circuit 14 does not calculate the position, the correction circuit 13 performs a through operation. The signal processing circuit 15 forms luminance color difference image data based on the signal input from the correction circuit 13 and outputs it. The display control circuit 17 adjusts the signal output timing so that the luminance / color difference image data output from the signal processing circuit 15 can be displayed on the display 18, and continuously outputs this data to the display 18. The display 18 continuously displays the input image data. Thereby, the subject image incident on the image sensor 10 is displayed on the display 18 as a moving image of 30 frames per second. The photographer determines the subject using the display (electronic viewfinder) 18 and presses the shutter switch 25 halfway.

ステップＳ６では、マイクロプロセッサ２４は、シャッタースイッチ２５がＳＷ１の状態であることを判断すると、処理をＳ７に進め、オートフォーカス動作を開始する。 In step S6, when the microprocessor 24 determines that the shutter switch 25 is in the SW1 state, the microprocessor 24 proceeds to step S7 and starts an autofocus operation.

ステップＳ７では、マイクロプロセッサ２４は、ＴＧ１１を焦点検出モードに変更する。その後、処理をＳ８に進める。 In step S7, the microprocessor 24 changes the TG 11 to the focus detection mode. Thereafter, the process proceeds to S8.

ステップＳ８では、位置演算回路１４に焦点検出モードの分布情報と属性情報をセットする。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。メモリコントローラ１９は、ＡＦＥ１２から出力されたデジタル信号を１フィールド分、メモリ２０に記録する。メモリコントローラ１９は、位置演算回路１４の算出結果に従って焦点検出用Ｗ画素の画像信号をメモリ２０から読み出し、位相差演算回路２１に出力する。位相差演算回路２１は、焦点検出用Ｗ画素の画素値に基づいて位相差演算をする。マイクロプロセッサ２４は、位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。撮影レンズ２８の位置は、駆動信号に従って移動する。これによってオートフォーカス動作が完了する。一方、補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、焦点検出モードの分布情報（分布関数）に従って位置を算出する。信号処理回路１５は、補正回路１３から入力される信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に出力する。ディスプレイ１８は入力された画像データを表示する。これによりディスプレイ１８には撮像素子１０に入射された被写体像が表示される。 In step S8, distribution information and attribute information of the focus detection mode are set in the position calculation circuit 14. The output of the image sensor 10 is processed by the AFE 12 and output as a digital signal. The memory controller 19 records the digital signal output from the AFE 12 in the memory 20 for one field. The memory controller 19 reads the image signal of the focus detection W pixel from the memory 20 in accordance with the calculation result of the position calculation circuit 14 and outputs it to the phase difference calculation circuit 21. The phase difference calculation circuit 21 calculates a phase difference based on the pixel value of the focus detection W pixel. The microprocessor 24 calculates a defocus value from the phase difference calculation result, and outputs a lens driving signal corresponding to the defocus value to the photographing lens 28. The position of the photographic lens 28 moves according to the drive signal. This completes the autofocus operation. On the other hand, the correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14 and corrects the pixel value of the subject image. The position calculation circuit 14 calculates a position according to distribution information (distribution function) in the focus detection mode. The signal processing circuit 15 forms luminance color difference image data based on the signal input from the correction circuit 13 and outputs it. The display control circuit 17 adjusts the signal output timing so that the luminance color difference image data output from the signal processing circuit 15 can be displayed on the display 18, and outputs this to the display 18. The display 18 displays the input image data. As a result, the subject image incident on the image sensor 10 is displayed on the display 18.

ステップＳ９では、撮影者がシャッタースイッチ２５を全押ししたとすると、シャッタースイッチ２５は制御信号ＳＷ２を出力する。 In step S9, if the photographer fully presses the shutter switch 25, the shutter switch 25 outputs a control signal SW2.

ステップＳ１０では、マイクロプロセッサ２４は、シャッタースイッチの全押しを検知すると、処理をステップＳ１１に進める。 In step S10, when the microprocessor 24 detects that the shutter switch is fully pressed, the process proceeds to step S11.

ステップＳ１１では、ＴＧ１１のモードを静止画撮影モードに切り替える。その後、処理をＳ１２に進める。 In step S11, the TG11 mode is switched to the still image shooting mode. Thereafter, the process proceeds to S12.

ステップＳ１２では、位置演算回路１４に静止画撮影モードの分布情報と属性情報をセットする。 In step S12, distribution information and attribute information of the still image shooting mode are set in the position calculation circuit 14.

ステップＳ１３では、スイッチ２６を端子ｂ（メモリコントローラ１９）に切り替える。 In step S13, the switch 26 is switched to the terminal b (memory controller 19).

ステップＳ１４では、ＴＧ１１は、静止画撮影モードの駆動パルスを生成する。メモリコントローラ１９は、映像信号をＡＦＥ１２から取り込み、これをメモリ２０に記録する。補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、静止画撮影モードの分布情報（関数）に従って位置を算出する。この後、信号処理回路１５は、入力された画像データを輝度色差画像データに変換する。信号処理回路１５は、処理を終わったデータを順に出力する。圧縮回路１６は、信号処理回路１５が出力したデータをＪＰＥＧなどの規格に従って圧縮処理し、これを出力する。メモリコントローラ１９は、圧縮された画像データを外部記録メディア制御回路２２に出力することにより、外部記録メディア２３に画像データをファイルとして記録する。 In step S14, the TG 11 generates a drive pulse for the still image shooting mode. The memory controller 19 takes in the video signal from the AFE 12 and records it in the memory 20. The correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14 and corrects the pixel value of the subject image. The position calculation circuit 14 calculates a position according to distribution information (function) in the still image shooting mode. Thereafter, the signal processing circuit 15 converts the input image data into luminance color difference image data. The signal processing circuit 15 sequentially outputs the processed data. The compression circuit 16 compresses the data output from the signal processing circuit 15 in accordance with a standard such as JPEG and outputs it. The memory controller 19 records the image data as a file on the external recording medium 23 by outputting the compressed image data to the external recording medium control circuit 22.

以上により、静止画の撮影が完了する。この後、マイクロプロセッサ２４は、ステップＳ３に処理を戻して、ＴＧ１１を間引きモードに、位置演算回路を１４を間引きモードに、スイッチ２６を端子ａに接続し、再び電子ビューファインダ動作を開始する。 This completes the still image shooting. Thereafter, the microprocessor 24 returns the process to step S3, connects the TG 11 to the thinning mode, connects the position calculation circuit 14 to the thinning mode, connects the switch 26 to the terminal a, and starts the electronic viewfinder operation again.

このように、本発明によれば、少ないＲＯＭサイズで確実に焦点検出等の機能画素を判定し、対応する被写体像の画素値を補間することができる。また、撮像素子１０の読み出しモードが複数あっても対応が可能になる。 As described above, according to the present invention, it is possible to reliably determine a functional pixel for focus detection or the like with a small ROM size and to interpolate a pixel value of a corresponding subject image. Further, even if there are a plurality of readout modes of the image sensor 10, it is possible to cope with it.

図６に本実施形態のデジタルスチルカメラの別の動作の流れを示す。 FIG. 6 shows another operation flow of the digital still camera of the present embodiment.

ステップＳ１０１では、カメラに電源が投入される。 In step S101, the camera is turned on.

ステップＳ１０２では、スイッチ２９を端子ｄ（マイクロプロセッサ２４）と接続する。 In step S102, the switch 29 is connected to the terminal d (microprocessor 24).

ステップＳ１０３では、マイクロプロセッサ２４は、位置演算回路１４に全モードの分布情報と属性情報とをセットする。位置演算回路１４は、算出結果をメモリコントローラ１９に出力し、メモリコントローラ１９によりメモリ２０に記録される。 In step S 103, the microprocessor 24 sets distribution information and attribute information for all modes in the position calculation circuit 14. The position calculation circuit 14 outputs the calculation result to the memory controller 19 and is recorded in the memory 20 by the memory controller 19.

ステップＳ１０４では、スイッチ２９を端子ｃ（メモリコントローラ１９）と接続する。次いで、カメラはまず電子ビューファインダーを起動する。 In step S104, the switch 29 is connected to the terminal c (memory controller 19). Next, the camera first activates the electronic viewfinder.

ステップＳ１０５では、マイクロプロセッサ２４は、制御信号を通じてＴＧ１１に指令を送り、ＴＧ１１が間引きモードで動作するようにセットする。これによって、ＴＧ１１は、間引きモードの駆動信号を撮像素子１０に出力する。 In step S105, the microprocessor 24 sends a command to the TG 11 through the control signal, and sets the TG 11 to operate in the thinning mode. As a result, the TG 11 outputs a driving signal for the thinning mode to the image sensor 10.

ステップＳ１０６では、マイクロプロセッサ２４は、位置演算回路１４に間引きモードの分布情報と属性情報とをセットする。間引きモードの分布情報では、係数が全てゼロなので、位置演算回路１４は、位置を算出しない。 In step S 106, the microprocessor 24 sets the thinning mode distribution information and attribute information in the position calculation circuit 14. In the distribution information in the thinning mode, since all the coefficients are zero, the position calculation circuit 14 does not calculate the position.

ステップＳ１０７では、マイクロプロセッサは、スイッチ２６を端子ａに接続する。撮像素子１０に入射した被写体像は、図２に示すように２／６間引きをされて読み出される。読み出されるラインは、４００ラインになるが、電子ビューファインダーを実現するためには、十分なライン数である。また、１フィールドを読み出す速度を短縮できるため、被写体をフレーミングするのに十分なフレームレート（秒３０コマ程度）を実現できる。また、焦点検出用画素から読み出されるデータは存在しないため、後述する静止画撮影モードのような補間処理を行う必要はない。撮像素子１０の出力はＡＦＥ１２で処理されデジタル信号として出力される。補正回路１３は位置演算回路１４の算出結果に応じて焦点検出用のＷ画素を検出し、Ｗ画素における被写体像の画素値を補正する。間引きモードでは、位置演算回路１４は、位置を算出しないため、補正回路１３はスルー動作をする。信号処理回路１５は、補正回路１３から入力された信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は、入力された画像データを連続して表示する。これにより、ディスプレイ１８には、撮像素子１０に入射した被写体像が１秒あたり３０コマの動画として表示される。撮影者は、ディスプレイ（電子ビューファインダー）１８によって被写体を決定し、シャッタースイッチ２５を半押しする。 In step S107, the microprocessor connects the switch 26 to the terminal a. The subject image incident on the image sensor 10 is read after being thinned by 2/6 as shown in FIG. The number of lines to be read is 400 lines, but the number of lines is sufficient to realize an electronic viewfinder. Further, since the speed of reading one field can be shortened, a frame rate sufficient for framing the subject (about 30 frames per second) can be realized. In addition, since there is no data read from the focus detection pixels, it is not necessary to perform an interpolation process as in the still image shooting mode described later. The output of the image sensor 10 is processed by the AFE 12 and output as a digital signal. The correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14, and corrects the pixel value of the subject image in the W pixel. In the thinning mode, since the position calculation circuit 14 does not calculate the position, the correction circuit 13 performs a through operation. The signal processing circuit 15 forms luminance color difference image data based on the signal input from the correction circuit 13 and outputs it. The display control circuit 17 adjusts the signal output timing so that the luminance / color difference image data output from the signal processing circuit 15 can be displayed on the display 18, and continuously outputs this data to the display 18. The display 18 continuously displays the input image data. Thereby, the subject image incident on the image sensor 10 is displayed on the display 18 as a moving image of 30 frames per second. The photographer determines the subject using the display (electronic viewfinder) 18 and presses the shutter switch 25 halfway.

ステップＳ１０８では、マイクロプロセッサ２４は、シャッタースイッチ２５がＳＷ１状態であることを判断すると、処理をＳ１０９に進める。 In step S108, if the microprocessor 24 determines that the shutter switch 25 is in the SW1 state, the process proceeds to step S109.

ステップＳ１０９では、オートフォーカス動作を開始する。マイクロプロセッサ２４は、ＴＧ１１を焦点検出モードに変更する。その後、処理をＳ１１０に進める。 In step S109, the autofocus operation is started. The microprocessor 24 changes the TG 11 to the focus detection mode. Thereafter, the process proceeds to S110.

ステップＳ１１０では、位置演算回路１４に焦点検出モードの分布情報と属性情報をセットする。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。メモリコントローラ１９は、ＡＦＥ１２から出力されたデジタル信号を１フィールド分、メモリ２０に記録する。メモリコントローラ１９は、位置演算回路１４の算出結果に従って焦点検出用Ｗ画素の画像信号をメモリ２０から読み出し、位相差演算回路２１に出力する。位相差演算回路２１は、焦点検出用Ｗ画素の画素値に基づいて位相差演算をする。マイクロプロセッサ２４は、位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。撮影レンズ２８の位置は、駆動信号に従って移動する。これによってオートフォーカス動作が完了する。一方、補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、焦点検出モードの分布情報（分布関数）に従って位置を算出する。信号処理回路１５は、補正回路１３から入力される信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に出力する。ディスプレイ１８は入力された画像データを表示する。これによりディスプレイ１８には撮像素子１０に入射された被写体像が表示される。 In step S110, the focus calculation mode distribution information and attribute information are set in the position calculation circuit 14. The output of the image sensor 10 is processed by the AFE 12 and output as a digital signal. The memory controller 19 records the digital signal output from the AFE 12 in the memory 20 for one field. The memory controller 19 reads the image signal of the focus detection W pixel from the memory 20 in accordance with the calculation result of the position calculation circuit 14 and outputs it to the phase difference calculation circuit 21. The phase difference calculation circuit 21 calculates a phase difference based on the pixel value of the focus detection W pixel. The microprocessor 24 calculates a defocus value from the phase difference calculation result, and outputs a lens driving signal corresponding to the defocus value to the photographing lens 28. The position of the photographic lens 28 moves according to the drive signal. This completes the autofocus operation. On the other hand, the correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14 and corrects the pixel value of the subject image. The position calculation circuit 14 calculates a position according to distribution information (distribution function) in the focus detection mode. The signal processing circuit 15 forms luminance color difference image data based on the signal input from the correction circuit 13 and outputs it. The display control circuit 17 adjusts the signal output timing so that the luminance color difference image data output from the signal processing circuit 15 can be displayed on the display 18, and outputs this to the display 18. The display 18 displays the input image data. As a result, the subject image incident on the image sensor 10 is displayed on the display 18.

ステップＳ１１１では、撮影者がシャッタースイッチ２５を全押ししたとすると、シャッタースイッチ２５は制御信号ＳＷ２を出力する。 In step S111, if the photographer fully presses the shutter switch 25, the shutter switch 25 outputs a control signal SW2.

ステップＳ１１２では、マイクロプロセッサ２４は、シャッタースイッチの全押しを検知すると、処理をステップＳ１１３に進める。 In step S112, when the microprocessor 24 detects that the shutter switch is fully pressed, the process proceeds to step S113.

ステップＳ１１３では、ＴＧ１１のモードを静止画撮影モードに切り替える。その後、処理をＳ１１４に進める。 In step S113, the TG11 mode is switched to the still image shooting mode. Thereafter, the process proceeds to S114.

ステップＳ１１４では、位置演算回路１４に静止画撮影モードの分布情報と属性情報をセットする。 In step S114, the distribution information and attribute information of the still image shooting mode are set in the position calculation circuit 14.

ステップＳ１１５では、スイッチ２６を端子ｂ（メモリコントローラ１９）に切り替える。 In step S115, the switch 26 is switched to the terminal b (memory controller 19).

ステップＳ１１６では、ＴＧ１１は静止画撮影モードの駆動パルスを生成する。 In step S116, the TG 11 generates a drive pulse for the still image shooting mode.

メモリコントローラ１９は、映像信号をＡＦＥ１２から取り込み、これをメモリ２０に記録する。補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、静止画撮影モードの分布情報（関数）に従って位置を算出する。この後、信号処理回路１５は、入力された画像データを輝度色差画像データに変換する。信号処理回路１５は、処理を終わったデータを順に出力する。圧縮回路１６は、信号処理回路１５が出力したデータをＪＰＥＧなどの規格に従って圧縮処理し、これを出力する。メモリコントローラ１９は、圧縮された画像データを外部記録メディア制御回路２２に出力することにより、外部記録メディア２３に画像データをファイルとして記録する。 The memory controller 19 takes in the video signal from the AFE 12 and records it in the memory 20. The correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14 and corrects the pixel value of the subject image. The position calculation circuit 14 calculates a position according to distribution information (function) in the still image shooting mode. Thereafter, the signal processing circuit 15 converts the input image data into luminance color difference image data. The signal processing circuit 15 sequentially outputs the processed data. The compression circuit 16 compresses the data output from the signal processing circuit 15 in accordance with a standard such as JPEG and outputs it. The memory controller 19 records the image data as a file on the external recording medium 23 by outputting the compressed image data to the external recording medium control circuit 22.

以上により、静止画の撮影が完了する。この後、マイクロプロセッサ２４は、ステップＳ３に処理を戻して、ＴＧ１１を間引きモードに、位置演算回路を１４を間引きモードに、スイッチ２６を端子ａに接続し、再び電子ビューファインダー動作を開始する。 This completes the still image shooting. Thereafter, the microprocessor 24 returns the process to step S3, connects the TG 11 to the thinning mode, connects the position calculation circuit 14 to the thinning mode, connects the switch 26 to the terminal a, and starts the electronic viewfinder operation again.

このように、本発明によれば、更に、分布情報を予めメモリ２０に画素位置として展開しておく。これにより、焦点検出用Ｗ画素が水平方向にも垂直方向にも粗密の分布を持っていて、ＨＶ分離することが難しい場合であっても、簡単な構成で位置演算回路１４を構成することが可能になる。 Thus, according to the present invention, the distribution information is further developed in advance in the memory 20 as pixel positions. Thus, even if the focus detection W pixels have a coarse and dense distribution both in the horizontal direction and in the vertical direction, and it is difficult to perform HV separation, the position calculation circuit 14 can be configured with a simple configuration. It becomes possible.

また、図２〜図４では焦点検出用Ｗ画素の分布が水平方向にも垂直方向にも均一であるが、本発明はこれに限定されず、粗密の分布を持っていてもよい。 2 to 4, the distribution of the focus detection W pixels is uniform both in the horizontal direction and in the vertical direction. However, the present invention is not limited to this, and may have a dense distribution.

図８は、水平方向に粗密の分布がある場合であり、外側が密で中央に近づくほど粗い場合を示している。 FIG. 8 shows a case where there is a coarse and dense distribution in the horizontal direction, and the case where the outside is dense and becomes coarser as it approaches the center.

図８における水平方向の分布関数は以下のようになる。
・Ｗｉｎｄｏｗ１（１≦ｘ≦８）
ｆ（ｘ）＝０．５ｘ
・Ｗｉｎｄｏｗ２（１２≦ｘ≦１９）
ｆ（ｘ）＝−０．５ｘ＋１０
ただし、本発明は上記の分布関数に限られず、撮像素子内の領域を指定するウィンドウを複数有して、分布情報が複数のウィンドウの各々に対して設定されてもよいし、同じような分布関数を垂直方向にも持っていてもよい。 The horizontal distribution function in FIG. 8 is as follows.
・ Window1 (1 ≦ x ≦ 8)
f (x) = 0.5x
・ Window2 (12 ≦ x ≦ 19)
f (x) = − 0.5x + 10
However, the present invention is not limited to the above distribution function, and there may be a plurality of windows for designating regions in the image sensor, and distribution information may be set for each of the plurality of windows, or similar distributions. You may also have a function in the vertical direction.

このように、本発明によれば、更に、ウィンドウ毎に分布関数を持つことによって、任意の粗密の分布を表現することができる。 As described above, according to the present invention, it is possible to express an arbitrary density distribution by having a distribution function for each window.

また、本発明では電子ズームなどで撮像素子１０の中心付近だけ読み出す場合に、分布関数を座標変換してウィンドウを切り替えてもよい。 In the present invention, when only the vicinity of the center of the image sensor 10 is read by electronic zoom or the like, the window may be switched by coordinate conversion of the distribution function.

図９は、電子ズームにより撮像素子１０の中央付近だけ読み出す場合を水平方向において例示的に示している。この場合は、ｆ（ｘ）及びウィンドウは、以下のように切り替わる。
・Ｗｉｎｄｏｗ１（０≦ｘ≦４）
ｆ（ｘ）＝０．５（ｘ＋４）
・Ｗｉｎｄｏｗ２（８≦ｘ≦１２）
ｆ（ｘ）＝−０．５（ｘ＋４）＋１０
ただし、本発明は、上記のウィンドウに限られず、切り替えるウィンドウの組を３つ以上持ってもよいし、同じような分布を垂直方向にも持っていてもよい。 FIG. 9 exemplarily shows a case in which only the vicinity of the center of the image sensor 10 is read by electronic zoom in the horizontal direction. In this case, f (x) and the window are switched as follows.
・ Window1 (0 ≦ x ≦ 4)
f (x) = 0.5 (x + 4)
・ Window2 (8 ≦ x ≦ 12)
f (x) = − 0.5 (x + 4) +10
However, the present invention is not limited to the above-described window, and may have three or more sets of windows to be switched, or may have a similar distribution in the vertical direction.

このように、本発明によれば、更に、ウィンドウ切り替えと同時に分布関数の座標変換を行う。これにより、電子ズームなどで撮像素子１０の中央付近だけを読み出すような場合に複数の分布情報を保持する必要がない。 Thus, according to the present invention, coordinate conversion of the distribution function is further performed simultaneously with window switching. Thereby, there is no need to hold a plurality of distribution information when only the vicinity of the center of the image sensor 10 is read by electronic zoom or the like.

また、本実施形態では、画像信号を処理する順番はラスタ順であるが、これに限定されず、その他の順番で補正や位相差演算を行ってもよい。 In this embodiment, the order in which the image signals are processed is the raster order. However, the order is not limited to this, and the correction and the phase difference calculation may be performed in other orders.

図１０は、ブロックパターンがジグザグに読み出される場合を説明するための図である。ブロックパターンは、図１０に示す数字の順番のようにジグザグに読まれる。ジグザグ方向のカウンタをｌｅｎとし、分布関数をｈ（ｌｅｎ）とすると、以下のようになる。
・Ｗｉｎｄｏｗｎ（ｗｎ＿ｍｉｎ≦ｌｅｎ≦ｗｎ＿ｍａｘ）
ｈ（ｌｅｎ）＝Ｄ＝３
ｗｎ＿ｍｉｎ＝（１＋２Ｄ×ｎ）（１＋２Ｄ×ｎ）／２−Ｄ×ｎ
ｗｎ＿ｍａｘ＝（１＋２Ｄ×ｎ）（１＋２Ｄ×ｎ）／２＋Ｄ×ｎ
ｎ＝０，１，２，…
この場合、ＲＯＭに記憶しておく分布情報はＤ＝３である。また、分布関数をスカラ値ではなくベクトル値で表現してもよい。その場合は、以下のようになる。
・Ｗｉｎｄｏｗｎ（ｗｎ＿ｍｉｎ≦ｌｅｎ≦ｗｎ＿ｍａｘ）
ｌｅｎ＝ｍ×ｅ＋ｗｎ＿ｍｉｎ＝（ｍ，−ｍ＋６ｎ）
ｈ（ｌｅｎ）＝Ｄ×ｅ＝（３，−３）
ｗｎ＿ｍｉｎ＝２Ｄ×ｎ×ｅｙ＝（０，６ｎ）
ｗｎ＿ｍａｘ＝２Ｄ×ｎ×ｅｘ＝（６ｎ，０）
ｅ＝（１，−１）
ｅｘ＝（１，０）
ｅｙ＝（０，１）
ｍ＝０，１，２，…
ｎ＝０，１，２，…
この場合、ＲＯＭに記憶しておく分布情報はＤ＝３である。 FIG. 10 is a diagram for explaining a case where a block pattern is read out in a zigzag manner. The block pattern is read zigzag like the numerical order shown in FIG. When the counter in the zigzag direction is len and the distribution function is h (len), the result is as follows.
・ Window n (wn_min ≦ len ≦ wn_max)
h (len) = D = 3
wn_min = (1 + 2D × n) (1 + 2D × n) / 2−D × n
wn_max = (1 + 2D × n) (1 + 2D × n) / 2 + D × n
n = 0, 1, 2,...
In this case, the distribution information stored in the ROM is D = 3. Further, the distribution function may be expressed by a vector value instead of a scalar value. In that case, it is as follows.
・ Window n (wn_min ≦ len ≦ wn_max)
len = m × e + wn_min = (m, −m + 6n)
h (len) = D × e = (3, −3)
wn_min = 2D × n × ey = (0,6n)
wn_max = 2D × n × ex = (6n, 0)
e = (1, -1)
ex = (1, 0)
ey = (0,1)
m = 0, 1, 2, ...
n = 0, 1, 2,...
In this case, the distribution information stored in the ROM is D = 3.

このように、本発明によれば、ウィンドウを複数持つことにより、ラスタ順以外で入力される画像データの補正や位相差演算を実施することができる。 As described above, according to the present invention, by having a plurality of windows, it is possible to perform correction and phase difference calculation of input image data other than the raster order.

（第２の実施形態）
第２の実施形態の構成は図１と同様である。本実施形態では、焦点検出焦点検出用Ｗ画素の分布情報及び属性情報はＡＦＥ１２が保持されて、電源投入時など処理開始前の適当なタイミングでＡＦＥ１２から出力され、メモリコントローラ１９を介してメモリ２０に転送される。 (Second Embodiment)
The configuration of the second embodiment is the same as that of FIG. In this embodiment, the distribution information and attribute information of the focus detection focus detection W pixel are held in the AFE 12 and output from the AFE 12 at an appropriate timing before the start of processing such as when the power is turned on. Forwarded to

本実施形態では、焦点検出用Ｗ画素の分布情報及び属性情報は、ＡＦＥ１２が保持しているが、本発明はこれに限られず、ＴＧ１１が保持してもよいし、撮像素子１０が保持していてもよい。また、本実施形態では、メモリ２０に焦点検出用Ｗ画素の分布情報及び属性情報が転送されるが、本発明はこれに限られず、転送されたデータでＲＯＭを更新してもよい。 In the present embodiment, the distribution information and attribute information of the focus detection W pixels are held by the AFE 12, but the present invention is not limited to this, and the TG 11 may hold them, or the image sensor 10 holds them. May be. In this embodiment, the distribution information and attribute information of the focus detection W pixel are transferred to the memory 20, but the present invention is not limited to this, and the ROM may be updated with the transferred data.

本実施形態では、マイクロプロセッサ２４が転送された焦点検出用Ｗ画素の分布情報及び属性情報をメモリ２０から読み出して位置演算回路１４にセットするかＲＯＭを更新するが、それ以外は第１の実施の形態と同様である。 In this embodiment, the distribution information and attribute information of the focus detection W pixels transferred by the microprocessor 24 are read from the memory 20 and set in the position calculation circuit 14 or the ROM is updated. Otherwise, the first embodiment is performed. It is the same as the form.

このように、本発明によれば、更に、焦点検出用Ｗ画素の分布情報及び属性情報を撮像素子、タイミングジェネレータ、アナログフロントエンド等が保持する。これにより、撮像素子、タイミングジェネレータ、アナログフロントエンド等の仕様変更等が発生した時のＲＯＭ修正によるコスト上昇やセンサーモジュール交換に煩雑なユーザ作業の発生を抑えることができる。 As described above, according to the present invention, the distribution information and the attribute information of the focus detection W pixels are further held by the imaging device, the timing generator, the analog front end, and the like. As a result, it is possible to suppress an increase in cost due to ROM correction when a specification change or the like of the image sensor, timing generator, analog front end, etc. occurs, and occurrence of complicated user work for sensor module replacement.

（第３の実施形態）
図１１は、第３の実施形態の撮像装置の構成を示す。第３の実施形態はデジタルスチルカメラの構成例である。 (Third embodiment)
FIG. 11 shows the configuration of the imaging apparatus of the third embodiment. The third embodiment is a configuration example of a digital still camera.

図１１では、スイッチ２９の端子（入力端子）ｄがマイクロプロセッサ２４ではなくＡＦＥ１２である以外は、図１と同様である。本実施形態では、焦点検出用Ｗ画素の分布情報及び属性情報をＡＦＥ１２が保持しており、適当なタイミングでＡＦＥ１２から出力される。 11 is the same as FIG. 1 except that the terminal (input terminal) d of the switch 29 is not the microprocessor 24 but the AFE 12. In the present embodiment, the AFE 12 holds distribution information and attribute information of the focus detection W pixels, and is output from the AFE 12 at an appropriate timing.

本実施形態では、焦点検出用Ｗ画素の分布情報及び属性情報をＡＦＥ１２が保持しているが、本発明はこれに限られず、ＴＧ１１が保持してもよいし、撮像素子１０が保持してもよい。 In this embodiment, the AFE 12 holds distribution information and attribute information of focus detection W pixels. However, the present invention is not limited to this, and the TG 11 may hold the image information. Good.

図１２は、本実施形態においてＡＦＥ１２が焦点検出用Ｗ画素の分布情報及び属性情報をどのようなタイミングかつどのようなフォーマットで出力するかを説明するための図である。 FIG. 12 is a diagram for explaining at what timing and in what format the AFE 12 outputs distribution information and attribute information of focus detection W pixels in the present embodiment.

図１２（ａ）は、Ａ／Ｄ変換データに属性情報用ビットを付加して出力する場合を示す図である。画素信号は１０ビットデータにＡ／Ｄ変換され、３ビットの属性データは色フィルタ情報を持っている。ただし、本発明はこれに限定されず、属性データは３ビット以外でもよいし、ＭＳＢ側以外にビットが配置されてもよい。 FIG. 12A is a diagram showing a case where attribute information bits are added to A / D conversion data for output. The pixel signal is A / D converted into 10-bit data, and the 3-bit attribute data has color filter information. However, the present invention is not limited to this, and the attribute data may be other than 3 bits, or bits may be arranged outside the MSB side.

図１２（ｂ）は、フィールド読み出し開始前の垂直ブランキング期間に属性情報を出力し、ライン読み出し開始前の水平ブランキング期間に各ラインにおける分布情報を出力する場合を示す図である。出力される属性情報及び分布情報は、第１の実施形態で説明されたものと同様である。ただし、本発明はこれに限定されず、カラム順に画素信号を読み出すタイプの撮像素子であれば、水平と垂直の関係を逆に適用しても構わない（カラム毎に分布情報を出力しても構わない）。 FIG. 12B is a diagram illustrating a case where attribute information is output in the vertical blanking period before the start of field reading and distribution information in each line is output in the horizontal blanking period before the start of line reading. The output attribute information and distribution information are the same as those described in the first embodiment. However, the present invention is not limited to this, and the horizontal and vertical relationship may be applied reversely as long as the image pickup device reads pixel signals in the column order (even if distribution information is output for each column). I do not care).

図１２（ｃ）は、フィールド読み出し開始前の垂直ブランキング期間に属性情報と分布情報を出力する場合を示す図である。出力される属性情報及び分布情報は、第１の実施形態で説明されたものと同様である。本発明では、１フィールド毎に属性情報と分布情報とを出力してもよいし、複数フィールド毎に適当なタイミングで属性情報と分布情報とを出力してもよい。 FIG. 12C is a diagram illustrating a case where attribute information and distribution information are output in the vertical blanking period before the start of field reading. The output attribute information and distribution information are the same as those described in the first embodiment. In the present invention, the attribute information and the distribution information may be output for each field, or the attribute information and the distribution information may be output at an appropriate timing for each of a plurality of fields.

図１３は、本実施形態に係るデジタルスチルカメラの動作の流れを示す図である。 FIG. 13 is a diagram illustrating a flow of operations of the digital still camera according to the present embodiment.

ステップＳ２０１では、カメラに電源が投入される。カメラはまず電子ビューファインダーを起動する。 In step S201, the camera is turned on. The camera first activates the electronic viewfinder.

ステップＳ２０２では、マイクロプロセッサ２４は、制御信号を通じてＴＧ１１に指令を送り、ＴＧ１１が間引きモードで動作するようにセットする。これによって、ＴＧ１１は、間引きモードの駆動信号を撮像素子１０に出力する。 In step S202, the microprocessor 24 sends a command to the TG 11 through the control signal, and sets the TG 11 to operate in the thinning mode. As a result, the TG 11 outputs a driving signal for the thinning mode to the image sensor 10.

ステップＳ２０３では、マイクロプロセッサ２４は、スイッチ２９を端子ｄ（ＡＦＥ１２）と接続する。 In step S203, the microprocessor 24 connects the switch 29 to the terminal d (AFE12).

ステップＳ２０４では、マイクロプロセッサ２４は、スイッチ２６を端子ａ（ＡＦＥ１２）と接続する。撮像素子１０に入射した被写体像は、図２に示すように２／６間引きをされて読み出される。読み出されるラインは、４００ラインになるが、電子ビューファインダーを実現するためには、十分なライン数である。また、１フィールドを読み出す速度を短縮できるため、被写体をフレーミングするのに十分なフレームレート（秒３０コマ程度）を実現できる。また、焦点検出用画素から読み出されるデータは存在しないため、後述する静止画撮影モードのような補間処理を行う必要はない。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。補正回路１３は、位置演算回路１４の算出結果に応じて焦点検出用のＷ画素を検出し、Ｗ画素における被写体像の画素値を補正する。間引きモードでは、位置演算回路１４は、位置を算出しないため、補正回路１３はスルー動作をする。信号処理回路１５は、補正回路１３から入力された信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に連続して出力する。ディスプレイ１８は、入力された画像データを連続して表示する。これにより、ディスプレイ１８には、撮像素子１０に入射した被写体像が１秒あたり３０コマの動画として表示される。撮影者は、ディスプレイ（電子ビューファインダー）によって被写体を決定し、シャッタースイッチ２５を半押しする。 In step S204, the microprocessor 24 connects the switch 26 to the terminal a (AFE12). The subject image incident on the image sensor 10 is read after being thinned by 2/6 as shown in FIG. The number of lines to be read is 400 lines, but the number of lines is sufficient to realize an electronic viewfinder. Further, since the speed of reading one field can be shortened, a frame rate sufficient for framing the subject (about 30 frames per second) can be realized. Further, since there is no data read from the focus detection pixels, it is not necessary to perform an interpolation process as in a still image shooting mode described later. The output of the image sensor 10 is processed by the AFE 12 and output as a digital signal. The correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14, and corrects the pixel value of the subject image in the W pixel. In the thinning mode, since the position calculation circuit 14 does not calculate the position, the correction circuit 13 performs a through operation. The signal processing circuit 15 forms luminance color difference image data based on the signal input from the correction circuit 13 and outputs it. The display control circuit 17 adjusts the signal output timing so that the luminance / color difference image data output from the signal processing circuit 15 can be displayed on the display 18, and continuously outputs this data to the display 18. The display 18 continuously displays the input image data. Thereby, the subject image incident on the image sensor 10 is displayed on the display 18 as a moving image of 30 frames per second. The photographer determines the subject using the display (electronic viewfinder) and presses the shutter switch 25 halfway.

ステップＳ２０５では、マイクロプロセッサ２４は、シャッタースイッチ２５がＳＷ１状態であることを判断すると、処理をＳ２０６に進め、オートフォーカス動作を開始する。 In step S205, when the microprocessor 24 determines that the shutter switch 25 is in the SW1 state, the microprocessor 24 proceeds to step S206 and starts an autofocus operation.

ステップＳ２０６では、マイクロプロセッサ２４は、ＴＧ１１を焦点検出モードに変更する。撮像素子１０の出力は、ＡＦＥ１２で処理されデジタル信号として出力される。メモリコントローラ１９は、ＡＦＥ１２から出力されたデジタル信号を１フィールド分、メモリ２０に記録する。メモリコントローラ１９は、焦点検出用Ｗ画素をメモリ２０から読み出し位相差演算回路２１に出力し、位相差演算回路２１は、焦点検出用Ｗ画素の画素値から位相差演算をする。マイクロプロセッサ２４は、位相差演算結果からデフォーカス値を演算し、これに相当するレンズ駆動信号を撮影レンズ２８に出力する。位相差演算に使用される焦点検出用Ｗ画素の位置は、メモリ２０に画像データと共に記録された分布情報と属性情報とを解読して特定する。撮影レンズ２８の位置は、駆動信号に従って移動する。これによってオートフォーカス動作が完了する。 In step S206, the microprocessor 24 changes the TG 11 to the focus detection mode. The output of the image sensor 10 is processed by the AFE 12 and output as a digital signal. The memory controller 19 records the digital signal output from the AFE 12 in the memory 20 for one field. The memory controller 19 reads the focus detection W pixel from the memory 20 and outputs it to the phase difference calculation circuit 21, and the phase difference calculation circuit 21 calculates the phase difference from the pixel value of the focus detection W pixel. The microprocessor 24 calculates a defocus value from the phase difference calculation result, and outputs a lens driving signal corresponding to the defocus value to the photographing lens 28. The position of the focus detection W pixel used for the phase difference calculation is specified by decoding the distribution information and the attribute information recorded together with the image data in the memory 20. The position of the photographic lens 28 moves according to the drive signal. This completes the autofocus operation.

一方、補正回路１３は位置演算回路１４の算出結果にしたがって焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４はＡＦＥ１２から出力されるデータを解読して位置を算出する。信号処理回路１５は、補正回路１３から入力される信号により輝度色差画像データを形成し、これを出力する。ディスプレイ制御回路１７は、信号処理回路１５が出力する輝度色差画像データをディスプレイ１８に表示可能となるように信号出力タイミングを調整し、これをディスプレイ１８に出力する。ディスプレイ１８は入力された画像データを表示する。これによりディスプレイ１８には撮像素子１０に入射された被写体像が表示される。 On the other hand, the correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14 and corrects the pixel value of the subject image. The position calculation circuit 14 decodes the data output from the AFE 12 and calculates the position. The signal processing circuit 15 forms luminance color difference image data based on the signal input from the correction circuit 13 and outputs it. The display control circuit 17 adjusts the signal output timing so that the luminance color difference image data output from the signal processing circuit 15 can be displayed on the display 18, and outputs this to the display 18. The display 18 displays the input image data. As a result, the subject image incident on the image sensor 10 is displayed on the display 18.

ステップＳ２０７では、ここで撮影者がシャッタースイッチ２５を全押ししたとする。シャッタースイッチ２５は制御信号ＳＷ２を出力する。 In step S207, it is assumed that the photographer has pressed the shutter switch 25 fully. The shutter switch 25 outputs a control signal SW2.

ステップＳ２０８では、マイクロプロセッサ２４は、シャッタースイッチの全押しを検知すると、処理をステップＳ２０９に進める。 In step S208, when the microprocessor 24 detects that the shutter switch is fully pressed, the process proceeds to step S209.

ステップＳ２０９では、ＴＧ１１のモードを静止画撮影モードに切り替える。 In step S209, the TG11 mode is switched to the still image shooting mode.

ステップＳ２１０では、スイッチ２９を端子ｃ（メモリコントローラ１９）に切り替える。 In step S210, the switch 29 is switched to the terminal c (memory controller 19).

ステップＳ２１１では、スイッチ２６を端子ｂ（メモリコントローラ１９）に切り替える。 In step S211, the switch 26 is switched to the terminal b (memory controller 19).

ステップＳ２１２では、ＴＧ１１は、静止画撮影モードの駆動パルスを生成する。メモリコントローラ１９は映像信号をＡＦＥ１２から取り込み，これをメモリ２０に記録する。補正回路１３は、位置演算回路１４の算出結果に従って焦点検出用のＷ画素を検出し、被写体像の画素値を補正する。位置演算回路１４は、メモリ２０に画像データと共に記録されている分布情報と属性情報を解読して位置を算出する。この後、信号処理回路１５は、入力された画像データを輝度色差画像データに変換する。信号処理回路１５は、処理を終わったデータを順に出力する。圧縮回路１６は、信号処理回路１５が出力したデータをＪＰＥＧなどの規格に従って圧縮処理し、これを出力する。メモリコントローラ１９は、圧縮された画像データを外部記録メディア制御回路２２に出力することにより、外部記録メディア２３に画像データをファイルとして記録する。 In step S212, the TG 11 generates a drive pulse for the still image shooting mode. The memory controller 19 takes in the video signal from the AFE 12 and records it in the memory 20. The correction circuit 13 detects the W pixel for focus detection according to the calculation result of the position calculation circuit 14 and corrects the pixel value of the subject image. The position calculation circuit 14 decodes the distribution information and attribute information recorded together with the image data in the memory 20 to calculate the position. Thereafter, the signal processing circuit 15 converts the input image data into luminance color difference image data. The signal processing circuit 15 sequentially outputs the processed data. The compression circuit 16 compresses the data output from the signal processing circuit 15 in accordance with a standard such as JPEG and outputs it. The memory controller 19 records the image data as a file on the external recording medium 23 by outputting the compressed image data to the external recording medium control circuit 22.

以上により、静止画の撮影が完了する。この後、マイクロプロセッサ２４は、ステップＳ２０２に処理を戻して、ＴＧ１１を間引きモードに、位置演算回路を１４を間引きモードに、スイッチ２９を端子ｄに、スイッチ２６を端子ａに接続し、再び電子ビューファインダー動作を開始する。ただし、本発明はこれに限定されない。例えば、水平ブランキング期間又は垂直ブランキング期間に分布情報と属性情報とをＡＦＥ１２から受ける。そして、予めメモリ２０に（ＨＣＯＵＮＴ、ＶＣＯＵＮＴ、色）のフォーマットで属性情報を含む焦点検出用Ｗ画素位置情報を展開し、展開した情報に基づいて補正や位相差演算を行うようにしても良い。 This completes the still image shooting. Thereafter, the microprocessor 24 returns the process to step S202, connects the TG 11 to the thinning mode, the position calculation circuit 14 to the thinning mode, the switch 29 to the terminal d, the switch 26 to the terminal a, and the electronic circuit again. Start viewfinder operation. However, the present invention is not limited to this. For example, distribution information and attribute information are received from the AFE 12 during a horizontal blanking period or a vertical blanking period. Then, focus detection W pixel position information including attribute information in the format of (HCOUNT, VCOUNT, color) may be developed in the memory 20 in advance, and correction and phase difference calculation may be performed based on the developed information.

このように、本発明によれば、撮像素子、タイミングジェネレータ、アナログフロントエンド等の仕様変更等が発生した時のＲＯＭ修正によるコスト上昇やセンサーモジュール交換に煩雑なユーザ作業を低減することができる。更に、Ａ／Ｄ変換データに属性ビットを割り当てておけば位置演算回路を簡単な構成で実現することができる。 As described above, according to the present invention, it is possible to reduce the cost increase due to the ROM correction when the specification change of the image pickup device, the timing generator, the analog front end, etc. occurs, and the complicated user work for the sensor module replacement. Furthermore, if an attribute bit is assigned to A / D conversion data, the position calculation circuit can be realized with a simple configuration.

また、本発明によれば、更に撮像素子の読み出しの水平又は垂直ブランキング期間に分布情報をＡＦＥから転送することで、ライン単位又はカラム単位又はフィールド単位できめ細かい分布情報のメンテナンスを実現することができる。 Further, according to the present invention, the distribution information is transferred from the AFE during the horizontal or vertical blanking period of reading of the image sensor, thereby realizing fine distribution information maintenance in line units, column units, or field units. it can.

本発明の第１の実施形態と第２の実施形態における撮像装置を説明するための図。The figure for demonstrating the imaging device in the 1st Embodiment and 2nd Embodiment of this invention. 本発明の第１の実施形態と第２の実施形態における撮像素子の間引き方法と焦点検出用Ｗ画素位置分布を説明するための図。6 is a diagram for explaining a thinning-out method and focus detection W pixel position distribution of the image sensor according to the first and second embodiments of the present invention. FIG. 本発明の第１の実施形態と第２の実施形態における撮像素子の焦点検出モードを説明するための図。The figure for demonstrating the focus detection mode of the image pick-up element in the 1st Embodiment and 2nd Embodiment of this invention. 本発明の第１の実施形態と第２の実施形態における撮像素子の間引きモードを説明するための図。The figure for demonstrating the thinning-out mode of the image pick-up element in the 1st Embodiment and 2nd Embodiment of this invention. 本発明の第１の実施形態と第２の実施形態におけるマイクロプロセッサの動作を説明するためのフローチャート。6 is a flowchart for explaining the operation of the microprocessor according to the first embodiment and the second embodiment of the present invention. 本発明の第１の実施形態と第２の実施形態におけるマイクロプロセッサの動作を説明するためのフローチャート。6 is a flowchart for explaining the operation of the microprocessor according to the first embodiment and the second embodiment of the present invention. 本発明の第１の実施形態と第２の実施形態における撮像素子の間引き方法と焦点検出用Ｗ画素位置分布を説明するための図。6 is a diagram for explaining a thinning-out method and focus detection W pixel position distribution of the image sensor according to the first and second embodiments of the present invention. FIG. 本発明の第１の実施形態と第２の実施形態において焦点検出用Ｗ画素位置分布をウィンドウ毎に持つ場合を説明するための図。The figure for demonstrating the case where it has the W pixel position distribution for focus detection for every window in the 1st Embodiment and 2nd Embodiment of this invention. 本発明の第１の実施形態と第２の実施形態において焦点検出用Ｗ画素位置分布をウィンドウ毎に持つ場合に中心画素だけ読み出す時の動作を説明するための図。The figure for demonstrating the operation | movement at the time of reading only a center pixel when it has the W pixel position distribution for focus detection for every window in the 1st Embodiment and 2nd Embodiment of this invention. 本発明の第１の実施形態と第２の実施形態において画像データをジグザグに読み出すときの焦点検出用Ｗ画素位置分布情報を説明するための図。The figure for demonstrating the W pixel position distribution information for a focus detection when reading image data zigzag in the 1st Embodiment and 2nd Embodiment of this invention. 本発明の第３の実施形態における撮像装置を説明するための図。The figure for demonstrating the imaging device in the 3rd Embodiment of this invention. 本発明の第３の実施形態においてＡＦＥから焦点検出用Ｗ画素分布情報と属性情報とブロックパターン情報が出力されるタイミングを説明するための図。The figure for demonstrating the timing which W pixel distribution information for focus detection, attribute information, and block pattern information are output from AFE in the 3rd Embodiment of this invention. 本発明の第３の実施形態におけるマイクロプロセッサの動作を説明するためのフローチャート。9 is a flowchart for explaining the operation of a microprocessor according to a third embodiment of the present invention.

Explanation of symbols

１０撮像素子
２０メモリ
１３補正回路
１５信号処理回路 10 Image sensor 20 Memory 13 Correction circuit 15 Signal processing circuit

Claims

An imaging device including an imaging pixel group and a focus detection pixel group;
Storage means for storing distribution information indicating a position distribution of each pixel of the focus detection pixel group;
Generating means for generating an image signal at the position of each pixel of the focus detection pixel group from the image signal of the imaging pixel group based on the distribution information;
Forming means for forming a captured image based on the image signal of the imaging pixel group and the image signal generated by the generating means;
An imaging apparatus comprising:

The imaging apparatus according to claim 1, further comprising a position calculation unit that calculates a position of each pixel of the focus detection pixel group based on the distribution information.

The imaging apparatus according to claim 2, wherein the position calculation unit acquires the distribution information from the imaging element.

The imaging apparatus according to claim 2, wherein the position calculation unit adds the attribute information of each pixel of the focus detection pixel group to the distribution information and outputs the distribution information.

The imaging apparatus according to claim 4, wherein the attribute information is color information of a color filter.

The imaging apparatus according to claim 1, wherein the distribution information includes a horizontal position distribution of the imaging pixel group and the focus detection pixel group.

The distribution information includes a plurality of the position distributions in the horizontal direction,
The imaging apparatus according to claim 6, wherein the forming unit switches and uses the plurality of position distributions in the horizontal direction.

The imaging apparatus according to claim 6, wherein the distribution information further includes a position distribution in a vertical direction of the imaging pixel group and the focus detection pixel group.

The distribution information further includes a plurality of the position distributions in the vertical direction,
The imaging apparatus according to claim 8, wherein the forming unit further switches and uses the plurality of position distributions in the vertical direction.

The forming means switches a position at which application of the position distribution in the horizontal direction is started according to the position in the vertical direction, and a position at which application of the position distribution in the vertical direction is started according to the position in the horizontal direction. The imaging apparatus according to claim 8, wherein the imaging device is switched.

The image pickup apparatus according to claim 1, wherein the image pickup device outputs distribution information indicating the position distribution during a horizontal blanking period or a vertical blanking period.

A plurality of windows for designating areas in the image sensor;
The imaging apparatus according to claim 1, wherein the distribution information is set in each of the plurality of windows.

A plurality of modes in which the number of pixels from which the image signal is read is different;
The imaging apparatus according to claim 1, wherein the forming unit switches the distribution information for each of the plurality of modes.

A method for controlling an imaging apparatus including an imaging element including an imaging pixel group and a focus detection pixel group,
Storing distribution information indicating a position distribution of each pixel of the focus detection pixel group;
Generating an image signal at the position of each pixel of the focus detection pixel group from the image signal of the imaging pixel group based on the distribution information;
Forming a captured image based on the image signal of the imaging pixel group and the generated image signal;
A method for controlling an imaging apparatus, comprising: