JP2018146778A - Focus detection device - Google Patents

Focus detection device Download PDF

Info

Publication number
JP2018146778A
JP2018146778A JP2017041530A JP2017041530A JP2018146778A JP 2018146778 A JP2018146778 A JP 2018146778A JP 2017041530 A JP2017041530 A JP 2017041530A JP 2017041530 A JP2017041530 A JP 2017041530A JP 2018146778 A JP2018146778 A JP 2018146778A
Authority
JP
Japan
Prior art keywords
image
focus detection
defocus
signal processing
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017041530A
Other languages
Japanese (ja)
Inventor
健悟 竹内
Kengo Takeuchi
健悟 竹内
Original Assignee
キヤノン株式会社
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社, Canon Inc filed Critical キヤノン株式会社
Priority to JP2017041530A priority Critical patent/JP2018146778A/en
Publication of JP2018146778A publication Critical patent/JP2018146778A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a focus detection device in which a focus detection performance does not deteriorate with respect to an oblique line at low illuminance.SOLUTION: A focus detection device comprises: an image pick-up element that iris-divides an image, of an object within an imaging range, formed of light passing through an imaging optical system in a prescribed direction to photoelectrically convert the image thereof, respectively; image generation means that subjects an accumulated image signal from the image pick-up element to designated thinning-out, and reads the thinned-out image signal to extract a signal of two images; compression means that adds and compresses the two images generated by the image generation means; signal processing means that conducts designated signal processing on the basis of the signal of the two images generated by the compression means to calculate an amount of correlation; focus detection means that detects a focus state, using an output result of the signal processing means; and parameter control means that integrally controls each parameter of the image generation means, the compression means, signal processing means and the focus detection means.SELECTED DRAWING: Figure 3

Description

本発明は、カメラ・ビデオカメラ等の撮像装置における焦点検出装置に関する。   The present invention relates to a focus detection apparatus in an imaging apparatus such as a camera / video camera.
結像光学系の焦点状態を検出する焦点検出装置として、各画素にマイクロレンズが形成された2次元イメージセンサ(撮像素子)を用いて、いわゆる瞳分割方式で分割された画素データをもとに、位相差を測定することで焦点検出を行う技術が特許文献1に開示されている。特許文献1にて開示された焦点検出装置では、イメージセンサを構成する各画素の光電変換部が複数に分割され、該分割された光電変換部がマイクロレンズを介して結像光学系の瞳における互いに異なる領域を通過した光束を受光する。これにより画像から得られる情報と一致した位置の信号をもとにフォーカス状態を検出可能なようになっている。   Based on pixel data divided by the so-called pupil division method using a two-dimensional image sensor (imaging device) in which a microlens is formed in each pixel as a focus detection device for detecting the focus state of the imaging optical system Patent Document 1 discloses a technique for performing focus detection by measuring a phase difference. In the focus detection device disclosed in Patent Document 1, the photoelectric conversion unit of each pixel constituting the image sensor is divided into a plurality of pixels, and the divided photoelectric conversion unit is connected to the pupil of the imaging optical system via a microlens. Light beams that have passed through different areas are received. As a result, the focus state can be detected based on a signal at a position matching the information obtained from the image.
この原理を用いたカメラが発売されるようになり普及が進んでいるが、高フレームレート対応やシステムコスト都合により、センサ内に離散的に焦点検出画素が配置されているか、垂直方向に離散的に画素データを読み出す技術も多くなっている。また特許文献2にて開示された焦点検出装置では焦点検出用の画素データの生成方法が複数種類開示されている。また、特許文献3には、同じく焦点検出用の画素データからデフォーカス量の生成方法について、とくに垂直方向に関した技術が開示されている。   Cameras using this principle have been put on the market and are becoming popular, but due to high frame rate support and system cost convenience, focus detection pixels are discretely arranged in the sensor or discrete in the vertical direction. There are also many techniques for reading out pixel data. The focus detection apparatus disclosed in Patent Document 2 discloses a plurality of types of methods for generating pixel data for focus detection. Similarly, Patent Document 3 discloses a technique related to a method for generating a defocus amount from pixel data for focus detection, particularly in the vertical direction.
特開昭58−24105号公報JP-A-58-24105 特開平11−258489号公報Japanese Patent Application Laid-Open No. 11-258889 特開2015−215395号公報Japanese Patent Laying-Open No. 2015-215395
位相差検出に用いる信号を、画像全体から大きく垂直間引きする必要あるような条件におかれたシステム構成の場合には、一律な等間隔に垂直間引きを行うことでは、いくつかの課題がある。例えば、低照度時には輝度で垂直加算することが望ましいが、多く加算すると斜め線の場合などある条件の被写体に対して誤差が大きくなってしまう。   In the case of a system configuration in which a signal used for phase difference detection is required to be largely thinned vertically from the entire image, there are several problems in performing vertical thinning at uniform equal intervals. For example, it is desirable to perform vertical addition in terms of luminance at low illuminance. However, if a large amount is added, an error becomes large for a subject with a certain condition such as an oblique line.
一方で、斜め線に強くなるように細いラインを等間隔で読み出すような配置を行うと、低照度時に所定の信号レベルに達するように垂直輝度加算するためには、大きな加算ライン幅になってしまい、やはり斜め線などでの精度が低くなる。上記のような課題を鑑みて、本発明では、低照度時の斜め線に対しても焦点検出性能が落ちないような焦点検出装置を提供することを目的とする。   On the other hand, if an arrangement is made such that thin lines are read at equal intervals so as to be strong against diagonal lines, a large addition line width is required for vertical luminance addition so as to reach a predetermined signal level at low illuminance. As a result, the accuracy with diagonal lines is also lowered. In view of the above-described problems, an object of the present invention is to provide a focus detection device that does not deteriorate the focus detection performance even with respect to an oblique line at low illuminance.
上記目的を達成するために、撮像光学系を通った光により形成された、撮像範囲内の物体の像を所定の方向に瞳分割して各々光電変換する撮像素子と、前記撮像素子から蓄積された像信号を指定の間引きとともに読み出して2像の信号を抽出する像生成手段と、前記像生成手段によって生成された2像をそれぞれ加算圧縮する圧縮手段と、前記圧縮手段によって生成された2像の信号をもとに指定の信号処理を行って相関量を算出する信号処理手段と、前記信号処理手段の出力結果を用いて焦点状態を検出する焦点検出手段とを有し、前記像生成手段および前記圧縮手段および前記信号処理手段および焦点検出手段の各パラメータを統合的に制御するパラメータ制御手段を有することを特徴とする焦点検出装置とした。   In order to achieve the above object, an image sensor formed by light passing through an imaging optical system that divides the image of an object in the imaging range in a predetermined direction and photoelectrically converts each image, and the image sensor Image generating means for reading out the image signals together with designated thinning and extracting signals of two images, compression means for adding and compressing the two images generated by the image generating means, and two images generated by the compression means Signal processing means for calculating a correlation amount by performing specified signal processing on the basis of the signal and focus detection means for detecting a focus state using an output result of the signal processing means, and the image generation means In addition, the focus detection apparatus includes a parameter control unit that integrally controls parameters of the compression unit, the signal processing unit, and the focus detection unit.
本発明によれば、フレームレートの高速化のために間引かれたラインの情報を用いて像面位相差検出方式にて焦点検出する場合においても、低照度下における焦点検出性能を満足しつつ、斜め線に対しても焦点検出性能が落ちることのない焦点検出装置を提供することが可能となる。また、これにより多くの被写体条件に対して、安定的に像面位相差検出可能にして、高速かつ安定的なフォーカス動作が可能な焦点検出装置を提供することが可能となる。   According to the present invention, even when focus detection is performed by an image plane phase difference detection method using line information thinned out for increasing the frame rate, the focus detection performance under low illuminance is satisfied. Thus, it is possible to provide a focus detection device that does not deteriorate the focus detection performance even with respect to an oblique line. This also makes it possible to provide a focus detection device that can stably detect an image plane phase difference and can perform a high-speed and stable focus operation with respect to many subject conditions.
実施例のカメラシステム構成図である。It is a camera system block diagram of an Example. 撮像センサ構成図である。It is an imaging sensor block diagram. 位相差検出用に読み出すラインを示す図である。It is a figure which shows the line read for a phase difference detection. 位相差検出ラインの詳細を示す図である。It is a figure which shows the detail of a phase difference detection line. AF枠と位相差検出ラインの関係図である。FIG. 6 is a relationship diagram between an AF frame and a phase difference detection line. AF枠内の演算設定を示す表である。It is a table | surface which shows the calculation setting in AF frame. ゾーンAF時の枠を示す図である。It is a figure which shows the frame at the time of zone AF. ゾーンAF枠内のデフォーカス演算単位1を示す図である。It is a figure which shows the defocusing calculation unit 1 in a zone AF frame. ゾーンAF枠内のデフォーカス演算単位2を示す図である。It is a figure which shows the defocusing calculation unit 2 in a zone AF frame. 焦点検出処理のフローチャートである。It is a flowchart of a focus detection process.
以下、本発明の実施の形態について説明する。
[実施例]
図1は、本発明の焦点検出装置を含むカメラのシステム構成を説明するためのブロック図である。本実施形態のカメラは、フォーカス、ズーム、絞り等を備えたレンズユニット100、被写体を撮像し左右2像に瞳分離する構成を用いた撮像センサ101、その撮像センサの出力を受けて、位相差検出用に分割された2像を加算や間引き設定などをして生成する分割像生成回路102を有する。また、2像のそれぞれに光学的なひずみを補正する処理および2像の位相差を検出する相関演算を行う位相差検出用アクセラレータ回路103を有する。
Embodiments of the present invention will be described below.
[Example]
FIG. 1 is a block diagram for explaining a system configuration of a camera including a focus detection apparatus according to the present invention. The camera according to the present embodiment includes a lens unit 100 having a focus, a zoom, a diaphragm, and the like, an imaging sensor 101 that uses a configuration in which a subject is captured and pupils are separated into two left and right images, and an output from the imaging sensor is received. A divided image generation circuit 102 that generates two images divided for detection by adding, thinning out, or the like is provided. In addition, each of the two images includes a phase difference detection accelerator circuit 103 that performs processing for correcting optical distortion and correlation calculation for detecting a phase difference between the two images.
一方で、撮像センサの2像を合成して撮像する映像信号として、複数の光学的補正処理や電気的ノイズ処理等を行う撮像信号処理回路104、生成した撮像信号を一時的に保持する画像メモリ107を有する。また、撮像信号を所定の映像データフォーマットに変換する画像処理回路105、所定の映像データフォーマットの映像を記録媒体に記録する記録回路106、レンズユニット100内のフォーカスや絞り等を駆動するレンズ駆動回路110を有している。   On the other hand, an imaging signal processing circuit 104 that performs a plurality of optical correction processing, electrical noise processing, and the like as a video signal to be captured by combining two images of the imaging sensor, and an image memory that temporarily holds the generated imaging signal 107. In addition, an image processing circuit 105 that converts an imaging signal into a predetermined video data format, a recording circuit 106 that records video in a predetermined video data format on a recording medium, and a lens driving circuit that drives a focus, an aperture, and the like in the lens unit 100 110.
また上述の各種回路の動作を制御する処理や、フォーカスの焦点算出、合焦動作のためのレンズ駆動制御などをつかさどるCPU109と、CPU109が扱うプログラムやデータを保持するメモリ108などから構成されている。   The CPU 109 is in charge of processing for controlling the operations of the various circuits described above, calculation of focus focus, lens drive control for focusing operation, and the like, and a memory 108 for holding programs and data handled by the CPU 109. .
後に詳細を記述する信号処理は、CPU109において、位相差検出用アクセラレータ回路103や撮像信号などから得られた情報をもとに、分割像生成回路102や位相差検出用アクセラレータ回路103、などの回路のパラメータ設定をCPUで行い、またCPU自身で処理実行を切り替えるものとなっている。上述された構成の本カメラでの動作概要を説明する。カメラが起動して、所定の初期化処理でレンズや各回路などの初期化が行われると、撮像センサ101から撮像信号の取り込みが行われる。   The signal processing to be described in detail later is a circuit such as the divided image generation circuit 102 or the phase difference detection accelerator circuit 103 based on information obtained from the phase difference detection accelerator circuit 103 or the imaging signal in the CPU 109. The parameter setting is performed by the CPU, and the process execution is switched by the CPU itself. An outline of the operation of the camera having the above-described configuration will be described. When the camera is activated and the lens and each circuit are initialized by a predetermined initialization process, an imaging signal is captured from the imaging sensor 101.
映像の記録や表示用に、撮像信号処理回路104へ入力されると、位相差検出兼用画素のA像とB像を加算し、以後、記録画像用の1画素として扱われる。先述したとおり光学補正や電気的な補正処理が行われ、一旦画像メモリに配置される。たとえば撮像画として記録される場合には、画像処理回路105、画像メモリ107を介して所定のフォーマット(MPEG2やMP4、JPGなどの動画/静止画像形式)に変換し、記録回路106によって記録メディアに記録される。   When input to the imaging signal processing circuit 104 for video recording and display, the A and B images of the phase difference detection and use pixels are added, and are thereafter handled as one pixel for the recording image. As described above, optical correction and electrical correction processing are performed, and are once arranged in the image memory. For example, when the image is recorded as a captured image, the image is converted into a predetermined format (moving image / still image format such as MPEG2, MP4, JPG, etc.) via the image processing circuit 105 and the image memory 107, and is recorded on a recording medium by the recording circuit 106. To be recorded.
またカメラ設定に応じて指定されたAF枠について、位相差検出兼用画素のA像、B像は焦点検出のために、撮像センサ101から分割像生成回路102へ入力されて、CPUによって設定された所定のパラメータによって指定の圧縮処理および補正処理が行われ、A像、B像が生成される。ここでは、A像、B像それぞれで水平2画素加算および垂直に2画素加算を行ってRGGBの加算結果データとして位相差検出用アクセラレータ回路103に送られる。   For the AF frame designated according to the camera settings, the A image and B image of the phase difference detection pixel are input from the image sensor 101 to the divided image generation circuit 102 and set by the CPU for focus detection. A designated compression process and correction process are performed according to predetermined parameters, and A and B images are generated. Here, horizontal A pixel addition and vertical two pixel addition are performed for each of the A image and the B image, and the result is sent to the phase difference detection accelerator circuit 103 as addition result data of RGGB.
その位相差検出用アクセラレータ回路103において、さらに垂直方向に輝度加算を行い、位相差検出のための相関演算処理が行われる。その演算結果は相関量となって一旦メモリ108に出力される。その相関量は、さらにCPU109が最終処理を行って、フォーカスレンズのデフォーカス量を検出するシステム動作となっている。その検出されたデフォーカス量をもとにレンズ駆動回路をCPUによって制御してフォーカス動作を行うものとなっている。   In the accelerator circuit 103 for phase difference detection, luminance addition is further performed in the vertical direction, and correlation calculation processing for phase difference detection is performed. The calculation result is temporarily output to the memory 108 as a correlation amount. The correlation amount is a system operation in which the CPU 109 further performs final processing to detect the defocus amount of the focus lens. Based on the detected defocus amount, the lens driving circuit is controlled by the CPU to perform the focusing operation.
次に撮像センサ101の構成について図2を用いて説明する。図2では、撮像素子全体200、およびその隅の一部を切り出して拡大したブロック201として示している。撮像素子全体200はベイヤー配列型の撮像素子となっており、かつRGBの各画素がマイクロレンズ一つを共有して、2分割された光電変換素子が形成された画素構成となっている。たとえばR画素を2分割してそれぞれA像202、B像203として構成されていて、これにより瞳分割した2像を得ることが可能となっている。(以後も2像はそれぞれ便宜上A像、B像と呼ぶ。)同様にG画素、B画素等も分割されており、それぞれ204〜209のようにそれぞれ分割された画素構造となっている。   Next, the configuration of the image sensor 101 will be described with reference to FIG. In FIG. 2, the entire image pickup device 200 and a part of the corner of the image pickup device 200 are illustrated as a block 201 that is cut out and enlarged. The entire imaging device 200 is a Bayer array type imaging device, and has a pixel configuration in which each pixel of RGB shares one microlens and a photoelectric conversion element divided into two is formed. For example, the R pixel is divided into two parts, which are respectively formed as an A image 202 and a B image 203, whereby two pupil-divided images can be obtained. (Hereinafter, the two images are referred to as the A image and the B image, respectively, for convenience.) Similarly, the G pixel, the B pixel, and the like are also divided, and each has a divided pixel structure as 204 to 209.
このような構成のセンサを用いた撮像システムでは、202と203のA像、B像を加算すると、従来通りのR画素としての撮像用信号となり記録や画像処理の対象信号とすることができる。一方で202と203を2像として別に扱うことで、左右の分割された像となり焦点を検出するための元信号となる。   In the imaging system using the sensor having such a configuration, when the A and B images of 202 and 203 are added, an imaging signal as a conventional R pixel can be obtained and used as a target signal for recording and image processing. On the other hand, by separately treating 202 and 203 as two images, the left and right divided images become the original signals for detecting the focus.
本カメラにおける高フレームレート動画時のセンサからの位相差検出用画素の読み出しラインについて、図3および図4を用いて説明を行う。図3に示すのは、撮像素子全体300に対して、AF評価領域を垂直方向約80%の領域と設定し、その80%領域内で、位相差検出用画素の読み出し領域を等間隔に配置し、黒塗りされたラインで示した模式図となっている。その位相差検出画素の読み出しラインの詳細について図4を用いて説明する。図4(a)は、ひと塊の位相差検出画素読み出しラインのうち、ベイヤー単位で水平12×垂直32ピクセルの範囲をとりだした図となっている。   The readout line of the phase difference detection pixels from the sensor during the high frame rate moving image in this camera will be described with reference to FIGS. FIG. 3 shows that the AF evaluation area is set to an area of about 80% in the vertical direction with respect to the entire image sensor 300, and the readout areas of the phase difference detection pixels are arranged at equal intervals within the 80% area. However, it is a schematic diagram indicated by a black line. Details of the readout line of the phase difference detection pixel will be described with reference to FIG. FIG. 4A is a diagram in which a range of horizontal 12 × vertical 32 pixels is taken out by Bayer unit from one phase difference detection pixel readout line.
図4(b)(c)は、図4(a)の範囲について、水平2画素加算、垂直2画素加算を行って輝度(Y)化した後に、さらに垂直4(輝度)データ加算することで、合計水平2画素加算、垂直8画素加算圧縮処理して位相差検出用の2像を生成した例として示している。図4(b)がA像、図4(c)がB像を1データ毎に示しており、この単位を基本焦点検出動作時の2像のデータ生成単位としている。すなわち12×32ピクセルのベイヤー画素データは、位相差検出用に、6×4の輝度加算後データに圧縮される。以後、この単位での輝度データを位相差検出用画素データ(Ya、Ybの各データ)、および位相差検出ラインと呼ぶ。   FIGS. 4B and 4C show that the range of FIG. 4A is obtained by performing horizontal 2-pixel addition and vertical 2-pixel addition to obtain luminance (Y), and then adding vertical 4 (luminance) data. 2 shows an example in which two images for phase difference detection are generated by the total horizontal 2-pixel addition and vertical 8-pixel addition compression processing. FIG. 4B shows an A image and FIG. 4C shows a B image for each data, and this unit is used as a data generation unit for two images during the basic focus detection operation. That is, the Bayer pixel data of 12 × 32 pixels is compressed into 6 × 4 luminance added data for phase difference detection. The luminance data in this unit is hereinafter referred to as phase difference detection pixel data (Ya and Yb data) and a phase difference detection line.
次に図5を用いてAF動作時のAF枠と位相差検出ラインの関係図を示す。本カメラがAF動作時に用いるAF枠500に対して、位相差検出ラインが4本入った位相差検出セットを501、502、503の3セットが入った場合の例である。なお、AF枠の水平および垂直サイズは、被写体条件やカメラの設定により可変である。501は、図4で示したベイヤーRGGBを加算して輝度(Y)化した後に、垂直4データ加算した位相差検出ラインの単位で図示されており、4ラインを密に並べたものとなっている。   Next, FIG. 5 shows a relationship diagram between the AF frame and the phase difference detection line during the AF operation. This is an example in which three sets 501, 502, and 503 are included in the phase difference detection set including four phase difference detection lines with respect to the AF frame 500 used in the AF operation of the camera. Note that the horizontal and vertical sizes of the AF frame are variable depending on subject conditions and camera settings. Reference numeral 501 denotes a unit of phase difference detection lines obtained by adding the Bayer RGGB shown in FIG. 4 to obtain luminance (Y) and then adding four vertical data, and the four lines are arranged closely. Yes.
また、その4ラインを1セットにして(以後、位相差検出セットと呼ぶ)、離散的に位相差検出セットを3セット(501、502、503)がAF枠(500)内に配置された図となっている。このAF枠内では、通常焦点検出動作時には、位相差検出ラインごとに全12回の相関演算を行い、AF枠内の全12回の相関演算結果を加算した相関量を算出した後に、1度のデフォーカス演算を行い、AF枠のデフォーカス算出を行うものとなる。   The four lines are set as one set (hereinafter referred to as a phase difference detection set), and three sets of phase difference detection sets (501, 502, 503) are discretely arranged in the AF frame (500). It has become. Within this AF frame, during the normal focus detection operation, the correlation calculation is performed 12 times for each phase difference detection line, and after calculating the correlation amount by adding all 12 correlation calculation results within the AF frame, The defocus calculation is performed to calculate the AF frame defocus.
一方で、被写体条件またはカメラ設定に応じて、AF枠内の位相差検出ラインおよび位相差検出セットの使い方を変えるようになっている。図5に示したAF枠時における、AF枠内の使い方について図6の表に示す。縦軸に、主な被写体条件やカメラ条件となっていて、横軸に位相差検出セットの使い方として、1.位相差検出ラインを輝度加算する本数、2.相関加算の本数、また、3.位相差検出セットごとにデフォーカス計算をするかどうか「する/しない」、垂直のAF枠サイズに依存した4.AF枠内での相関量加算数、および5.AF枠内でのデフォーカス演算数を示している。   On the other hand, the usage of the phase difference detection line and the phase difference detection set in the AF frame is changed according to the subject condition or camera setting. The use of the AF frame at the time of the AF frame shown in FIG. 5 is shown in the table of FIG. The vertical axis shows main subject conditions and camera conditions, and the horizontal axis shows how to use the phase difference detection set. 1. Number of phase difference detection lines for luminance addition; 2. the number of correlation additions; 3. Whether or not to perform defocus calculation for each phase difference detection set, depending on the vertical AF frame size. 4. Number of correlation amount addition within the AF frame, and The number of defocus calculations within the AF frame is shown.
上記の通常焦点検出時は、「A.通常焦点検出」の軸で見る。ここでは輝度加算は4で位相差検出ラインのままの輝度加算結果を用いて、位相差検出セット内の4本分の相関演算を4回行うため2の相関加算の本数は4となっている。ここまでに算出した相関加算結果に、AF枠内の位相差検出セットの3セット分の相関演算、および相関加算を行うので、3.位相差検出セットあたりのデフォーカス計算は「しない」となり、AF枠内では、計12回の相関演算、相関量加算を行い、デフォーカス結果を1つ求める処理であることを意味している。   At the time of the above normal focus detection, the axis of “A. Normal focus detection” is used. Here, the luminance addition is 4, and the luminance addition result from the phase difference detection line is used, and the correlation calculation for four lines in the phase difference detection set is performed four times, so the number of correlation additions of 2 is 4. . Since the correlation calculation for three sets of the phase difference detection set in the AF frame and the correlation addition are performed on the correlation addition result calculated so far, 3. The defocus calculation per phase difference detection set is “no”, which means that the calculation is performed 12 times in total in the AF frame to obtain one defocus result.
また一方で、「B.高ISO」時には、輝度加算は8となっている。これは位相差検出ラインの2ライン分を輝度加算処理することを意味しており、これにより位相差検出セット内には相関演算を行う本数が2本となっている。よって、2.の相関加算が2となり、また位相差検出セットごとにはデフォーカス演算を行わず3.「しない」、4.AF枠サイズに依存した位相差検出セットの3セット分で、計6回の相関演算および相関量加算を行い、デフォーカス結果を1つ求める処理となる。次に、「C.低照度」時には、輝度加算は16である。   On the other hand, the luminance addition is 8 at the time of “B. High ISO”. This means that the luminance addition processing is performed on two phase difference detection lines, so that the number of correlation calculations in the phase difference detection set is two. Therefore, 2. 2 is added, and no defocus calculation is performed for each phase difference detection set. “No”, 4. A total of six correlation calculations and correlation amount additions are performed for three sets of phase difference detection sets depending on the AF frame size, and one defocus result is obtained. Next, at “C. low illuminance”, the luminance addition is 16.
これは位相差検出ラインの4ライン分を輝度加算処理することを意味しており、これにより位相差検出セット内には相関演算を行う本数が1本となっている。よって、2.相関加算数が1となり、AF枠サイズに依存した位相差検出セットの3セット分で、計3回の相関演算および相関量加算を行い、デフォーカス結果を1つ求める処理となる。   This means that luminance addition processing is performed for four phase difference detection lines, and therefore, the number of correlation calculations is one in the phase difference detection set. Therefore, 2. The number of correlation additions is 1, and a total of three correlation computations and correlation amount additions are performed for three sets of phase difference detection sets depending on the AF frame size, thereby obtaining one defocus result.
次に被写体条件の判定によって、遠近競合している可能性が高い場合、および高輝度点光源があると推定される場合における設定について説明する。これら「D.遠近競合/斜め線」および「E.高輝度点光源」の項目において、輝度加算は4としており、位相差検出ラインの単位で相関演算を行う。2.相関加算数が1となっていて、5.のAF枠内デフォーカス演算数が12となっているのは、相関演算した位相差検出ラインごとにデフォーカス算出を行い、かつ、位相差検出セットごとにデフォーカス平均を行うことを意味している。   Next, a description will be given of the settings in the case where there is a high possibility that there is a perspective conflict by determining the subject condition, and in the case where it is estimated that there is a high-luminance point light source. In the items of “D. Perspective competition / oblique line” and “E. High luminance point light source”, the luminance addition is set to 4, and the correlation calculation is performed in units of phase difference detection lines. 2. 4. The correlation addition number is 1. The AF frame defocus calculation number of 12 means that defocus calculation is performed for each phase difference detection line subjected to correlation calculation, and defocus averaging is performed for each phase difference detection set. Yes.
すなわち、同じAF枠設定のようになっていても、デフォーカス演算結果は、位相差検出ラインごとにデフォーカス計算をした後に、位相差検出セットの単位内で4つのデフォーカスを平均して、位相差検出セットごとのデフォーカス計算を行い、さらに全12本の位相差検出ラインから算出されたデフォーカス量の全体平均を計算してAF枠全体でのデフォーカス演算結果が算出されることになる。   That is, even if the AF frame setting is the same, the defocus calculation result is obtained by averaging four defocuss within the unit of the phase difference detection set after calculating the defocus for each phase difference detection line, The defocus calculation for each phase difference detection set is performed, and the average of the defocus amounts calculated from all 12 phase difference detection lines is calculated to calculate the defocus calculation result for the entire AF frame. Become.
次にAF枠を9枠設定してゾーンAFを行う場合の例を図7に示す。図7ではカメラの撮像画角全体を700で示し、ゾーンAF時には、水平3枠×垂直3枠の合計9枠(Window1〜Window9)をAF枠設定しているものとして701で示している。この枠サイズも被写体条件やユーザー指定によりサイズは可変となっている。ゾーンAF時の各位相差検出ラインにおけるデフォーカス演算方法について図8〜図9を用いて説明する。   Next, FIG. 7 shows an example in which nine AF frames are set and zone AF is performed. In FIG. 7, the entire imaging angle of view of the camera is indicated by 700, and in zone AF, a total of 9 frames (Window 1 to Window 9) of 3 horizontal frames × 3 vertical frames are indicated by 701 as AF frames set. This frame size is also variable depending on subject conditions and user designation. A defocus calculation method in each phase difference detection line at the time of zone AF will be described with reference to FIGS.
図8では、ゾーンAFの全範囲801で示しており、ゾーンAF範囲に位相差検出セット(便宜上L1、L2・・・L8)が8セット入っている様子を示している。またデフォーカス演算単位を二重点線枠で図示しており、すなわちL1の位相差検出セットを用いてA1、A2、A3エリアごとにデフォーカス演算を行い、同様にL2を用いて、A4〜A6、同様にA24まで行う。各位相差検出セットの内部は図5で示したように輝度加算された4ラインの位相差検出ラインで分離されたものとなっていて、位相差検出ラインは条件によっては、図6の表のように輝度加算処理を行い、加算された像を用いて相関演算を行うものとしている。   FIG. 8 shows the entire range 801 of the zone AF, and shows a state in which eight sets of phase difference detection sets (for convenience, L1, L2,... L8) are included in the zone AF range. Further, the defocus calculation unit is shown by a double dotted line frame, that is, the defocus calculation is performed for each of the areas A1, A2, and A3 using the phase difference detection set of L1, and A4 to A6 are similarly used using L2. Similarly, the process is repeated up to A24. As shown in FIG. 5, the interior of each phase difference detection set is separated by four phase difference detection lines added with luminance. The phase difference detection lines are as shown in the table of FIG. 6 depending on conditions. Luminance addition processing is performed, and correlation calculation is performed using the added image.
このように内部的にはA1〜A24の各エリアで個別にデフォーカス結果を算出する。この各デフォーカス結果をもとに、図7に示す垂直3枠×水平3枠の各Windowのデフォーカス結果を算出する。Window1のデフォーカス演算結果は、A1、A4、A7の3つのデフォーカス結果から生成し、Window2のデフォーカス演算結果は、A2、A5、A8の3つのデフォーカス結果から生成し、Window3のデフォーカス演算結果は、A3、A6、A9の3つのデフォーカス結果から生成する。   As described above, the defocus result is calculated individually in each of the areas A1 to A24. Based on each defocus result, the defocus result of each window of 3 vertical frames × 3 horizontal frames shown in FIG. 7 is calculated. The window 1 defocus calculation result is generated from the three defocus results A1, A4, and A7, and the window 2 defocus calculation result is generated from the three defocus results A2, A5, and A8. The calculation result is generated from the three defocus results A3, A6, and A9.
また、Window4のデフォーカス演算結果は、A7、A10、A13、A16の4つのデフォーカス結果から生成し、Window5のデフォーカス演算結果は、A8、A11、A14、A17の4つのデフォーカス結果から生成し、Window6のデフォーカス演算結果は、A9、A12、A15、A18の4つのデフォーカス結果から生成する。また、Window7のデフォーカス演算結果は、A16、A19、A22の3つのデフォーカス結果から生成し、Window8のデフォーカス演算結果は、A17、A20、A23の3つのデフォーカス結果から生成し、Window9のデフォーカス演算結果は、A18、A21、A24の3つのデフォーカス結果から生成する。   In addition, the defocus calculation result of Window4 is generated from the four defocus results of A7, A10, A13, and A16, and the defocus calculation result of Window5 is generated from the four defocus results of A8, A11, A14, and A17. The defocus calculation result of Window 6 is generated from the four defocus results of A9, A12, A15, and A18. In addition, the defocus calculation result of Window 7 is generated from the three defocus results of A16, A19, and A22, and the defocus calculation result of Window 8 is generated from the three defocus results of A17, A20, and A23. A defocus calculation result is generated from three defocus results A18, A21, and A24.
それぞれ3つないしは4つのデフォーカス結果から1つのデフォーカス結果を求めるには、異常に離れた結果を除いた平均値をとる演算処理を行う。3つないしは4つとも離れた数値の場合には、対象枠は焦点検出エラーとするが、各デフォーカス結果には信頼性を評価する指標としてコントラストを測定することで、信頼性の高さを評価して、最も信頼性の高いデフォーカス結果を用いて、対象枠のデフォーカス測定結果とする。   In order to obtain one defocus result from three or four defocus results, an arithmetic process is performed to obtain an average value excluding abnormally separated results. In the case of numerical values that are three or four apart, the target frame is a focus detection error, but each defocus result has high reliability by measuring contrast as an index for evaluating reliability. And the defocus measurement result of the target frame is determined using the most reliable defocus result.
別の設定例として図9に示しているのは、図8同様にゾーンAFの全範囲901で示しており、ゾーンAF範囲に位相差検出セット(便宜上L1、L2・・・L8)が8セット入っている様子を示している。またデフォーカス演算単位を二重点線枠で図示しており、すなわちL1、L2、L3の位相差検出セットを用いてA1、A2、A3エリアごとにデフォーカス演算を行い、同様にL3、L4、L5、L6の位相差検出セットを用いて、A4〜A6のデフォーカス演算を行い、L6、L7、L8の位相差検出セットを用いてA7、A8、A9エリアごとにデフォーカス演算を行う。A1〜A9ごとのデフォーカス量は、そのままWindow1〜Window9に対応した焦点検出結果となる。   As another setting example, FIG. 9 shows the entire zone AF range 901 as in FIG. 8, and eight phase difference detection sets (L1, L2,... L8 for convenience) are set in the zone AF range. It shows a state of entering. Further, the defocus calculation unit is illustrated by a double dotted line frame, that is, the defocus calculation is performed for each of the A1, A2, and A3 areas using the phase difference detection set of L1, L2, and L3, and similarly, L3, L4, The defocus calculation of A4 to A6 is performed using the phase difference detection set of L5 and L6, and the defocus calculation is performed for each of the A7, A8, and A9 areas using the phase difference detection set of L6, L7, and L8. The defocus amount for each of A1 to A9 is a focus detection result corresponding to Window1 to Window9 as it is.
図8に示したように細かくデフォーカス演算を行った後に、各枠のデフォーカス結果をまとめるものとするか、図9に示したように、相関量加算を行った後にデフォーカスを算出するかは、図6の表の例のように切り分けて用いる。図6表中A〜Cのような場合には、相関量加算を行った後にデフォーカス演算を行うものとし、D,Eのような場合には、細かくデフォーカス演算を行った後に、各枠のデフォーカス結果を選択してまとめるものとなる。   Whether the defocus results of each frame should be collected after performing a fine defocus calculation as shown in FIG. 8, or whether the defocus is calculated after adding the correlation amount as shown in FIG. Are used separately as in the example of the table of FIG. In the case of A to C in the table of FIG. 6, the defocus calculation is performed after adding the correlation amount, and in the case of D and E, each frame is subjected to the detailed defocus calculation. The defocus results are selected and collected.
以上のような処理を行うカメラシステムの焦点検出のシーケンスを図10に示す。ステップ1001において、指定された枠についての、水平垂直サイズをもとにデフォーカス演算範囲の設定および垂直輝度加算、および相関量加算、デフォーカス抽出の処理を選択する。起動時最初のフレームではデフォルト値として、図6通常焦点検出時の設定が行われる。次のステップS1002において、センサ蓄積、およびその読み出し処理が行われる。   FIG. 10 shows a focus detection sequence of the camera system that performs the above processing. In step 1001, setting of a defocus calculation range, vertical luminance addition, correlation amount addition, and defocus extraction processing is selected based on the horizontal and vertical sizes for the designated frame. In the first frame at the time of start-up, setting at the time of normal focus detection in FIG. 6 is performed as a default value. In the next step S1002, sensor accumulation and readout processing are performed.
次のステップS1003において、指定の圧縮、輝度加算のパラメータをもとにA像、B像を生成し、次のステップS10004において、そのA像B像のバンドバスフィルタ処理を行った後、次のステップS1005においてA像、B像の相関演算処理および指定数の相関加算処理を行う。ステップS1006において相関演算過程の情報や、A像、B像のコントラスト算出した値に基づいて、各デフォーカス量の焦点検出結果が正しいかを評価する信頼性評価を行い、ステップS1007において各指定枠の最終的な焦点検出結果としてまとめる。   In the next step S1003, an A image and a B image are generated based on the designated compression and luminance addition parameters. In the next step S10004, after the band bus filter processing of the A image B image is performed, In step S1005, A image and B image correlation calculation processing and a specified number of correlation addition processing are performed. In step S1006, reliability evaluation is performed to evaluate whether the focus detection result of each defocus amount is correct based on the correlation calculation process information and the calculated values of the contrasts of the A image and the B image. The final focus detection results are summarized as follows.
次のステップS1008において、今回の焦点検出結果および相関量データやコントラスト算出結果に基づいて、被写体の特徴量を抽出し、次の焦点検出時のパラメータを設定するための条件に加えるものとしている。例えば複数指定されたAF枠の焦点検出結果が異なれば遠近競合の可能性があることや、斜め線のような被写体であるか、点光源などの特徴的な被写体であることを抽出しておく。これらの特徴がある場合にはその特徴に応じた設定を次の処理に反映させるようにしながら、再度S1001の演算条件設定に戻り、焦点検出処理を継続する。   In the next step S1008, based on the current focus detection result, the correlation amount data, and the contrast calculation result, the feature amount of the subject is extracted and added to the conditions for setting the parameters for the next focus detection. For example, if there are different focus detection results for a plurality of designated AF frames, there is a possibility of perspective conflict, or an object such as an oblique line or a characteristic object such as a point light source is extracted. . If there are these features, the setting according to the features is reflected in the next process, while returning to the calculation condition setting in S1001 again, and the focus detection process is continued.
以上の機能をもって焦点検出動作を続ける焦点検出装置は、所定の間引きが必要な高フレームレート時にも、カメラ条件や被写体条件などの条件に応じて適した形での輝度加算、相関加算、デフォーカス抽出機能を保つことができ、低照度時なども安定した焦点検出結果を得ることが可能である。また、本実施例カメラのセンサは、所定の間引き間隔で位相差検出用に読み出すラインを指定している構成であったが、センサ内に所定のラインにのみ位相差検出画素を埋め込む場合にも位相差画素の設置方法として有効である。   The focus detection device that continues the focus detection operation with the above functions can perform luminance addition, correlation addition, and defocus in a form suitable for camera conditions, subject conditions, and other conditions even at high frame rates that require predetermined decimation. The extraction function can be maintained, and a stable focus detection result can be obtained even at low illumination. In addition, the sensor of the camera of the present embodiment has a configuration in which a line to be read for phase difference detection is specified at a predetermined thinning interval, but also when a phase difference detection pixel is embedded only in a predetermined line in the sensor. This is effective as a method for installing phase difference pixels.
100 レンズユニット
101 撮像センサ
102 分割像生成回路
103 位相差検出用アクセラレータ回路
104 撮像信号処理回路
105 画像処理回路
106 記録回路
107 画像メモリ
108 メモリ
109 CPU
110 レンズ駆動回路
DESCRIPTION OF SYMBOLS 100 Lens unit 101 Image sensor 102 Divided image generation circuit 103 Phase difference detection accelerator circuit 104 Imaging signal processing circuit 105 Image processing circuit 106 Recording circuit 107 Image memory 108 Memory 109 CPU
110 Lens drive circuit

Claims (7)

  1. 撮像光学系を通った光により形成された、撮像範囲内の物体の像を所定の方向に瞳分割して各々光電変換する撮像素子と、前記撮像素子から蓄積された像信号を指定の間引きとともに読み出して2像の信号を抽出する像生成手段と、前記像生成手段によって生成された2像をそれぞれ加算圧縮する圧縮手段と、前記圧縮手段によって生成された2像の信号をもとに指定の信号処理を行って相関量を算出する信号処理手段と、前記信号処理手段の出力結果を用いて焦点状態を検出する焦点検出手段とを有し、前記像生成手段および前記圧縮手段および前記信号処理手段および焦点検出手段の各パラメータを統合的に制御するパラメータ制御手段を有することを特徴とする焦点検出装置。 An image sensor formed by light passing through an image pickup optical system that divides an image of an object within an image pickup range into pupils in a predetermined direction and photoelectrically converts each image, and image signals accumulated from the image sensor are designated with thinning An image generation unit that reads out and extracts two image signals, a compression unit that adds and compresses the two images generated by the image generation unit, and a specified signal based on the two image signals generated by the compression unit A signal processing unit that calculates a correlation amount by performing signal processing; and a focus detection unit that detects a focus state using an output result of the signal processing unit, the image generation unit, the compression unit, and the signal processing And a focus control apparatus for controlling the parameters of the focus detection means in an integrated manner.
  2. 請求項1に記載の焦点検出装置であって、さらに被写体が暗いかどうか、または近距離と遠距離の複数の距離の被写体状態であるか、または斜め線の被写体であるかの特徴抽出手段を有し、前記パラメータ制御手段は、前フレームでの特徴抽出手段による特徴をもとに設定を行うことを特徴とした焦点検出装置。 The focus detection apparatus according to claim 1, further comprising: feature extraction means for determining whether the subject is dark, whether the subject is in a plurality of distances between a short distance and a long distance, or an oblique line subject. And the parameter control means performs setting based on the feature of the feature extraction means in the previous frame.
  3. 前記像生成手段は、第一の所定の幅を読み出して像を生成し、第二の所定の幅を間引いて読み出し、第一の所定の幅は輝度加算を行った像で低照度性能を満たす幅として設定することを特徴とした請求項1または請求項2に記載の焦点検出装置。   The image generation means reads the first predetermined width to generate an image, reads out the second predetermined width, reads the first predetermined width, and the first predetermined width satisfies the low illuminance performance with the image subjected to luminance addition. The focus detection apparatus according to claim 1, wherein the focus detection apparatus is set as a width.
  4. 前記圧縮手段は、前記第一の所定の幅内で圧縮することを特徴とした請求項3に記載の焦点検出装置。   The focus detection apparatus according to claim 3, wherein the compression unit performs compression within the first predetermined width.
  5. 前記信号処理手段は、指定された枠設定範囲で相関量加算またはデフォーカス平均を行うことを特徴とした請求項4に記載の焦点検出装置。   The focus detection apparatus according to claim 4, wherein the signal processing unit performs correlation amount addition or defocus averaging within a designated frame setting range.
  6. 前記信号処理手段は、指定された枠内に存在する前記第一の幅内毎に相関演算およびデフォーカス演算を行い、かつ枠設定範囲ごとに規定のデフォーカス抽出を行って焦点状態を検出することを特徴とした請求項4に記載の焦点検出装置。 The signal processing means performs a correlation calculation and a defocus calculation for each of the first widths existing in a designated frame, and performs a predetermined defocus extraction for each frame setting range to detect a focus state. The focus detection apparatus according to claim 4, wherein:
  7. 前記像生成手段は、読み出しするフレームレートに従って前記第一の所定の幅が変わることを特徴とした請求項1乃至6のいずれか1項に記載の焦点検出装置。 The focus detection apparatus according to claim 1, wherein the first predetermined width of the image generation unit changes according to a frame rate to be read.
JP2017041530A 2017-03-06 2017-03-06 Focus detection device Pending JP2018146778A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017041530A JP2018146778A (en) 2017-03-06 2017-03-06 Focus detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017041530A JP2018146778A (en) 2017-03-06 2017-03-06 Focus detection device

Publications (1)

Publication Number Publication Date
JP2018146778A true JP2018146778A (en) 2018-09-20

Family

ID=63591974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017041530A Pending JP2018146778A (en) 2017-03-06 2017-03-06 Focus detection device

Country Status (1)

Country Link
JP (1) JP2018146778A (en)

Similar Documents

Publication Publication Date Title
KR20080063013A (en) Photographing apparatus and photographing method
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US9591243B2 (en) Focus detecting apparatus, control method thereof, and image-pickup apparatus
JP6124720B2 (en) Imaging apparatus, image processing method, and image processing program
US9307168B2 (en) Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated
US9883096B2 (en) Focus detection apparatus and control method thereof
US9503661B2 (en) Imaging apparatus and image processing method
US9338343B2 (en) Imaging apparatus and method for controlling same
US9477140B2 (en) Imaging device, camera system and image processing method
US20110052070A1 (en) Image processing apparatus, image processing method and computer readable-medium
JP5949559B2 (en) Image processing apparatus, imaging apparatus, and image processing program
US10477098B2 (en) Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium
US9398207B2 (en) Imaging apparatus and image correction method, and image processing apparatus and image processing method
US10462352B2 (en) Focus detection apparatus and image pickup apparatus
JP6833405B2 (en) Focus detection device, focus adjustment device, imaging device and focus detection method
JP2018146778A (en) Focus detection device
US20040174456A1 (en) Image sensing apparatus, autofocus method, program, and storage medium
JP6421032B2 (en) Focus detection apparatus, focus detection method, and focus detection program
JP4871664B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2016096389A (en) Imaging apparatus, imaging apparatus control method, and program
US10986261B2 (en) Image capturing apparatus and control method thereof
US10911660B2 (en) Control apparatus, imaging apparatus, control method, and storage medium
JP6631589B2 (en) Imaging device
JP2021057825A (en) Signal processing apparatus and method, and imaging apparatus
JP2013070322A (en) Defective pixel detection device, imaging device, and defective pixel detection program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191125