JP2012256964A

JP2012256964A - Imaging apparatus

Info

Publication number: JP2012256964A
Application number: JP2011127324A
Authority: JP
Inventors: Yohei Ooka; 要平大岡
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-06-07
Filing date: 2011-06-07
Publication date: 2012-12-27

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of accurately identifying a light shielding image so as to correct its output even when the light shielding image where subject light is shielded by the pattern of a display part is different depending on the brightness of a field, etc.SOLUTION: A camera 100 includes: a display part 109 arranged in the optical path of an imaging optical system for forming the image of subject light so as to display a predetermined AF frame 201; an imaging part 112 having multiple pixels and outputting pixel signals corresponding to the subject light via the display part 109, whose images are formed; an identification part 123a for detecting the pixel signals output from the multiple pixels and identifying the pixels whose light is shielded by the AF frame 201; and a correction part 123b for correcting the pixel signals output from the pixels identified by the identification part 123a.

Description

本発明は、撮像装置に関するものである。 The present invention relates to an imaging apparatus.

従来、ファインダ画面に重ねて表示されるＡＦポイントマーク（ＡＦ枠）等の情報を、測光値演算やシーン解析を行うために、補間処理によって消去するカメラがあった（例えば特許文献１）。
しかし、実際には、撮影シーンに応じて被写界の明るさ等が異なるため、ＡＦポイントマーク等で遮光された画素、つまり、補間すべき画素は、撮影毎に異なり、また、その出力も変化する。
この場合、補間すべき画素よりも広い範囲で補正すると、有効な画像データまで消去してしまうので、補間処理の精度が悪くなるおそれがある。逆に、補間すべき画素よりも狭い範囲で補正すると、ＡＦポイントマーク等によって遮光された画素データを基に補間演算を行ってしまうので、やはり補間処理の精度が悪くなるおそれがある。
このように、従来のカメラは、ＡＦポイントマーク等の情報を、適切に補間できなかった。 Conventionally, there has been a camera that erases information such as AF point marks (AF frames) displayed on the viewfinder screen by interpolation processing in order to perform photometric value calculation and scene analysis (for example, Patent Document 1).
However, in reality, the brightness of the object scene varies depending on the shooting scene, so the pixels that are shielded by the AF point mark, etc., that is, the pixels to be interpolated differ for each shooting, and the output is also Change.
In this case, if the correction is performed in a wider range than the pixel to be interpolated, even effective image data is deleted, so that the accuracy of the interpolation processing may be deteriorated. Conversely, if correction is made in a narrower range than the pixel to be interpolated, interpolation calculation is performed based on pixel data shielded by an AF point mark or the like, so that the accuracy of the interpolation processing may also deteriorate.
As described above, the conventional camera cannot appropriately interpolate information such as the AF point mark.

特開平１１−２１５４０９号公報JP 11-215409 A

本発明の課題は、被写界の明るさ等に応じて、被写体光が表示部のパターンによって遮られる遮光画像が異なっても、遮光画像を精度よく特定して、その出力を補正できる撮像装置を提供することである。 An object of the present invention is to provide an imaging apparatus capable of accurately identifying a light-shielded image and correcting its output even if the light-shielded image in which subject light is shielded by the pattern of the display unit differs according to the brightness of the object scene or the like Is to provide.

本発明は、以下のような解決手段により、課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。また、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。 The present invention solves the problems by the following means. In addition, in order to make an understanding easy, although the code | symbol corresponding to embodiment of this invention is attached | subjected and demonstrated, it is not limited to this. In addition, the configuration described with reference numerals may be improved as appropriate, or at least a part thereof may be replaced with another configuration.

請求項１の発明は、被写体光を結像させる撮影光学系の光路中に配置され、所定のパターン（２０１）を表示する表示部（１０９）と、複数の画素を有し、前記表示部を介して結像された前記被写体光に応じた画素信号を出力する撮像部（１１２）と、前記複数の画素から出力された前記画素信号を検出して、前記パターンにより遮光された画素を特定する特定部（１２３ａ）と、前記特定部により特定された画素から出力された画素信号を補正する補正部（１２３ｂ）と、を備えることを特徴とする撮像装置である。
請求項２の発明は、請求項１に記載の撮像装置において、前記複数の画素は、行列状に配置されていることを特徴とする撮像装置である。
請求項２に記載の撮像装置において、前記特定部（１２３ａ）は、前記複数の画素のうち、少なくとも１列または１行から出力された画素信号を検出して、前記パターン（２０１）により遮光された画素を特定することを特徴とする撮像装置である。
請求項３の発明は、請求項１から請求項３のいずれか１項に記載の撮像装置において、前記パターン（２０１）により遮光された画素を含むように予め定められた画素領域（３０１，６０１）を記憶する記憶部（１１５）を備え、前記特定部（１２３ａ）は、前記画素領域の端部の画素から隣接する画素を順次検出して、前記パターンにより遮光された画素を特定することを特徴とする撮像装置である。
請求項４の発明は、請求項１から請求項４のいずれか１項に記載の撮像装置において、前記特定部（１２３ａ）は、検出された画素信号が所定閾値（Ｙｔｈ）未満のときに、前記パターンにより遮光された画素であると特定することを特徴とする撮像装置である。
請求項５の発明は、請求項５に記載の撮像装置において、前記補正部（１２３ｂ）は、前記特定部（１２３ａ）により特定された画素に隣接する前記所定閾値（Ｙｔｈ）以上の画素信号を出力する画素に基づいて、補正することを特徴とする撮像装置である。
請求項６の発明は、請求項６に記載の撮像装置において、前記補正部（１２３ｂ）は、前記特定部（１２３ａ）により特定された画素を線形補間により補正することを特徴とする撮像装置である。
請求項７の発明は、請求項１から請求項７のいずれか１項に記載の撮像装置において、前記パターン（２０１）は、測距範囲を表示するパターンであることを特徴とする撮像装置である。 The invention of claim 1 is arranged in an optical path of a photographing optical system that forms an image of subject light, and has a display unit (109) for displaying a predetermined pattern (201), a plurality of pixels, and the display unit An image pickup unit (112) that outputs a pixel signal corresponding to the subject light imaged via the image, and the pixel signal output from the plurality of pixels is detected to identify a pixel that is shielded from light by the pattern An imaging apparatus comprising: a specifying unit (123a); and a correcting unit (123b) that corrects a pixel signal output from a pixel specified by the specifying unit.
A second aspect of the present invention is the imaging apparatus according to the first aspect, wherein the plurality of pixels are arranged in a matrix.
3. The imaging device according to claim 2, wherein the specifying unit (123 a) detects a pixel signal output from at least one column or one row among the plurality of pixels and is shielded from light by the pattern (201). An image pickup apparatus is characterized in that a specified pixel is specified.
According to a third aspect of the present invention, in the imaging device according to any one of the first to third aspects, the pixel region (301, 601) determined in advance to include pixels shielded from light by the pattern (201). ), And the specifying unit (123a) sequentially detects adjacent pixels from the pixels at the end of the pixel region, and specifies the light-shielded pixels by the pattern. It is the imaging device characterized.
According to a fourth aspect of the present invention, in the imaging device according to any one of the first to fourth aspects, the specifying unit (123a) is configured such that when the detected pixel signal is less than a predetermined threshold (Yth), The imaging apparatus is characterized by being identified as a pixel shielded from light by the pattern.
According to a fifth aspect of the present invention, in the imaging device according to the fifth aspect, the correction unit (123b) outputs a pixel signal equal to or greater than the predetermined threshold (Yth) adjacent to the pixel specified by the specifying unit (123a). An imaging apparatus is characterized in that correction is performed based on a pixel to be output.
The invention according to claim 6 is the imaging apparatus according to claim 6, wherein the correction unit (123b) corrects the pixel specified by the specifying unit (123a) by linear interpolation. is there.
A seventh aspect of the present invention is the imaging apparatus according to any one of the first to seventh aspects, wherein the pattern (201) is a pattern for displaying a distance measurement range. is there.

本発明によれば、被写体光が表示部のパターンによって遮られる遮光画像が異なっても、遮光画像を精度よく特定して、その出力を補正できる撮像装置を提供できる。 According to the present invention, it is possible to provide an imaging apparatus capable of accurately identifying a light-shielded image and correcting its output even if the light-shielded image where the subject light is blocked by the pattern of the display unit is different.

第１実施形態のカメラ１００のブロック図である。It is a block diagram of the camera 100 of 1st Embodiment. 第１実施形態の表示部１０９の表示画面を示す図である。It is a figure which shows the display screen of the display part 109 of 1st Embodiment. 第１実施形態のカメラ１００の使用時の動作を示すフローチャートである。It is a flowchart which shows the operation | movement at the time of use of the camera 100 of 1st Embodiment. 第１実施形態の遮光画素特定処理（縦方向）を示すフローチャートである。It is a flowchart which shows the light-shielding pixel specific process (vertical direction) of 1st Embodiment. 第１実施形態の補間処理（縦方向）を示すフローチャートである。It is a flowchart which shows the interpolation process (vertical direction) of 1st Embodiment. 第１実施形態の検討枠３０１を拡大して遮光画素特定処理（縦方向）を説明する図である。It is a figure which expands the examination frame 301 of 1st Embodiment, and illustrates a shading pixel specific process (vertical direction). 第１実施形態の検討枠３０１の画素出力Ｙを縦軸、画素の縦方向Ｖの座標を横軸に示すグラフである。It is a graph which shows the pixel output Y of the examination frame 301 of 1st Embodiment on a vertical axis | shaft, and the coordinate of the vertical direction V of a pixel on a horizontal axis. 第１実施形態の検討枠３０１を拡大して遮光画素特定処理（横方向）を説明する図である。It is a figure which expands the examination frame 301 of 1st Embodiment, and illustrates a shading pixel specific process (horizontal direction). 第１実施形態の検討枠３０１を拡大して遮光画素特定処理（コーナ部）を説明する図である。It is a figure which expands the examination frame 301 of 1st Embodiment, and illustrates a shading pixel specific process (corner part). 第２実施形態のカメラの遮光画素特定処理及び補間処理を説明する図である。It is a figure explaining the shading pixel specific process and interpolation process of the camera of 2nd Embodiment.

（第１実施形態）
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、第１実施形態のカメラ１００の構成を説明する図である。
図２は、第１実施形態の表示部１０９の表示画面を示す図である。
カメラ１００は、一眼レフレックスタイプのカメラである。
カメラ１００は、操作部１０１と、レンズ１０２と、ミラー１０３と、シャッター１０４と、第１撮像部１０５と、メモリカードスロット１０６と、モニタ１０７と、表示部１０９と、プリズム１１０と、第２撮像部１１２と、接眼部１１３と、記憶部１１５と、制御部１２０とを備えている。
操作部１０１は、撮影者によって操作される。操作部１０１は、例えば、電源スイッチ、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタン等を備えている。 (First embodiment)
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating the configuration of the camera 100 according to the first embodiment.
FIG. 2 is a diagram illustrating a display screen of the display unit 109 according to the first embodiment.
The camera 100 is a single-lens reflex type camera.
The camera 100 includes an operation unit 101, a lens 102, a mirror 103, a shutter 104, a first imaging unit 105, a memory card slot 106, a monitor 107, a display unit 109, a prism 110, and a second imaging. Unit 112, eyepiece unit 113, storage unit 115, and control unit 120.
The operation unit 101 is operated by a photographer. The operation unit 101 includes, for example, a power switch, a release button, a zoom button, a cross key, an enter button, a play button, a delete button, and the like.

レンズ１０２は、撮影光学系を構成する。レンズ１０２は、カメラボディに着脱可能なレンズ鏡筒内に収容される。なお、レンズ１０２は、複数の光学レンズから構成されるが、図１では、１枚のレンズで簡略して表す。レンズ１０２を通った被写体からの光線は、観察時には、ミラー１０３によってプリズム１１０の方向に導かれ、撮影時には、ミラー１０３が退避することにより、第１撮像部１０５の方向に導かれる。 The lens 102 constitutes a photographing optical system. The lens 102 is housed in a lens barrel that is detachable from the camera body. Note that the lens 102 includes a plurality of optical lenses, but in FIG. The light beam from the subject passing through the lens 102 is guided in the direction of the prism 110 by the mirror 103 during observation, and is guided in the direction of the first imaging unit 105 by retracting the mirror 103 during imaging.

第１撮像部１０５は、例えば、ＣＭＯＳ、ＣＣＤ等のイメージセンサーである。撮像時に、ミラー１０３が退避し、シャッター１０４が走行すると、レンズ１０２によって第１撮像部１０５に結像した被写体像が、制御部１２０により決定された露出で撮像される。第１撮像部１０５は、撮像により得られた撮像情報を制御部１２０へ出力する。 The first imaging unit 105 is an image sensor such as a CMOS or a CCD, for example. When the mirror 103 is retracted and the shutter 104 travels during imaging, a subject image formed on the first imaging unit 105 by the lens 102 is captured with the exposure determined by the control unit 120. The first imaging unit 105 outputs imaging information obtained by imaging to the control unit 120.

メモリカードスロット１０６は、記憶媒体としてのメモリカードを挿入するためのスロットである。メモリカードスロット１０６は、制御部１２０からの指示に基づいて、第１撮像部１０５が取得した画像をメモリカードに書き込んで記録したり、メモリカード内に記憶されている画像を読み出したりする。
モニタ１０７は、カメラ１００の背面等に搭載された液晶表示装置等である。モニタ１０７には、メモリカードに記憶されている画像や、カメラ１００を設定するための設定メニュー等が表示される。
ファインダスクリーン１０８は、ミラー１０３によってプリズム１１０の方向に導かれた被写体光が結像される部材である。 The memory card slot 106 is a slot for inserting a memory card as a storage medium. Based on an instruction from the control unit 120, the memory card slot 106 writes and records an image acquired by the first imaging unit 105 on a memory card, and reads an image stored in the memory card.
The monitor 107 is a liquid crystal display device or the like mounted on the back surface of the camera 100 or the like. The monitor 107 displays an image stored in the memory card, a setting menu for setting the camera 100, and the like.
The finder screen 108 is a member on which subject light guided by the mirror 103 in the direction of the prism 110 is imaged.

表示部１０９は、例えば、透過型の高分子分散型液晶表示装置である。
図２に示すように、表示部１０９は、ＡＦ（オートフォーカス）の測距範囲を示す３つのＡＦ枠２０１（パターン）を表示する。ＡＦ枠２０１は、外形がほぼ長方形である。
図１に示すように、表示部１０９は、被写体光を結像させる撮影光学系の光路中に配置されている。ファインダスクリーン１０８に結像した被写体光は、さらに、プリズム１１０に導かれる途中で、表示部１０９を通過する。このため、ＡＦ枠２０１は、ファインダスクリーン１０８に結像した被写体光に、重ね合わせられて重畳される。ＡＦ枠２０１が重畳された被写体光は、プリズム１１０を通り、接眼部１１３及び測光レンズ１１１の両方に導かれる。 The display unit 109 is, for example, a transmissive polymer dispersed liquid crystal display device.
As shown in FIG. 2, the display unit 109 displays three AF frames 201 (patterns) indicating the AF (autofocus) distance measurement range. The AF frame 201 has a substantially rectangular outer shape.
As shown in FIG. 1, the display unit 109 is disposed in the optical path of a photographing optical system that forms an image of subject light. The subject light imaged on the finder screen 108 further passes through the display unit 109 while being guided to the prism 110. For this reason, the AF frame 201 is superimposed and superimposed on the subject light imaged on the finder screen 108. The subject light on which the AF frame 201 is superimposed passes through the prism 110 and is guided to both the eyepiece 113 and the photometric lens 111.

第２撮像部１１２は、例えば、ＣＭＯＳやＣＣＤ等のイメージセンサーである。第２撮像部１１２は、複数の画素が行列状に配置されている（図６参照）。測光レンズ１１１を通った被写体光は、第２撮像部１１２に結像する。第２撮像部１１２は、撮像情報を取得し、その画素出力を制御部１２０に出力する。この画素出力には、表示部１０９を介して結像された被写体光に応じた画素信号が含まれる。 The second imaging unit 112 is an image sensor such as a CMOS or a CCD, for example. The second imaging unit 112 has a plurality of pixels arranged in a matrix (see FIG. 6). The subject light that has passed through the photometric lens 111 forms an image on the second imaging unit 112. The second imaging unit 112 acquires imaging information and outputs the pixel output to the control unit 120. This pixel output includes a pixel signal corresponding to subject light imaged through the display unit 109.

記憶部１１５は、ＳＤＲＡＭ、フラッシュメモリ等の記憶装置である。
ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵ（中央処理装置）がプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。フラッシュメモリは、不揮発性のメモリであって、制御部１２０が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータ等が記録されている。
記憶部１１５は、第２撮像部１１２の画素出力を記憶したり、後述するように、補間後の画素出力に更新したりする。 The storage unit 115 is a storage device such as an SDRAM or a flash memory.
The SDRAM is a volatile memory, and is used as a work memory for developing a program when a CPU (central processing unit) executes a program, or as a buffer memory for temporarily recording data. The flash memory is a non-volatile memory in which data of a program executed by the control unit 120, various parameters read at the time of program execution, and the like are recorded.
The storage unit 115 stores the pixel output of the second imaging unit 112 or updates the pixel output after interpolation as will be described later.

記憶部１１５は、検討枠記憶部１１５ａを備える。
検討枠記憶部１１５ａは、ＡＦ枠２０１に対応した大きさの検討枠３０１（画素領域）を予め記憶する記憶領域である（図６参照）。検討枠３０１は、第２撮像部１１２のうち被写体光がＡＦ枠２０１によって遮光され、ＡＦ枠２０１が撮像に影響に与える範囲に対応して設定されている。つまり、検討枠３０１は、ＡＦ枠２０１により遮光された画素を含むように予め定められた画素領域に対応している。このため、検討枠３０１は、長方形の枠形状である。検討枠３０１の詳細は、後述する。 The storage unit 115 includes an examination frame storage unit 115a.
The study frame storage unit 115a is a storage region that stores in advance a study frame 301 (pixel region) having a size corresponding to the AF frame 201 (see FIG. 6). The examination frame 301 is set so as to correspond to a range in which the subject light in the second imaging unit 112 is shielded by the AF frame 201 and the AF frame 201 affects imaging. That is, the examination frame 301 corresponds to a pixel region that is predetermined so as to include pixels that are shielded from light by the AF frame 201. For this reason, the examination frame 301 has a rectangular frame shape. Details of the examination frame 301 will be described later.

制御部１２０は、ＣＰＵ、その他の周辺回路により構成され、カメラ１００を統括的に制御する制御装置である。
制御部１２０は、第１撮像制御部１２１と、第２撮像制御部１２２と、補間処理部１２３（補正部）、画素出力抽出部１２４と、撮影条件設定部１２５とを備える。
第１撮像制御部１２１は、第１撮像部１０５が取得した撮像情報に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データを生成する。第１撮像制御部１２１は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを作成する。制御部１２０は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成し、メモリカードスロット１０６へ出力する。
本実施形態では、本画像データとサムネイル画像データは、いずれもＲＧＢ表色系で表された画像データである。 The control unit 120 is configured by a CPU and other peripheral circuits, and is a control device that comprehensively controls the camera 100.
The control unit 120 includes a first imaging control unit 121, a second imaging control unit 122, an interpolation processing unit 123 (correction unit), a pixel output extraction unit 124, and an imaging condition setting unit 125.
The first imaging control unit 121 generates image data in a predetermined image format, for example, JPEG format, based on the imaging information acquired by the first imaging unit 105. The first imaging control unit 121 creates display image data, for example, thumbnail image data, based on the generated image data. The control unit 120 generates an image file that includes the generated main image data and thumbnail image data, and further includes header information, and outputs the image file to the memory card slot 106.
In the present embodiment, the main image data and the thumbnail image data are both image data represented in the RGB color system.

第２撮像制御部１２２は、第２撮像部１１２を制御する制御部である。第２撮像制御部１２２は、第２撮像部１１２の画素出力を取得する。
補間処理部１２３は、第２撮像部１１２が取得した画素出力を補正する制御部である。補間処理部１２３は、特定部１２３ａと、補正部１２３ｂとを備える。
特定部１２３ａは、第２撮像部１１２の複数の画素から出力された画素信号を検出して、ＡＦ枠２０１により遮光された遮光画素を特定する制御部である。
補正部１２３ｂは、特定部１２３ａにより特定された遮光画素から出力された画素信号を補間して補正する制御部である。 The second imaging control unit 122 is a control unit that controls the second imaging unit 112. The second imaging control unit 122 acquires the pixel output of the second imaging unit 112.
The interpolation processing unit 123 is a control unit that corrects the pixel output acquired by the second imaging unit 112. The interpolation processing unit 123 includes a specifying unit 123a and a correction unit 123b.
The specifying unit 123 a is a control unit that detects pixel signals output from a plurality of pixels of the second imaging unit 112 and specifies a light-shielded pixel shielded by the AF frame 201.
The correcting unit 123b is a control unit that interpolates and corrects the pixel signal output from the light-shielded pixel specified by the specifying unit 123a.

画素出力抽出部１２４は、補正部１２３ｂによって補正された画素出力に基づいて、被写体の撮影条件を設定するための情報を抽出する制御部である。
撮影条件設定部１２５は、画素出力抽出部１２４が抽出した画素出力に基づいて、シーン設定や、露出決定等をする制御部である。
各制御部の処理の詳細は、後述する。 The pixel output extraction unit 124 is a control unit that extracts information for setting shooting conditions of the subject based on the pixel output corrected by the correction unit 123b.
The imaging condition setting unit 125 is a control unit that performs scene setting, exposure determination, and the like based on the pixel output extracted by the pixel output extraction unit 124.
Details of processing of each control unit will be described later.

次に、カメラ１００の動作を説明する。
図３は、第１実施形態のカメラ１００の使用時の動作を示すフローチャートである。
図４は、第１実施形態の遮光画素特定処理（縦方向）を示すフローチャートである。
図５は、第１実施形態の補間処理（縦方向）を示すフローチャートである。
図６は、第１実施形態の検討枠３０１を拡大して遮光画素特定処理（縦方向）を説明する図である。
図７は、第１実施形態の検討枠３０１の画素出力Ｙを縦軸、画素の縦方向Ｖの座標を横軸に示すグラフである。
図８は、第１実施形態の検討枠３０１を拡大して遮光画素特定処理（横方向）を説明する図である。
図９は、第１実施形態の検討枠３０１を拡大して遮光画素特定処理（コーナ部）を説明する図である。 Next, the operation of the camera 100 will be described.
FIG. 3 is a flowchart showing an operation when the camera 100 of the first embodiment is used.
FIG. 4 is a flowchart showing the shading pixel specifying process (vertical direction) of the first embodiment.
FIG. 5 is a flowchart showing the interpolation processing (vertical direction) of the first embodiment.
FIG. 6 is a diagram for explaining the shading pixel specifying process (vertical direction) by enlarging the examination frame 301 of the first embodiment.
FIG. 7 is a graph showing the pixel output Y of the examination frame 301 of the first embodiment on the vertical axis and the coordinates of the vertical direction V of the pixel on the horizontal axis.
FIG. 8 is a diagram for explaining the shading pixel specifying process (horizontal direction) by enlarging the examination frame 301 of the first embodiment.
FIG. 9 is a diagram for explaining the shading pixel specifying process (corner portion) by enlarging the examination frame 301 of the first embodiment.

なお、以下、ＡＦ枠２０１の１つに対応する１つの検討枠３０１の補間について説明するが、他の２つに対応するＡＦ枠２０１についても、同様である。
ステップＳ（以下「Ｓ」という）１では、第２撮像制御部１２２は、第２撮像部１１２を制御して、取得した画像出力を記憶部１１５に記憶させる。
第２撮像部１１２に導かれる光は、表示部１０９を通ったものである。このため、第２撮像部１１２が取得した画素出力には、既に、ＡＦ枠２０１によって被写体光が遮られた遮光画素の画素出力（遮光画素出力）が重畳されている。遮光画素の画素出力は、周辺の出力よりも低くなっている（図７（ａ）に示す補間範囲Ａ参照）。
Ｓ２では、図６に示すように、特定部１２３ａは、Ｓ１で取得した画素出力のうち、検討枠３０１内の平均出力値を計算し、これを補間閾値Ｙｔｈに設定する。 Hereinafter, the interpolation of one examination frame 301 corresponding to one of the AF frames 201 will be described, but the same applies to the AF frames 201 corresponding to the other two.
In step S (hereinafter referred to as “S”) 1, the second imaging control unit 122 controls the second imaging unit 112 to store the acquired image output in the storage unit 115.
The light guided to the second imaging unit 112 passes through the display unit 109. For this reason, the pixel output of the light-shielded pixel in which the subject light is blocked by the AF frame 201 (light-shielded pixel output) is already superimposed on the pixel output acquired by the second imaging unit 112. The pixel output of the light-shielding pixel is lower than the peripheral output (see the interpolation range A shown in FIG. 7A).
In S2, as shown in FIG. 6, the specifying unit 123a calculates an average output value in the examination frame 301 among the pixel outputs acquired in S1, and sets this as the interpolation threshold Yth.

［縦方向スキャン］
Ｓ３では、特定部１２３ａは、遮光画素特定処理（縦方向）を行う。
特定部１２３ａは、検討枠３０１のうち、縦方向（列方向）に配列された画素の画素出力を縦方向にスキャンする。
図６に太線で示す範囲３０４のように、この例では、縦方向に配列された画素は、上側及び下側に各９列、合計１８列である。 [Vertical scan]
In S3, the specifying unit 123a performs a light-shielded pixel specifying process (vertical direction).
The specifying unit 123a scans the pixel outputs of the pixels arranged in the vertical direction (column direction) in the vertical direction in the examination frame 301.
In this example, as shown in a range 304 indicated by a thick line in FIG. 6, the pixels arranged in the vertical direction are 9 columns each on the upper side and the lower side, for a total of 18 columns.

（Ｓ３：遮光画素特定処理（縦方向））
図４、図６を参照して、遮光画素特定処理（縦方向）について説明する。
遮光画素特定処理（縦方向）は、第２撮像部１１２の画素のうち、ＡＦ枠２０１によって被写体光を遮られた遮光画素を特定する処理である。
Ｓ３０１では、特定部１２３ａは、範囲３０４内の内側の遮光画素を特定する処理を開始する。
Ｓ３０２では、特定部１２３ａは、検討枠３０１よりも内側の画素３０３ａの１つ外側の画素、つまり検討枠３０１の最も内側の画素Ｘ１１を選択する。 (S3: shading pixel specifying process (vertical direction))
With reference to FIGS. 4 and 6, the shading pixel specifying process (vertical direction) will be described.
The light-shielded pixel specifying process (vertical direction) is a process for specifying a light-shielded pixel whose subject light is blocked by the AF frame 201 among the pixels of the second imaging unit 112.
In S301, the specifying unit 123a starts a process of specifying the inner light-shielding pixel in the range 304.
In S 302, the specifying unit 123 a selects one pixel outside the pixel 303 a inside the examination frame 301, that is, the innermost pixel X 11 of the examination frame 301.

Ｓ３０３では、特定部１２３ａは、選択した画素Ｘ１１の画素出力を補間閾値Ｙｔｈと比較して補間閾値Ｙｔｈよりも小さいか否かを判定する。特定部１２３ａは、選択した画素出力が補間閾値Ｙｔｈよりも小さいと判定した場合には（Ｓ３０３：ＹＥＳ）、Ｓ３０４に進み、一方、補間閾値Ｙｔｈよりも小さくない判定した場合には（Ｓ３０３：ＮＯ）、つまり、補間閾値Ｙｔｈ以上であると判定した場合には、Ｓ３０３ａに進む。
Ｓ３０３ａでは、特定部１２３ａは、選択した画素よりもさらに１つ下側の画素を選択して、Ｓ３０３の処理を繰り返す。 In S303, the specifying unit 123a compares the pixel output of the selected pixel X11 with the interpolation threshold Yth and determines whether it is smaller than the interpolation threshold Yth. When determining that the selected pixel output is smaller than the interpolation threshold Yth (S303: YES), the specifying unit 123a proceeds to S304. On the other hand, when determining that the selected pixel output is not smaller than the interpolation threshold Yth (S303: NO) ), That is, if it is determined that the value is greater than or equal to the interpolation threshold Yth, the process proceeds to S303a.
In S303a, the specifying unit 123a selects a pixel that is one lower than the selected pixel, and repeats the process of S303.

Ｓ３０４では、特定部１２３ａは、画素出力が補間閾値Ｙｔｈよりも小さいと判定した画素を、内側の遮光画素に設定する。
上記Ｓ３０１〜Ｓ３０４の処理によって、図６に示すように、特定部１２３ａは、検討枠３０１の内側の画素３０３ａから１つずつ外側の画素を順次選択して、その画素出力と補間閾値Ｙｔｈとを比較し、その判定結果に基づいて遮光画素を特定することになる。これにより、検討枠３０１内において、ＡＦ枠２０１が撮像された画素のうち最も内側の遮光画素（図６の例では遮光画素Ｂ１）を設定できる。 In S304, the specifying unit 123a sets a pixel determined to have a pixel output smaller than the interpolation threshold Yth as an inner light-shielding pixel.
Through the processing of S301 to S304, as illustrated in FIG. 6, the specifying unit 123a sequentially selects the outer pixels one by one from the inner pixels 303a of the examination frame 301, and outputs the pixel output and the interpolation threshold Yth. The light-shielding pixels are specified based on the comparison result. Thereby, in the examination frame 301, the innermost light-shielded pixel (light-shielded pixel B1 in the example of FIG. 6) among the pixels in which the AF frame 201 is imaged can be set.

遮光画素が配置された遮光画素領域３０２は、ＡＦ枠２０１の周囲の明るさ等に応じて異なる。つまり、遮光画素領域３０２は、撮影毎に異なる。遮光画素領域３０２は、例えば、被写界が明るければ幅が狭くなり、逆に、被写界が暗ければ幅が広くなる。また、図６に示すように、ＡＦ枠２０１が長方形であっても、遮光画素領域３０２は、通常は、長方形の枠形状にならない。さらに、ＡＦ枠２０１の数が多い場合には（例えば数十個）、ＡＦ枠２０１が撮影条件に与える影響が大きくなる。このため、適切に撮影条件を設定したり、顔認証機能等のシーン解析の精度を向上する場合には、遮光画素を精度よく特定してその出力を補間する必要がある。
実施形態では、検討枠３０１の範囲を予め実験等で求め、遮光画素領域３０２よりも十分に広い領域を検討枠３０１として、カメラ製造時等に検討枠記憶部１１５ａに記録しておく。そして、特定部１２３ａは、遮光画素を特定するために、検討枠３０１内の画素が実際に被写界を撮像した画素出力を利用し、かつ、補間閾値Ｙｔｈを検討枠３０１内の画素出力に基づいて算出する。このため、遮光画素領域３０２が撮影毎に異なっても特定部１２３ａは、遮光画素を精度よく特定できる。 The light-shielded pixel region 302 in which the light-shielded pixels are arranged varies depending on the brightness around the AF frame 201 and the like. That is, the light-shielding pixel region 302 is different for each shooting. For example, the light-shielding pixel region 302 becomes narrower when the object scene is bright, and conversely, the width becomes wider when the object scene is dark. As shown in FIG. 6, even if the AF frame 201 is rectangular, the light-shielding pixel region 302 does not normally have a rectangular frame shape. Further, when the number of AF frames 201 is large (for example, several tens), the influence of the AF frame 201 on the shooting conditions becomes large. For this reason, in order to appropriately set shooting conditions or improve the accuracy of scene analysis such as a face authentication function, it is necessary to accurately identify light-shielded pixels and interpolate the output.
In the embodiment, the range of the examination frame 301 is obtained in advance through experiments or the like, and an area sufficiently wider than the light-shielding pixel area 302 is recorded as the examination frame 301 in the examination frame storage unit 115a when the camera is manufactured. Then, the specifying unit 123a uses the pixel output in which the pixels in the examination frame 301 actually capture the object scene to specify the light-shielded pixels, and sets the interpolation threshold Yth as the pixel output in the examination frame 301. Calculate based on For this reason, even if the light-shielded pixel region 302 is different for each shooting, the specifying unit 123a can accurately specify the light-shielded pixel.

Ｓ３０５〜Ｓ３０８では、特定部１２３ａは、Ｓ３０１〜Ｓ３０４と同様に、同列の画素のうち、検討枠３０１内の最も外側の遮光画素を判定する。
すなわち、特定部１２３ａは、検討枠３０１よりも外側の画素３０３ｂの１つ内側の画素、つまり検討枠３０１の最も外側の画素Ｘ１３を選択する（Ｓ３０５）。
そして、特定部１２３ａは、内側の画素を順次選択して、画素出力を補間閾値Ｙｔｈと比較して補間閾値Ｙｔｈよりも小さいか否かを判定し（Ｓ３０７）、画素出力が補間閾値Ｙｔｈよりも小さいと判定した遮光画素Ｂ４を、外側の遮光画素に特定する（Ｓ３０８）。 In S305 to S308, the specifying unit 123a determines the outermost light-shielded pixel in the examination frame 301 among the pixels in the same row, similarly to S301 to S304.
That is, the specifying unit 123a selects a pixel inside one pixel 303b outside the examination frame 301, that is, the outermost pixel X13 of the examination frame 301 (S305).
Then, the specifying unit 123a sequentially selects the inner pixels, compares the pixel output with the interpolation threshold Yth, determines whether or not it is smaller than the interpolation threshold Yth (S307), and the pixel output is smaller than the interpolation threshold Yth. The light-shielding pixel B4 determined to be small is specified as the outer light-shielding pixel (S308).

Ｓ３０９では、特定部１２３ａは、縦方向のスキャンが１８列について全て終了したか否かを判定する。特定部１２３ａは、縦方向のスキャンが１８列について全て終了したと判定した場合には（Ｓ３０９：ＹＥＳ）、Ｓ３１０に進んでメイン処理のＳ４に戻り、一方、縦方向のスキャンが全て終了していないと判定した場合には（Ｓ３０９：ＮＯ）、Ｓ３０９ａに進む。
Ｓ３０９ａでは、特定部１２３ａは、他の列を選択して、Ｓ３０９の処理を繰り返す。なお、特定部１２３ａが列を選択する順序は、限定されない。特定部１２３ａは、例えば、時計回りに列を選択してもよいし、検討枠３０１の上下に同列に配列された２列を順に選択し、左側から右側に順に選択してもよい。 In S309, the specifying unit 123a determines whether or not the vertical scanning has been completed for all 18 columns. If the specifying unit 123a determines that all vertical scans have been completed for 18 columns (S309: YES), the process proceeds to S310 and returns to S4 of the main process, while all vertical scans have been completed. If it is determined that there is not (S309: NO), the process proceeds to S309a.
In S309a, the specifying unit 123a selects another column and repeats the process in S309. Note that the order in which the specifying unit 123a selects a column is not limited. For example, the specifying unit 123a may select the columns clockwise, select two columns arranged in the same column above and below the examination frame 301 in order, and select them sequentially from the left side to the right side.

図３に戻り、Ｓ４では、特定部１２３ａは、Ｓ３で特定した遮光画素Ｂ１及び遮光画素Ｂ４を利用して、遮光画素領域３０２内の縦方向に配列された遮光画素の補間処理を行う。
（Ｓ４：補間処理（縦方向））
図５〜図７を参照して、補正部１２３ｂの補間処理（縦方向）について説明する。
Ｓ４０１では、補正部１２３ｂは、遮光画素Ｂ１の１つ内側の画素Ｘ１１（座標Ｈ１１，Ｖ１１）を選択して、記憶部１１５からその画素出力Ｙ１１（図７参照）を読み出す。
Ｓ４０２では、補正部１２３ｂは、遮光画素Ｂ４の１つ外側の画素Ｘ１２（座標Ｈ１２，Ｖ１２）を選択して、記憶部１１５からその画素出力Ｙ１２（図７参照）を読み出す。 Returning to FIG. 3, in S 4, the specifying unit 123 a performs interpolation processing of light-shielded pixels arranged in the vertical direction in the light-shielded pixel region 302 using the light-shielded pixels B 1 and B 4 identified in S 3.
(S4: Interpolation process (vertical direction))
The interpolation processing (vertical direction) of the correction unit 123b will be described with reference to FIGS.
In S401, the correction unit 123b selects the pixel X11 (coordinates H11 and V11) inside the light-shielding pixel B1, and reads out the pixel output Y11 (see FIG. 7) from the storage unit 115.
In S402, the correction unit 123b selects a pixel X12 (coordinates H12, V12) that is one outside of the light-shielding pixel B4, and reads out the pixel output Y12 (see FIG. 7) from the storage unit 115.

Ｓ４０３では、補正部１２３ｂは、図７に示すように、Ｖ１１の出力Ｙ１１とＶ１２の出力Ｙ１２の間を結ぶ線分Ｃによって、遮光画素Ｂ１〜Ｂ４の出力を線形補間する。
遮光画素Ｂ１〜Ｂ４の出力をそれぞれ出力Ｙ１〜Ｙ４とすれば、補間後の遮光画素Ｂ１〜Ｂ４の出力Ｙ（Ｙ＝Ｙ１〜Ｙ４）は、以下の式１で表すことができる。
Ｙ＝｛（Ｙ１１−Ｙ１２）×Ｖ＋（Ｙ１２×Ｖ１１−Ｙ１１×Ｖ１２）｝／（Ｖ１１−Ｖ１２）・・・式１ In S403, the correction unit 123b linearly interpolates the outputs of the light shielding pixels B1 to B4 with a line segment C connecting the output Y11 of V11 and the output Y12 of V12, as shown in FIG.
If the outputs of the light-shielding pixels B1 to B4 are outputs Y1 to Y4, respectively, the output Y (Y = Y1 to Y4) of the light-shielded pixels B1 to B4 after interpolation can be expressed by the following Expression 1.
Y = {(Y11−Y12) × V + (Y12 × V11−Y11 × V12)} / (V11−V12) Equation 1

例えば、遮光画素Ｂ１の出力Ｙ１は、以下のようになる。
Ｙ１＝｛（Ｙ１１−Ｙ１２）×Ｖ１＋（Ｙ１２×Ｖ１１−Ｙ１１×Ｖ１２）｝／（Ｖ１１−Ｖ１２）
遮光画素Ｂ１の補間後の画素出力を、図７（ａ）に破線で示す。
図７（ｂ）に示すように、補正部１２３ｂは、式１に基づいて、遮光画素Ｂ２〜Ｂ４についても同様に補間処理を行い、補間後の画素出力Ｙ２〜Ｙ４を求める。補正部１２３ｂは、記憶部１１５の画素出力を、補間後の出力に置き換えて、Ｓ４０４に進む。 For example, the output Y1 of the light shielding pixel B1 is as follows.
Y1 = {(Y11−Y12) × V1 + (Y12 × V11−Y11 × V12)} / (V11−V12)
The pixel output after interpolation of the light-shielding pixel B1 is shown by a broken line in FIG.
As shown in FIG. 7B, the correction unit 123b similarly performs the interpolation process on the light-shielded pixels B2 to B4 based on Equation 1, and obtains pixel outputs Y2 to Y4 after interpolation. The correcting unit 123b replaces the pixel output of the storage unit 115 with the output after interpolation, and proceeds to S404.

Ｓ４０４では、補正部１２３ｂは、縦方向１８列全ての補間処理が終了したか否かを判定する。補正部１２３ｂは、１８列全てが終了したと判定した場合には（Ｓ４０４：ＹＥＳ）、Ｓ４０５に進んでメイン処理のＳ５に戻り、一方、全て終了していないと判定した場合には（Ｓ４０４：ＮＯ）、Ｓ４０４ａに進む。
Ｓ４０４ａでは、補正部１２３ｂは、他の列に移動して、Ｓ４０１からの補間処理を繰り返す。 In S404, the correction unit 123b determines whether or not the interpolation processing has been completed for all 18 columns in the vertical direction. When it is determined that all 18 columns have been completed (S404: YES), the correction unit 123b proceeds to S405 and returns to S5 of the main process, whereas when it is determined that all have not been completed (S404: NO), the process proceeds to S404a.
In S404a, the correction unit 123b moves to another column and repeats the interpolation processing from S401.

［横方向スキャン］
図３に戻り、Ｓ５では、補正部１２３ｂは、遮光画素特定処理（横方向）を行う。補正部１２３ｂは、検討枠３０１のうち、横方向（行方向）に配列された画素の画素出力を横方向にスキャンする。
図８に太線で示す範囲４０４のように、この例では、横方向に配列された画素は、左側及び右側に各３行、合計６行である。
補正部１２３ｂは、遮光画素特定処理（横方向）を、Ｓ３の遮光画素特定処理（縦方向）と同様に行う。つまり、補正部１２３ｂは、画素４０３ａから順次外側の画素を選択し、その画素出力と補間閾値Ｙｔｈとを比較して、内側の遮光画素Ｂ５を特定する。また、補正部１２３ｂは、画素４０３ｂから順次内側の画素を選択し、その画素出力と補間閾値Ｙｔｈとを比較して、外側の遮光画素Ｂ８を特定する。
補正部１２３ｂは、横方向のスキャンが６行について全て終了すると、Ｓ６に進む。 [Horizontal scan]
Returning to FIG. 3, in S 5, the correction unit 123 b performs a light-shielded pixel specifying process (horizontal direction). The correction unit 123b scans the pixel outputs of the pixels arranged in the horizontal direction (row direction) in the horizontal direction (row direction) in the examination frame 301.
In this example, as shown in a thick line 404 in FIG. 8, the pixels arranged in the horizontal direction are 3 rows each on the left side and the right side, for a total of 6 rows.
The correcting unit 123b performs the light-shielded pixel specifying process (horizontal direction) in the same manner as the light-shielded pixel specifying process (vertical direction) in S3. In other words, the correction unit 123b sequentially selects the outer pixels from the pixel 403a, compares the pixel output with the interpolation threshold Yth, and specifies the inner light-shielding pixel B5. The correcting unit 123b sequentially selects inner pixels from the pixel 403b, compares the pixel output with the interpolation threshold Yth, and specifies the outer light-shielding pixel B8.
The correction unit 123b proceeds to S6 when the horizontal scanning is completed for all the six rows.

Ｓ６では、補正部１２３ｂは、補間処理（横方向）を行う。
補正部１２３ｂは、補間処理（横方向）を、Ｓ４の補間処理（縦方向）と同様に行う。
図８の例では、遮光画素Ｂ５の１つ内側の画素Ｘ２１（座標Ｈ２１，Ｖ２１）、遮光画素Ｂ８の１つ外側の画素Ｘ２２（座標Ｈ２２，Ｖ２２）の画素出力を記憶部１１５から読み出す。これらの画素出力がそれぞれ出力Ｙ２１，Ｙ２１である場合、遮光画素Ｂ（Ｂ＝Ｂ５〜Ｂ８）の補間後の出力Ｙ（Ｙ＝Ｙ５〜Ｙ８）は、式１と同様にして、以下の式２で表すことができる。
Ｙ＝｛（Ｙ２１−Ｙ２２）×Ｈ＋（Ｙ２２×Ｈ２１−Ｙ２１×Ｈ２２）｝／（Ｈ２１−Ｈ２２）・・・式２
例えば、遮光画素Ｂ５の補間後の出力Ｙ５は、以下のようになる。
Ｙ５＝｛（Ｙ２１−Ｙ２２）×Ｈ５＋（Ｙ２２×Ｈ２１−Ｙ２１×Ｈ２２）｝／（Ｈ２１−Ｈ２２）
補正部１２３ｂは、記憶部１１５の画素出力を、補間後の画素出力に置き換える。
補正部１２３ｂは、上記補間処理を左右方向の６行全てについて終了すると、Ｓ７に進む。 In S6, the correction unit 123b performs an interpolation process (horizontal direction).
The correcting unit 123b performs the interpolation process (horizontal direction) in the same manner as the interpolation process (vertical direction) in S4.
In the example of FIG. 8, the pixel output of the pixel X21 (coordinates H21, V21) one inner side of the light shielding pixel B5 and the pixel X22 (coordinates H22, V22) one outer side of the light shielding pixel B8 is read from the storage unit 115. When these pixel outputs are outputs Y21 and Y21, respectively, the output Y (Y = Y5 to Y8) after interpolation of the light-shielded pixels B (B = B5 to B8) is the same as Expression 1 below. Can be expressed as
Y = {(Y21−Y22) × H + (Y22 × H21−Y21 × H22)} / (H21−H22) Equation 2
For example, the output Y5 after interpolation of the light shielding pixel B5 is as follows.
Y5 = {(Y21−Y22) × H5 + (Y22 × H21−Y21 × H22)} / (H21−H22)
The correction unit 123b replaces the pixel output of the storage unit 115 with the pixel output after interpolation.
When the correction unit 123b finishes the interpolation processing for all six rows in the left-right direction, the correction unit 123b proceeds to S7.

［コーナ部スキャン］
Ｓ７では、図９に示すように、補間処理部１２３は、検討枠３０１のコーナ部５０４の画素の補間を行う。
図９には、Ｓ４，Ｓ６で縦方向及び左右方向の補間が終わっている画素を空白で表す。
図９に太線で示すように、コーナ部５０４に配列された画素とは、検討枠３０１内の画素のうち４つのコーナ部５０４に配置され、前述した縦方向及び横方向の画素に含まれないものをいう。 [Corner scan]
In S 7, as illustrated in FIG. 9, the interpolation processing unit 123 performs pixel interpolation of the corner portion 504 of the examination frame 301.
In FIG. 9, pixels for which vertical and horizontal interpolations have been completed in S4 and S6 are represented by blanks.
As shown by a thick line in FIG. 9, the pixels arranged in the corner portion 504 are arranged in the four corner portions 504 among the pixels in the examination frame 301 and are not included in the above-described vertical and horizontal pixels. Say things.

特定部１２３ａは、コーナ部５０４よりも１つ右側に配置された補間済みの画素Ｘ３１を選択する。そして、特定部１２３ａは、画素Ｘ３１よりも１つ外側の画素、つまりコーナ部５０４の最も内側の画素Ｂ９を選択する。
そして、特定部１２３ａは、Ｓ３の遮光画素特定処理（縦方向）と同様に、画素４０１ａから順次外側の画素の画素出力と、補間閾値Ｙｔｈとを比較して遮光画素を特定し、また、画素４０１ｂから順次内側の画素の画素出力と、補間閾値Ｙｔｈとを比較し遮光画素を特定する。
図９の例では、特定部１２３ａは、内側の遮光画素を遮光画素Ｂ９と特定し、外側の遮光画素を遮光画素Ｂ１３と特定する。 The specifying unit 123a selects the interpolated pixel X31 arranged on the right side of the corner unit 504. Then, the specifying unit 123a selects the pixel one outer side than the pixel X31, that is, the innermost pixel B9 of the corner unit 504.
Then, the specifying unit 123a specifies the light-shielded pixel by comparing the pixel output of the pixels sequentially from the pixel 401a with the interpolation threshold Yth in the same manner as the light-shielded pixel specifying process (vertical direction) in S3. The pixel output of the inner pixel sequentially from 401b is compared with the interpolation threshold Yth to identify the light-shielded pixel.
In the example of FIG. 9, the specifying unit 123a specifies the inner light-shielding pixel as the light-shielding pixel B9 and the outer light-shielding pixel as the light-shielding pixel B13.

Ｓ８では、補正部１２３ｂは、補間処理（コーナ部）を行う。
補正部１２３ｂは、補間処理（コーナ部）を、Ｓ４の補間処理（縦方向）と同様に、線形補間によって行う。
補正部１２３ｂは、記憶部１１５の画素出力を、補間後の出力に置き換える。
なお、実施形態では、コーナ部５０４の補間処理を横方向のスキャンによって行うが、縦方向スキャンによって行ってもよい。
補正部１２３ｂは、上記補間処理をコーナ部５０４全てについて終了すると、Ｓ９に進む。 In S8, the correction unit 123b performs an interpolation process (corner unit).
The correction unit 123b performs the interpolation process (corner unit) by linear interpolation in the same manner as the interpolation process (vertical direction) in S4.
The correction unit 123b replaces the pixel output of the storage unit 115 with the output after interpolation.
In the embodiment, the interpolation processing of the corner unit 504 is performed by horizontal scanning, but may be performed by vertical scanning.
When the correction unit 123b completes the interpolation processing for all the corner units 504, the correction unit 123b proceeds to S9.

Ｓ９では、画素出力抽出部１２４は、補間処理によって置き換えられた画素出力を、記憶部１１５から抽出する。そして、撮影条件設定部１２５は、抽出した画素出力に基づいて、シーン解析を行う。抽出した画素出力は、既にＡＦ枠２０１が補間されている画像なので、撮影条件設定部１２５は、精度よくシーン解析を行うことができる。 In S 9, the pixel output extraction unit 124 extracts the pixel output replaced by the interpolation process from the storage unit 115. Then, the shooting condition setting unit 125 performs scene analysis based on the extracted pixel output. Since the extracted pixel output is an image in which the AF frame 201 has already been interpolated, the imaging condition setting unit 125 can perform scene analysis with high accuracy.

Ｓ１０では、撮影条件設定部１２５は、シーン解析結果を用いて、公知の自動露出及びオートフォーカス処理を行う。
Ｓ１１では、制御部１２０は、レリーズボタンの出力に基づいて、レリーズ操作されたか否かを判定する。制御部１２０は、レリーズ操作されたと判定した場合には（Ｓ１１：ＹＥＳ）、Ｓ１２に進み、一方、レリーズ操作されていないと判定した場合には（Ｓ１１：ＮＯ）、Ｓ１からの処理を繰り返す。
Ｓ１２では、制御部１２０は、第１撮像部１０５により撮像を行う。
Ｓ１３では、制御部１２０は、電源スイッチ等が操作されることにより、撮影終了か否かを判断する。制御部１２０は、撮影終了と判断した場合には（Ｓ１３：ＹＥＳ）、Ｓ１４に進んで一連の処理を終了し、一方、撮影終了ではないと判定した場合には（Ｓ１３：ＮＯ）、Ｓ１からの処理を繰り返す。 In S10, the photographing condition setting unit 125 performs known automatic exposure and autofocus processing using the scene analysis result.
In S11, the control unit 120 determines whether or not a release operation has been performed based on the output of the release button. When it is determined that the release operation has been performed (S11: YES), the control unit 120 proceeds to S12. On the other hand, when it is determined that the release operation has not been performed (S11: NO), the processing from S1 is repeated.
In S 12, the control unit 120 performs imaging with the first imaging unit 105.
In S 13, the control unit 120 determines whether or not shooting is finished by operating a power switch or the like. If the control unit 120 determines that the shooting has been completed (S13: YES), the process proceeds to S14 to end the series of processes. On the other hand, if it is determined that the shooting has not ended (S13: NO), the control unit 120 starts from S1. Repeat the process.

以上説明したように、本実施形態のカメラ１００は、以下の効果を奏する。
（１）第２撮像部１１２の出力に基づいて遮光画素を特定してその出力を補正するので、被写界の明るさ等に応じて遮光画素領域３０２が変化しても、遮光画素を精度よく特定し、露出条件、シーン設定等の撮影条件を精度よく設定できる。
（２）第２撮像部１１２の画素が行列状に配置されているので、ＡＦ枠２０１のような二次元のパターン形状を配置できる。
（３）そして、行列状に配置された配置された画素信号を検出して、ＡＦ枠２０１により遮光された遮光画素を特定するので、二次元のパターン形状であっても、遮光画素を特定できる。また、パターンが複雑な形状であっても特定できる。 As described above, the camera 100 of the present embodiment has the following effects.
(1) Since the light-shielded pixel is specified based on the output of the second imaging unit 112 and the output is corrected, the light-shielded pixel is accurate even if the light-shielded pixel region 302 changes according to the brightness of the object scene or the like. It can be specified well and shooting conditions such as exposure conditions and scene settings can be set accurately.
(2) Since the pixels of the second imaging unit 112 are arranged in a matrix, a two-dimensional pattern shape such as the AF frame 201 can be arranged.
(3) Since the pixel signals arranged in a matrix are detected and the light-shielded pixels shielded by the AF frame 201 are identified, the light-shielded pixels can be identified even in a two-dimensional pattern shape. . Moreover, even if a pattern is a complicated shape, it can identify.

（４）検討枠３０１の端部の画素から隣接する画素を順次検出して、ＡＦ枠２０１により遮光された画素を特定するので、第２撮像部１１２全体をスキャンする必要がないので、処理が簡単である。
（５）検出された画素信号が補間閾値Ｙｔｈ未満のときに、ＡＦ枠２０１により遮光された遮光画素であると特定するので、遮光画素の特定が容易である。また、補間閾値Ｙｔｈを検討枠３０１近傍の画素の画素出力に基づいて決定するので、実際の被写界の輝度等に応じて、適切な補間閾値Ｙｔｈに設定できる。
（６）遮光画素に隣接し補間閾値Ｙｔｈ以上と判定された画素の画素出力に基づいて補間するので、遮光画素の画素出力を、実際の被写体情報に近い出力に補正できる。
（７）遮光画素の画素出力を線形補間するので、処理が簡単である。 (4) Since adjacent pixels are sequentially detected from the pixels at the end of the examination frame 301 and the pixels shielded from light by the AF frame 201 are specified, it is not necessary to scan the entire second imaging unit 112. Simple.
(5) When the detected pixel signal is less than the interpolation threshold Yth, the pixel is identified as a light-shielded pixel shielded by the AF frame 201, so that the light-shielded pixel can be easily identified. Further, since the interpolation threshold Yth is determined based on the pixel output of the pixels in the vicinity of the examination frame 301, it can be set to an appropriate interpolation threshold Yth according to the actual luminance of the object scene.
(6) Since interpolation is performed based on the pixel output of the pixel adjacent to the light-shielded pixel and determined to be equal to or greater than the interpolation threshold Yth, the pixel output of the light-shielded pixel can be corrected to an output close to actual subject information.
(7) Since the pixel output of the light-shielded pixel is linearly interpolated, the processing is simple.

（８）コーナ部５０４は、縦方向（又は横方向）の補間処理を行った後、横方向（又は縦方向）にスキャンして補間処理を行うので、コーナ部５０４を有するＡＦ枠２０１に対しても、精度よく補間できる。 (8) The corner unit 504 performs the interpolation process in the horizontal direction (or the vertical direction) after performing the interpolation process in the vertical direction (or the horizontal direction), and therefore performs the interpolation process on the AF frame 201 having the corner unit 504. However, it can be interpolated with high accuracy.

（第２実施形態）
次に、本発明を適用した第２実施形態について説明する。
なお、以下の説明及び図面において、前述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
図１０は、第２実施形態のカメラの遮光画素特定処理及び補間処理を説明する図である。
第２実施形態では、補間処理部（図１に示す補間処理部１２３参照）は、遮光画素領域６０２の幅Ｄが一定であるとして、以下の手順で遮光画素特定処理及び補間処理を行う。 (Second Embodiment)
Next, a second embodiment to which the present invention is applied will be described.
Note that, in the following description and drawings, the same reference numerals or the same reference numerals are given to the portions that perform the same functions as those in the first embodiment described above, and overlapping descriptions will be omitted as appropriate.
FIG. 10 is a diagram for explaining the shading pixel specifying process and the interpolation process of the camera of the second embodiment.
In the second embodiment, the interpolation processing unit (see the interpolation processing unit 123 shown in FIG. 1) performs the light-shielded pixel specifying process and the interpolation process according to the following procedure, assuming that the width D of the light-shielded pixel region 602 is constant.

（１）補間処理部は、画素６０３ａ及び画素６０３ｂ間で１度だけ遮光画素特定処理を行い、遮光画素Ｂ６１，Ｂ６４を決定する。
（２）補間処理部は、遮光画素Ｂ６１の内側の画素Ｘ６１を含む周領域６０５、遮光画素Ｂ６４の外側の画素Ｘ６２を含む周領域６０６を求める。
（３）補間処理部は、その他の列及び行について遮光画素特定処理することなく、周領域６０５及び周領域６０６間の領域を、遮光画素領域６０２に設定する。
（４）補間処理部は、周領域６０５内の画素出力及び周領域６０６内の画素出力を記憶部１１５から読み出して、第１実施形態と同様に、補間処理を行う。
（５）その後の処理は、第１実施形態と同様である（図３のＳ７以降参照）。 (1) The interpolation processing unit performs the light shielding pixel specifying process only once between the pixel 603a and the pixel 603b, and determines the light shielding pixels B61 and B64.
(2) The interpolation processing unit obtains a peripheral region 605 including the pixel X61 inside the light-shielded pixel B61 and a peripheral region 606 including the pixel X62 outside the light-shielded pixel B64.
(3) The interpolation processing unit sets the area between the peripheral area 605 and the peripheral area 606 as the light-shielded pixel area 602 without performing the light-shielded pixel specifying process for the other columns and rows.
(4) The interpolation processing unit reads out the pixel output in the peripheral region 605 and the pixel output in the peripheral region 606 from the storage unit 115, and performs the interpolation processing as in the first embodiment.
(5) Subsequent processing is the same as that of the first embodiment (see S7 and thereafter in FIG. 3).

以上説明したように、本実施形態のカメラは、遮光画素特定処理を簡単に処理できる。ＡＦ枠は、明るさに応じて影響を受ける領域が変化するが、その変化する度合いは、ほぼ一定であると考えられる。このため、本実施形態のように遮光画素特定処理を行っても、精度よい特定処理を期待できる。 As described above, the camera of the present embodiment can easily perform the shading pixel specifying process. In the AF frame, the affected area changes according to the brightness, but the degree of change is considered to be substantially constant. For this reason, even if the shading pixel specifying process is performed as in the present embodiment, it is possible to expect an accurate specifying process.

なお、補間処理部は、遮光画素特定処理を上下左右の４カ所についてそれぞれ行い、その結果に基づいて、補間処理を左右上下のそれぞれの領域に対して行ってもよい。これにより、補間処理部は、遮光画素特定処理及び補間処理を、より精度よく行うことができる。 Note that the interpolation processing unit may perform the shading pixel specifying process at each of the upper, lower, left, and right four locations, and may perform the interpolation process on each of the left, right, upper, and lower regions based on the result. Thereby, the interpolation process part can perform a shading pixel specific process and an interpolation process more accurately.

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限定されるものではなく、後述する変形形態のように種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、前述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made as in the modifications described later, and these are also included in the present invention. Within the technical scope. In addition, the effects described in the embodiments are merely a list of the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments. It should be noted that the above-described embodiment and modifications described later can be used in appropriate combination, but detailed description thereof is omitted.

（変形形態）
（１）実施形態において、表示部は、ＡＦ枠を表示する例を示したが、これに限定されない。例えば、表示部は、電池残量を示すマーク等、他のパターンを表示してもよい。 (Deformation)
(1) In the embodiment, the example in which the display unit displays the AF frame has been described, but the present invention is not limited to this. For example, the display unit may display other patterns such as a mark indicating the remaining battery level.

（２）実施形態において、ＡＦ枠は、表示部に表示される例を示したが、これに限定されない。例えば、ファインダスクリーンに設けられた刻印等でもよい。 (2) In the embodiment, the example in which the AF frame is displayed on the display unit has been shown, but the present invention is not limited to this. For example, a stamp provided on the finder screen may be used.

（３）実施形態において、カメラは、一眼レフレックスである例を示したが、これに限定されない。例えば、撮像素子部として、第１撮像素子のみを有するコンパクトカメラであってもよい。この場合には、第１撮像素子の画素出力を利用して、遮光画素特定処理及び補間処理をすればよい。 (3) In the embodiment, an example in which the camera is a single-lens reflex is shown, but the present invention is not limited to this. For example, the image sensor unit may be a compact camera having only the first image sensor. In this case, the shading pixel specifying process and the interpolation process may be performed using the pixel output of the first image sensor.

（４）実施形態において、第２撮像部の撮像情報は、主に、撮影条件を設定するために利用する例を説明したが、これに限定されない。例えば、ライブビューモード時には、第２撮像部が取得した撮像情報を、被写体の観察用にモニタ表示してもよい。 (4) In the embodiment, the example in which the imaging information of the second imaging unit is mainly used for setting the imaging condition has been described, but the embodiment is not limited thereto. For example, in the live view mode, the imaging information acquired by the second imaging unit may be displayed on a monitor for observation of the subject.

（５）実施形態において、複数の画素を縦方向（列方向）及び横方向（行方向）にスキャンする例を示したが、これに限定されない。複数の画素の出力の少なくとも１列または１行から出力された画素信号を検出して、遮光画素を特定してもよい。 (5) In the embodiment, an example in which a plurality of pixels are scanned in the vertical direction (column direction) and the horizontal direction (row direction) has been described, but the present invention is not limited to this. A light-shielded pixel may be specified by detecting a pixel signal output from at least one column or one row of outputs of a plurality of pixels.

１００…カメラ１０９…表示部１１２…第２撮像部１１５…記憶部１１５ａ…検討枠記憶部１２０…制御部１２２…第２撮像制御部１２３…補間処理部１２３ａ…特定部１２３ｂ…補正部１２４…画素出力抽出部１２５…撮影条件設定部２０１…ＡＦ枠３０１…検討枠３０２，６０２…遮光画素領域 DESCRIPTION OF SYMBOLS 100 ... Camera 109 ... Display part 112 ... 2nd imaging part 115 ... Memory | storage part 115a ... Examination frame memory | storage part 120 ... Control part 122 ... 2nd imaging control part 123 ... Interpolation process part 123a ... Specific | specification part 123b ... Correction | amendment part 124 ... Pixel Output extraction unit 125 ... shooting condition setting unit 201 ... AF frame 301 ... examination frame 302, 602 ... shaded pixel region

Claims

A display unit arranged in an optical path of a photographing optical system for forming an image of subject light, and displaying a predetermined pattern;
An imaging unit having a plurality of pixels and outputting a pixel signal corresponding to the subject light imaged through the display unit;
A specific unit that detects the pixel signals output from the plurality of pixels and identifies pixels that are shielded from light by the pattern;
A correction unit that corrects a pixel signal output from the pixel specified by the specifying unit;
An imaging apparatus comprising:

The imaging device according to claim 1,
The plurality of pixels are arranged in a matrix form.

The imaging device according to claim 2,
The specifying unit detects a pixel signal output from at least one column or row among the plurality of pixels, and specifies a pixel shielded from light by the pattern.

In the imaging device according to any one of claims 1 to 3,
A storage unit for storing a predetermined pixel region so as to include pixels shielded from light by the pattern;
The specifying unit sequentially detects adjacent pixels from pixels at an end of the pixel region, and specifies pixels shielded from light by the pattern.

In the imaging device according to any one of claims 1 to 4,
The specifying unit specifies that the pixel is shielded by the pattern when the detected pixel signal is less than a predetermined threshold.

The imaging apparatus according to claim 5,
The imaging device, wherein the correction unit performs correction based on a pixel that outputs a pixel signal equal to or greater than the predetermined threshold adjacent to the pixel specified by the specifying unit.

The imaging device according to claim 6,
The correction unit corrects the pixel specified by the specifying unit by linear interpolation.

In the imaging device according to any one of claims 1 to 7,
The image pickup apparatus, wherein the pattern is a pattern for displaying a distance measurement range.