JP2008139683A - Imaging apparatus and autofocus control method - Google Patents

Imaging apparatus and autofocus control method Download PDF

Info

Publication number
JP2008139683A
JP2008139683A JP2006327171A JP2006327171A JP2008139683A JP 2008139683 A JP2008139683 A JP 2008139683A JP 2006327171 A JP2006327171 A JP 2006327171A JP 2006327171 A JP2006327171 A JP 2006327171A JP 2008139683 A JP2008139683 A JP 2008139683A
Authority
JP
Japan
Prior art keywords
evaluation value
area
region
image
contrast component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006327171A
Other languages
Japanese (ja)
Inventor
Sukeki Akakabe
祐基 明壁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006327171A priority Critical patent/JP2008139683A/en
Publication of JP2008139683A publication Critical patent/JP2008139683A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To attain stable autofocus control by computing a greater focus evaluation value for photographic images that contain a facial region. <P>SOLUTION: The photographic image is divided to a plurality of divided regions and for each divided region, horizontal and vertical contrast components (C<SB>H</SB>[i, j]) and C<SB>V</SB>[i, j] are computed so as to compute a region evaluation value (α[i, j]) by weighting and adding them. When the face region is extracted from the photographic image and the region evaluation value of the divided region, corresponding to the face region is computed, weighting coefficient for the vertical contrast component is set higher. A focus evaluation value (AF evaluation value) is obtained, by integrating the region evaluation value of each divided region included in the focus-evaluation value region (AF evaluation region) and climbing control is performed so that the focus-evaluation value takes a maximum value. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置及びそれに用いられるオートフォーカス制御方法に関する。   The present invention relates to an imaging apparatus and an autofocus control method used therefor.

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、TTL(Through The Lends)方式のコントラスト検出法を用いたオートフォーカス制御(以下、AF制御という)が一般的に用いられる。   In an imaging apparatus such as a digital still camera or a digital video camera, autofocus control (hereinafter referred to as AF control) using a TTL (Through The Lends) type contrast detection method is generally used.

このAF制御では、フレーム画像(撮影画像)内にAF評価領域(焦点評価領域)を設定し、AF評価領域内の映像信号の高域周波数成分を抽出して、抽出した高域周波数成分の積算値をAF評価値(焦点評価値)として算出する。AF評価領域内のコントラスト量が増大すれば、映像信号の高域周波数成分も増大するため、このAF評価値は、AF評価領域内のコントラスト量に概ね比例する。そして、いわゆる山登り制御を用いて、AF評価値が最大値付近で保たれるようにフォーカスレンズを駆動制御する。   In this AF control, an AF evaluation area (focus evaluation area) is set in a frame image (captured image), a high frequency component of a video signal in the AF evaluation area is extracted, and the extracted high frequency components are integrated. The value is calculated as an AF evaluation value (focus evaluation value). If the contrast amount in the AF evaluation area increases, the high frequency component of the video signal also increases. Therefore, this AF evaluation value is approximately proportional to the contrast amount in the AF evaluation area. Then, so-called hill-climbing control is used to drive and control the focus lens so that the AF evaluation value is maintained near the maximum value.

特開2003−75713号公報JP 2003-75713 A 特開2004−151608号公報JP 2004-151608 A

一般的に、撮影画像を形成する各画素の映像信号を伝送する際、撮影画像の上端から下端まで水平方向に順に走査が行われ、各画素の映像信号は、この走査順で伝送される。このため、通常、映像信号の高域周波数成分の抽出は水平方向に沿って行われ、この結果、AF評価値はAF評価領域内の画像の水平方向のコントラストを表す値となる。従って、被写体のコントラストが垂直方向に対して高くても、水平方向に対して低い場合(例えば、横縞の模様)は、得られるAF評価値が小さくなって正常にピント合わせができないという問題があった。   In general, when transmitting a video signal of each pixel forming a captured image, scanning is sequentially performed in the horizontal direction from the upper end to the lower end of the captured image, and the video signal of each pixel is transmitted in this scanning order. For this reason, normally, extraction of the high frequency component of the video signal is performed along the horizontal direction, and as a result, the AF evaluation value is a value representing the horizontal contrast of the image in the AF evaluation area. Therefore, when the contrast of the subject is high in the vertical direction but low in the horizontal direction (for example, a horizontal stripe pattern), there is a problem that the obtained AF evaluation value becomes small and focusing cannot be performed normally. It was.

この問題を解決すべく、垂直方向のコントラスト検出を利用するAF制御も提案されているが、通常、画像には水平及び垂直方向のコントラスト成分が混在しているため、垂直方向のコントラストのみを考慮していたのでは、AF制御が安定しない。   In order to solve this problem, AF control using vertical contrast detection has also been proposed. However, since the horizontal and vertical contrast components are usually mixed in the image, only the vertical contrast is considered. However, AF control is not stable.

また、様々な構図において、人物(特に、人物の顔)が被写体に含まれることが多いため、この事情をも考慮してAF制御を行うことが肝要である。   In various compositions, a person (especially a person's face) is often included in the subject. Therefore, it is important to perform AF control in consideration of this situation.

そこで本発明は、安定したオートフォーカス制御を実現する撮像装置及びオートフォーカス制御方法を提供することを目的とする。特に、人物の顔を被写体に含む時において、安定したオートフォーカス制御を実現する撮像装置及びオートフォーカス制御方法を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus and an autofocus control method that realize stable autofocus control. In particular, an object of the present invention is to provide an imaging apparatus and an autofocus control method that realize stable autofocus control when a human face is included in a subject.

上記目的を達成するために本発明に係る第1の撮像装置は、撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、前記焦点評価値算出手段は、前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出することを特徴とする。   In order to achieve the above object, a first image pickup apparatus according to the present invention has an image pickup device and an optical system for forming an optical image corresponding to a subject on the image pickup device, and obtains a shot image by shooting. Imaging means, and focus evaluation value calculation means for calculating a focus evaluation value based on a video signal of a focus evaluation area provided in the captured image, and the optical so that the focus evaluation value takes an extreme value In an imaging apparatus that performs autofocus control by driving and controlling the system, the focus evaluation value calculation unit detects a horizontal contrast component and a vertical contrast component of an image in the focus evaluation region, and performs weighted addition of the detected components. The focus evaluation value is calculated by the following.

通常、画像には水平及び垂直方向のコントラスト成分が混在しているため、上記のように構成することにより、様々な被写体に対して安定したオートフォーカス制御を実現することが可能となる。また、人物の顔には垂直方向のコントラスト成分が比較的多く含まれているため、人物の顔を被写体に含める場合において、特に安定したオートフォーカス制御を実現することが可能となる。   Usually, since the contrast components in the horizontal and vertical directions are mixed in the image, it is possible to realize stable autofocus control for various subjects by configuring as described above. In addition, since a human face includes a relatively large amount of vertical contrast components, particularly stable autofocus control can be realized when the human face is included in the subject.

例えば、前記第1の撮像装置は、前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるか否かに応じて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を変化させる。   For example, the first imaging apparatus further includes a face area extraction unit that extracts a face area from the captured image, and the focus evaluation value calculation unit determines whether the face evaluation area includes the face area. Accordingly, the degree of contribution of the vertical contrast component to the focus evaluation value is changed.

これにより、人物の顔が被写体に含まれる場合において、比較的大きな焦点評価値を得ることが可能となり、安定したオートフォーカス制御を実現することが可能となる。   Accordingly, when a human face is included in the subject, a relatively large focus evaluation value can be obtained, and stable autofocus control can be realized.

具体的には例えば、前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるとき、含まれないときに比べて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を増大させる。   Specifically, for example, the focus evaluation value calculating unit increases the contribution of the vertical contrast component to the focus evaluation value when the focus evaluation area includes the face area compared to when the face area is not included. .

また例えば、前記第1の撮像装置は、前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、前記焦点評価領域に前記顔領域が含まれるとき、前記焦点評価領域は、前記顔領域の内側の一部領域又は前記顔領域の全体領域に対応する第1領域と、前記焦点評価領域から前記第1領域を除いた第2領域と、に分類され、前記焦点評価値算出手段は、前記第1領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第1評価値と、前記第2領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第2評価値と、の和から前記焦点評価値を算出し、第1評価値に対する、前記第1領域内の画像の垂直コントラスト成分の寄与度は、第2評価値に対する、前記第2領域内の画像の垂直コントラスト成分の寄与度よりも大きい。   In addition, for example, the first imaging device further includes a face area extracting unit that extracts a face area from the captured image, and when the focus evaluation area includes the face area, the focus evaluation area is the face area. Is divided into a first region corresponding to a partial region inside or the entire region of the face region, and a second region obtained by removing the first region from the focus evaluation region, and the focus evaluation value calculating means includes: The first evaluation value corresponding to the weighted addition value of the horizontal contrast component and the vertical contrast component of the image in the first region, and the weighted addition value of the horizontal contrast component and the vertical contrast component of the image in the second region. The focus evaluation value is calculated from the sum of the second evaluation value and the contribution of the vertical contrast component of the image in the first area to the first evaluation value is within the second area with respect to the second evaluation value. Of images Greater than the contribution of the direct contrast component.

これにより、人物の顔が被写体に含まれる場合において、比較的大きな焦点評価値を得ることが可能となり、安定したオートフォーカス制御を実現することが可能となる。   Accordingly, when a human face is included in the subject, a relatively large focus evaluation value can be obtained, and stable autofocus control can be realized.

また、上記目的を達成するために本発明に係る第2の撮像装置は、撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、前記焦点評価値算出手段は、各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出することを特徴とする。   In order to achieve the above object, a second image pickup apparatus according to the present invention has an image pickup device and an optical system for forming an optical image corresponding to a subject on the image pickup device. And a focus evaluation value calculating means for calculating a focus evaluation value based on a video signal of a focus evaluation area composed of a plurality of element areas provided in the captured image, and the focus evaluation value In the imaging apparatus that performs autofocus control by driving and controlling the optical system so as to take an extreme value, the focus evaluation value calculating unit detects a horizontal contrast component and a vertical contrast component of an image in each element region, For each element region, the horizontal contrast component and the vertical contrast component are compared to calculate an element region evaluation value from the larger contrast component, and each element region evaluation value is integrated or And calculates the focus evaluation value by disproportionation.

これにより、得られる焦点評価値が大きくなり、安定したオートフォーカス制御を実現することが可能となる。また、人物の顔には垂直方向のコントラスト成分が比較的多く含まれているため、人物の顔が被写体に含まれる場合、その顔に対応する要素領域についての要素領域評価値は垂直コントラスト成分から算出されやすくなる。この結果、人物の顔が被写体に含まれる場合においては、特に得られる焦点評価値が大きくなり、安定したオートフォーカス制御を実現することが可能となる。   Thereby, the obtained focus evaluation value is increased, and stable autofocus control can be realized. In addition, since a human face includes a relatively large amount of vertical contrast components, when a human face is included in a subject, an element area evaluation value for an element area corresponding to the face is calculated from the vertical contrast component. It becomes easy to be calculated. As a result, when a person's face is included in the subject, the focus evaluation value obtained is particularly large, and stable autofocus control can be realized.

また、上記目的を達成するために本発明に係る第1のオートフォーカス制御方法は、撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出することを特徴とする。   In order to achieve the above object, a first autofocus control method according to the present invention calculates a focus evaluation value based on a video signal in a focus evaluation area provided in a captured image, and the focus evaluation value is In an autofocus control method for performing autofocus control by driving and controlling an optical system in an imaging device so as to take extreme values, the horizontal contrast component and the vertical contrast component of an image in the focus evaluation region are detected, and those detected The focus evaluation value is calculated by weighting and adding.

また、上記目的を達成するために本発明に係る第2のオートフォーカス制御方法は、撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出することを特徴とする。   In order to achieve the above object, a second autofocus control method according to the present invention calculates a focus evaluation value based on a video signal in a focus evaluation area including a plurality of element areas provided in a captured image. In the autofocus control method for performing autofocus control by driving and controlling the optical system in the imaging apparatus so that the focus evaluation value takes an extreme value, the horizontal contrast component and the vertical contrast component of the image in each element region are Detecting, comparing the horizontal contrast component and the vertical contrast component for each element region, calculating an element region evaluation value from the larger contrast component, and integrating or averaging each element region evaluation value An evaluation value is calculated.

本発明によれば、安定したオートフォーカス制御を実現する撮像装置及びオートフォーカス制御方法を提供することができる。   According to the present invention, it is possible to provide an imaging apparatus and an autofocus control method that realize stable autofocus control.

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。   The significance or effect of the present invention will become more apparent from the following description of embodiments. However, the following embodiment is merely one embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the following embodiment. .

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。   Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. In each of the drawings to be referred to, the same part is denoted by the same reference numeral, and redundant description regarding the same part is omitted in principle.

図1は、本発明の実施の形態に係る撮像装置1の全体ブロック図である。撮像装置1は、例えば、静止画及び動画を撮影可能なデジタルビデオカメラである。但し、撮像装置1は、静止画のみを撮影可能なデジタルスチルカメラであってもよい。   FIG. 1 is an overall block diagram of an imaging apparatus 1 according to an embodiment of the present invention. The imaging device 1 is, for example, a digital video camera that can capture still images and moving images. However, the imaging apparatus 1 may be a digital still camera that can capture only a still image.

撮像装置1は、撮像部11と、AFE(Analog Front End)12と、映像信号処理部13と、マイク14と、音声信号処理部15と、圧縮処理部16と、内部メモリの一例としてのSDRAM(Synchronous Dynamic Random Access Memory)17と、メモリカード18と、伸張処理部19と、映像出力回路20と、音声出力回路21と、TG(タイミングジェネレータ)22と、CPU(Central Processing Unit)23と、バス24と、バス25と、操作部26と、表示部27と、スピーカ28と、を備えている。操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。   The imaging apparatus 1 includes an imaging unit 11, an AFE (Analog Front End) 12, a video signal processing unit 13, a microphone 14, an audio signal processing unit 15, a compression processing unit 16, and an SDRAM as an example of an internal memory. (Synchronous Dynamic Random Access Memory) 17, memory card 18, decompression processing unit 19, video output circuit 20, audio output circuit 21, TG (timing generator) 22, CPU (Central Processing Unit) 23, A bus 24, a bus 25, an operation unit 26, a display unit 27, and a speaker 28 are provided. The operation unit 26 includes a recording button 26a, a shutter button 26b, an operation key 26c, and the like. Each part in the imaging apparatus 1 exchanges signals (data) between the parts via the bus 24 or 25.

まず、撮像装置1及び撮像装置1を構成する各部位の、基本的な機能について説明する。   First, basic functions of the imaging device 1 and each part constituting the imaging device 1 will be described.

TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。具体的には、タイミング制御信号は、撮像部11、映像信号処理部13、音声信号処理部15、圧縮処理部16、伸張処理部19及びCPU23に与えられる。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。   The TG 22 generates a timing control signal for controlling the timing of each operation in the entire imaging apparatus 1, and provides the generated timing control signal to each unit in the imaging apparatus 1. Specifically, the timing control signal is given to the imaging unit 11, the video signal processing unit 13, the audio signal processing unit 15, the compression processing unit 16, the expansion processing unit 19, and the CPU 23. The timing control signal includes a vertical synchronization signal Vsync and a horizontal synchronization signal Hsync.

CPU23は、撮像装置1内の各部の動作を統括的に制御する。操作部26は、ユーザによる操作を受け付ける。操作部26に与えられた操作内容は、CPU23に伝達される。SDRAM17は、フレームメモリとして機能する。撮像装置1内の各部は、必要に応じ、信号処理時に一時的に各種のデータ(デジタル信号)をSDRAM17に記録する。   The CPU 23 comprehensively controls the operation of each unit in the imaging apparatus 1. The operation unit 26 receives an operation by a user. The operation content given to the operation unit 26 is transmitted to the CPU 23. The SDRAM 17 functions as a frame memory. Each unit in the imaging apparatus 1 temporarily records various data (digital signals) in the SDRAM 17 during signal processing as necessary.

メモリカード18は、外部記録媒体であり、例えば、SD(Secure Digital)メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード18を例示しているが、外部記録媒体を、1または複数のランダムアクセス可能な記録媒体(半導体メモリ、メモリカード、光ディスク、磁気ディスク等)で構成することができる。   The memory card 18 is an external recording medium, for example, an SD (Secure Digital) memory card. In this embodiment, the memory card 18 is illustrated as an external recording medium. However, the external recording medium is composed of one or a plurality of randomly accessible recording media (semiconductor memory, memory card, optical disk, magnetic disk, etc.). can do.

図2は、図1の撮像部11の内部構成図である。撮像部11にカラーフィルタなどを用いることにより、撮像装置1は、撮影によってカラー画像を生成可能なように構成されている。   FIG. 2 is an internal configuration diagram of the imaging unit 11 of FIG. By using a color filter or the like for the imaging unit 11, the imaging device 1 is configured to generate a color image by shooting.

図2の撮像部11は、光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。光学系35は、ズームレンズ30、フォーカスレンズ31及び補正レンズ36を含む複数枚のレンズを備えて構成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能であり、補正レンズ36は、光軸に直交する2次元平面上を移動可能なように光学系35内に設置される。   The imaging unit 11 in FIG. 2 includes an optical system 35, a diaphragm 32, an imaging element 33, and a driver 34. The optical system 35 includes a plurality of lenses including a zoom lens 30, a focus lens 31, and a correction lens 36. The zoom lens 30 and the focus lens 31 are movable in the optical axis direction, and the correction lens 36 is installed in the optical system 35 so as to be movable on a two-dimensional plane orthogonal to the optical axis.

ドライバ34は、CPU23からの制御信号に基づいて、ズームレンズ30及びフォーカスレンズ31の移動を制御し、光学系35のズーム倍率や焦点距離を制御する。また、ドライバ34は、CPU23からの制御信号に基づいて絞り32の開度(開口部の大きさ)を制御する。また更に、ドライバ34は、CPU23からの手ぶれ補正制御信号に基づいて、手ぶれに由来する撮像素子33の撮像面上の光学像のぶれがキャンセルされるように、補正レンズ36の位置を制御する。   The driver 34 controls the movement of the zoom lens 30 and the focus lens 31 based on the control signal from the CPU 23, and controls the zoom magnification and focal length of the optical system 35. Further, the driver 34 controls the opening degree (size of the opening) of the diaphragm 32 based on a control signal from the CPU 23. Furthermore, the driver 34 controls the position of the correction lens 36 based on the camera shake correction control signal from the CPU 23 so that the blur of the optical image on the imaging surface of the image sensor 33 due to the camera shake is canceled.

被写体からの入射光は、光学系35を構成する各レンズ及び絞り32を介して、撮像素子33に入射する。光学系35を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。   Incident light from the subject enters the image sensor 33 through the lenses and the diaphragm 32 constituting the optical system 35. Each lens constituting the optical system 35 forms an optical image of the subject on the image sensor 33. The TG 22 generates a drive pulse for driving the image sensor 33 in synchronization with the timing control signal, and applies the drive pulse to the image sensor 33.

撮像素子33は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。撮像素子33は、光学系35及び絞り32を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。   The image sensor 33 is composed of, for example, a CCD (Charge Coupled Devices), a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like. The image sensor 33 photoelectrically converts an optical image incident through the optical system 35 and the diaphragm 32 and outputs an electrical signal obtained by the photoelectric conversion to the AFE 12. More specifically, the imaging device 33 includes a plurality of pixels (light receiving pixels; not shown) that are two-dimensionally arranged in a matrix, and in each photographing, each pixel receives a signal charge having a charge amount corresponding to the exposure time. store. The electrical signal from each pixel having a magnitude proportional to the amount of the stored signal charge is sequentially output to the subsequent AFE 12 in accordance with the drive pulse from the TG 22.

AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、映像信号処理部13に出力する。   The AFE 12 amplifies the analog signal output from the imaging unit 11 (image sensor 33), and converts the amplified analog signal into a digital signal. The AFE 12 sequentially outputs the digital signals to the video signal processing unit 13.

映像信号処理部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(以下、「撮影画像」又は「フレーム画像」ともいう)を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Yと、撮影画像の色を表す色差信号U及びVと、から構成される。映像信号処理部13にて生成された映像信号は、圧縮処理部16と映像出力回路20に送られる。   The video signal processing unit 13 generates a video signal representing an image (hereinafter also referred to as “captured image” or “frame image”) captured by the imaging unit 11 based on the output signal of the AFE 12. The video signal is composed of a luminance signal Y representing the luminance of the photographed image and color difference signals U and V representing the color of the photographed image. The video signal generated by the video signal processing unit 13 is sent to the compression processing unit 16 and the video output circuit 20.

図3に映像信号処理部13の内部ブロック図を示す。映像信号処理部13は、AE評価部41と、AF評価部42、顔検出部43及び動き検出部44を含む。   FIG. 3 shows an internal block diagram of the video signal processing unit 13. The video signal processing unit 13 includes an AE evaluation unit 41, an AF evaluation unit 42, a face detection unit 43, and a motion detection unit 44.

AE評価部41は、撮影画像の明るさに応じたAE評価値を算出する。CPU23は、AE評価値に応じて図2のドライバ34を介して絞り32の開度(及び必要に応じてAFE12における信号増幅の増幅度)を調節することにより、受光量(画像の明るさ)を制御する。   The AE evaluation unit 41 calculates an AE evaluation value corresponding to the brightness of the captured image. The CPU 23 adjusts the opening of the diaphragm 32 (and the amplification degree of signal amplification in the AFE 12 as necessary) via the driver 34 of FIG. 2 according to the AE evaluation value, thereby receiving the received light amount (brightness of the image). To control.

AF評価部(焦点評価値算出手段)42は、撮影画像に設けられたAF評価領域(焦点評価領域)内の画像のコントラスト量に応じたAF評価値(焦点評価値)を算出する。CPU23は、AF評価値に応じて図2のドライバ34を介してフォーカスレンズ31の位置を制御することにより、AF評価領域に収まる被写体の光学像を撮像素子33の撮像面上に結像させる。AF評価部42の機能については後に詳説する。   The AF evaluation unit (focus evaluation value calculation means) 42 calculates an AF evaluation value (focus evaluation value) according to the contrast amount of the image in the AF evaluation area (focus evaluation area) provided in the captured image. The CPU 23 controls the position of the focus lens 31 via the driver 34 in FIG. 2 according to the AF evaluation value, thereby forming an optical image of the subject that falls within the AF evaluation area on the imaging surface of the image sensor 33. The function of the AF evaluation unit 42 will be described in detail later.

顔検出部43は、各撮影画像の中から人物の顔を検出して、顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部43は何れの手法をも採用可能である。例えば、特開2000−105819号公報に記載の手法のように撮影画像から肌色領域を抽出することによって顔(顔領域)を検出しても良いし、特開2006−211139号公報又は特開2006−72770号公報に記載の手法を用いて顔(顔領域)を検出しても良い。   The face detection unit 43 detects a human face from each captured image and extracts a face area including the face. Various methods are known as methods for detecting a face included in an image, and the face detection unit 43 can employ any method. For example, a face (face area) may be detected by extracting a skin color area from a photographed image as in the method described in Japanese Patent Application Laid-Open No. 2000-105819, or Japanese Patent Application Laid-Open No. 2006-21139 or Japanese Patent Application Laid-Open No. 2006. A face (face area) may be detected using the method described in Japanese Patent No. -72770.

典型的には例えば、入力画像(即ち、撮影画像)内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か(着目領域が顔領域であるか否か)を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。   Typically, for example, the similarity between both images is determined by comparing the image of the region of interest set in the input image (that is, the captured image) with a reference face image having a predetermined image size. Based on this, it is detected whether or not a face is included in the region of interest (whether or not the region of interest is a face region). The similarity determination is performed by extracting a feature amount effective for identifying whether the face is a face. The feature amount is a horizontal edge, a vertical edge, a right diagonal edge, a left diagonal edge, or the like.

入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて1画素ずつずらされながら、更新設定される。   In the input image, the region of interest is shifted in the horizontal direction or the vertical direction pixel by pixel. Then, the image of the region of interest after the shift is compared with the reference face image, the similarity between both images is determined again, and the same detection is performed. In this way, the region of interest is updated and set, for example, while being shifted pixel by pixel from the upper left to the lower right of the input image.

また、入力画像(即ち、撮影画像)を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。   Further, the input image (that is, the photographed image) is reduced at a certain rate, and the same face detection process is performed on the reduced image. By repeating such processing, a face of any size can be detected from the input image.

動き検出部44は、例えば、公知の画像マッチング法(例えば、ブロックマッチング法や代表点マッチング法)を用い、隣接するフレーム画像間において映像信号を対比することにより、隣接するフレーム画像間における動きベクトルを検出する。この動きベクトルは、隣接するフレーム画像間における、画像の動きの大きさ及び向きを特定する。CPU23は、順次算出される動きベクトルに基づき手ぶれ補正制御信号を生成して、図2の補正レンズ36の位置を制御することにより手ぶれ補正を実施する。   The motion detection unit 44 uses, for example, a known image matching method (for example, a block matching method or a representative point matching method) and compares the video signals between the adjacent frame images, thereby moving the motion vector between the adjacent frame images. Is detected. This motion vector specifies the magnitude and direction of image motion between adjacent frame images. The CPU 23 performs camera shake correction by generating a camera shake correction control signal based on sequentially calculated motion vectors and controlling the position of the correction lens 36 in FIG.

図1のマイク14は、外部から与えられた音声(音)を、アナログの電気信号に変換して出力する。音声信号処理部15は、マイク14から出力される電気信号(音声アナログ信号)をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク14に対して入力された音声を表す音声信号として圧縮処理部16に送られる。   The microphone 14 in FIG. 1 converts audio (sound) given from the outside into an analog electric signal and outputs it. The audio signal processing unit 15 converts an electrical signal (audio analog signal) output from the microphone 14 into a digital signal. The digital signal obtained by this conversion is sent to the compression processing unit 16 as an audio signal representing the audio input to the microphone 14.

圧縮処理部16は、映像信号処理部13からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード18に送られる。また、圧縮処理部16は、音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード18に送られる。   The compression processing unit 16 compresses the video signal from the video signal processing unit 13 using a predetermined compression method. During video or still image shooting, the compressed video signal is sent to the memory card 18. The compression processing unit 16 compresses the audio signal from the audio signal processing unit 15 using a predetermined compression method. At the time of moving image shooting, the video signal from the video signal processing unit 13 and the audio signal from the audio signal processing unit 15 are compressed while being temporally related to each other by the compression processing unit 16, and after compression, they are stored in the memory card 18. Sent to.

録画ボタン26aは、ユーザが動画(動画像)の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン26bは、ユーザが静止画(静止画像)の撮影を指示するための押しボタンスイッチである。   The recording button 26a is a push button switch for the user to instruct the start and end of shooting of a moving image (moving image), and the shutter button 26b is a button for the user to instruct shooting of a still image (still image). It is a button switch.

撮像装置1の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード18に格納された動画または静止画を表示部27に再生表示する再生モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。   The operation mode of the imaging apparatus 1 includes a shooting mode capable of shooting moving images and still images, and a playback mode for reproducing and displaying moving images or still images stored in the memory card 18 on the display unit 27. Transition between the modes is performed according to the operation on the operation key 26c.

撮影モードでは、所定のフレーム周期(例えば、1/60秒)にて順次撮影が行われる。撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介してメモリカード18に記録される。再度、録画ボタン26aを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード18への記録は終了し、1つの動画の撮影は完了する。   In the shooting mode, shooting is sequentially performed at a predetermined frame period (for example, 1/60 seconds). When the user presses the recording button 26a in the shooting mode, under the control of the CPU 23, the video signal of each frame after the pressing and the corresponding audio signal are sequentially recorded on the memory card 18 via the compression processing unit 16. Is done. When the recording button 26a is pressed again, the moving image shooting ends. That is, recording of the video signal and the audio signal to the memory card 18 is completed, and shooting of one moving image is completed.

また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画の撮影が行われる。具体的には、CPU23の制御の下、その押下後の1つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部16を介してメモリカード18に記録される。   In the shooting mode, when the user presses the shutter button 26b, a still image is shot. Specifically, under the control of the CPU 23, the video signal of one frame after the depression is recorded on the memory card 18 via the compression processing unit 16 as a video signal representing a still image.

再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、メモリカード18に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部19に送られる。伸張処理部19は、受け取った映像信号を伸張して映像出力回路20に送る。また、撮影モードにおいては、通常、録画ボタン26a又はシャッタボタン26bの押下の有無に関わらず、撮像部11による撮影画像の取得及び映像信号処理13による映像信号の生成が逐次行われており、所謂プレビューを行うべく、その映像信号は映像出力回路20に送られる。   When the user performs a predetermined operation on the operation key 26 c in the reproduction mode, a compressed video signal representing a moving image or a still image recorded on the memory card 18 is sent to the expansion processing unit 19. The decompression processing unit 19 decompresses the received video signal and sends it to the video output circuit 20. In the shooting mode, usually, the captured image is acquired by the imaging unit 11 and the video signal is generated by the video signal processing 13 regardless of whether the recording button 26a or the shutter button 26b is pressed. The video signal is sent to the video output circuit 20 for previewing.

映像出力回路20は、与えられたデジタルの映像信号を表示部27で表示可能な形式の映像信号(例えば、アナログの映像信号)に変換して出力する。表示部27は、液晶ディスプレイなどの表示装置であり、映像出力回路20から出力された映像信号に応じた画像を表示する。   The video output circuit 20 converts a given digital video signal into a video signal (for example, an analog video signal) in a format that can be displayed on the display unit 27 and outputs the video signal. The display unit 27 is a display device such as a liquid crystal display, and displays an image corresponding to the video signal output from the video output circuit 20.

また、再生モードにおいて動画を再生する際、メモリカード18に記録された動画に対応する圧縮された音声信号も、伸張処理部19に送られる。伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。   When a moving image is reproduced in the reproduction mode, a compressed audio signal corresponding to the moving image recorded on the memory card 18 is also sent to the expansion processing unit 19. The decompression processing unit 19 decompresses the received audio signal and sends it to the audio output circuit 21. The audio output circuit 21 converts a given digital audio signal into an audio signal in a format that can be output by the speaker 28 (for example, an analog audio signal) and outputs the audio signal to the speaker 28. The speaker 28 outputs the sound signal from the sound output circuit 21 to the outside as sound (sound).

図1の撮像装置1は、特徴的なオートフォーカス制御(AF制御)を行う。図4は、AF制御に特に関与する部分に対応する、撮像装置1の一部ブロック図である。図4には、図3のAF評価部42の内部構成が示されている。   The imaging apparatus 1 in FIG. 1 performs characteristic autofocus control (AF control). FIG. 4 is a partial block diagram of the imaging apparatus 1 corresponding to a part particularly related to AF control. FIG. 4 shows an internal configuration of the AF evaluation unit 42 of FIG.

図4のAF評価部42は、水平コントラスト成分検出部51と、垂直コントラスト成分検出部52と、領域評価値算出部53と、積算部54と、加算比率制御部55と、を有する。水平コントラスト成分検出部51、垂直コントラスト成分検出部52及び顔検出部43には、撮影画像を表す撮影画像データが与えられる。撮影画像データは、上記の映像信号にて形成される。   The AF evaluation unit 42 in FIG. 4 includes a horizontal contrast component detection unit 51, a vertical contrast component detection unit 52, a region evaluation value calculation unit 53, an integration unit 54, and an addition ratio control unit 55. The horizontal contrast component detection unit 51, the vertical contrast component detection unit 52, and the face detection unit 43 are provided with captured image data representing a captured image. The captured image data is formed by the video signal described above.

AF評価部42において、各撮影画像は、垂直方向にM分割且つ水平方向にN分割して捉えられる。このため、各撮影画像は、(M×N)個の分割領域に分割して考えられる。M及びNは、それぞれ2以上の整数である。MとNは、一致していても一致していなくてもよい。   In the AF evaluation unit 42, each captured image is captured by dividing it into M in the vertical direction and N in the horizontal direction. For this reason, each captured image is considered to be divided into (M × N) divided regions. M and N are each an integer of 2 or more. M and N may or may not match.

図5に、各撮影画像の分割の様子を示す。(M×N)個の分割領域をM行N列の行列として捉え、撮影画像の原点Oを基準として、各分割領域をAR[i,j]にて表す。ここで、i及びjは、1≦i≦M且つ1≦j≦N、を満たす各整数をとる。iが同じ分割領域AR[i,j]は、同一の水平ライン上の画素から構成され、jが同じ分割領域AR[i,j]は、同一の垂直ライン上の画素から構成される。   FIG. 5 shows how each captured image is divided. The (M × N) divided areas are regarded as a matrix of M rows and N columns, and each divided area is represented by AR [i, j] with the origin O of the captured image as a reference. Here, i and j are integers that satisfy 1 ≦ i ≦ M and 1 ≦ j ≦ N. Divided areas AR [i, j] with the same i are composed of pixels on the same horizontal line, and divided areas AR [i, j] with the same j are composed of pixels on the same vertical line.

AF評価部42は、1つの撮影画像から1つのAF評価値を算出し、AF制御を実現すべく、各撮影画像について算出した各AF評価値を、順次、CPU23に伝達する。   The AF evaluation unit 42 calculates one AF evaluation value from one captured image, and sequentially transmits each AF evaluation value calculated for each captured image to the CPU 23 in order to realize AF control.

[AF評価値の算出手法]
着目した1つの撮影画像から1つのAF評価値を算出する動作について説明する。
[AF evaluation value calculation method]
An operation for calculating one AF evaluation value from one taken image of interest will be described.

水平コントラスト成分検出部51は、撮影画像を形成する分割領域ごとに、分割領域内の画像の水平方向のコントラスト成分(以下、水平コントラスト成分という)を算出する。分割領域AR[i,j]について算出された、その水平コントラスト成分をCH[i,j]にて表す。 The horizontal contrast component detection unit 51 calculates a horizontal contrast component (hereinafter referred to as a horizontal contrast component) of the image in the divided area for each divided area forming the captured image. The horizontal contrast component calculated for the divided area AR [i, j] is represented by C H [i, j].

分割領域AR[i,j]に関し、水平コントラスト成分CH[i,j]は、当該分割領域AR[i,j]内の画像についての映像信号に基づいて算出される。 For the divided area AR [i, j], the horizontal contrast component C H [i, j] is calculated based on the video signal for the image in the divided area AR [i, j].

図6(a)に、水平コントラスト成分検出部51の内部ブロック図の一例を示す。図6の水平コントラスト成分検出部51は、抽出部61、HPF(ハイパスフィルタ)62及び積算部63から成る。   FIG. 6A shows an example of an internal block diagram of the horizontal contrast component detection unit 51. The horizontal contrast component detection unit 51 in FIG. 6 includes an extraction unit 61, an HPF (high pass filter) 62, and an integration unit 63.

分割領域AR[1,1]についての水平コントラスト成分CH[1,1]を算出する際、抽出部61は、当該分割領域AR[1,1]内の輝度信号を抽出し、HPF62は、抽出された輝度信号中の、水平方向における所定の高域周波数成分を抽出し、積算部63は、抽出された高域周波数成分を積算(又は平均化)することにより水平コントラスト成分CH[1,1]を算出する。単純には例えば、HPF62は、水平方向に隣接する画素間の輝度値の差分の絶対値を算出し、積算部63は、分割領域AR[1,1]内で算出された各絶対値を積算(又は平均化)することにより水平コントラスト成分CH[1,1]を算出する。他の分割領域AR[i,j]についても同様である。尚、輝度値とは、輝度信号の値であり、或る画素に関し、輝度値が増加するに従って該画素の輝度(明るさ)は増大する。 When calculating the horizontal contrast component C H [1,1] for the divided area AR [1,1], the extraction unit 61 extracts the luminance signal in the divided area AR [1,1], and the HPF 62 A predetermined high-frequency component in the horizontal direction is extracted from the extracted luminance signal, and the integrating unit 63 integrates (or averages) the extracted high-frequency components, thereby obtaining a horizontal contrast component C H [1. , 1]. For example, for example, the HPF 62 calculates the absolute value of the difference in luminance value between pixels adjacent in the horizontal direction, and the integration unit 63 integrates each absolute value calculated in the divided area AR [1, 1]. The horizontal contrast component C H [1,1] is calculated by (or averaging). The same applies to the other divided areas AR [i, j]. Note that the luminance value is the value of the luminance signal. For a certain pixel, the luminance (brightness) of the pixel increases as the luminance value increases.

算出された水平コントラスト成分CH[i,j]は、分割領域AR[i,j]内の画像の水平方向のコントラストに概ね比例し、該コントラストが増大するにつれて増大する。 The calculated horizontal contrast component C H [i, j] is approximately proportional to the horizontal contrast of the image in the divided area AR [i, j] and increases as the contrast increases.

垂直コントラスト成分検出部52は、撮影画像を形成する分割領域ごとに、分割領域内の画像の垂直方向のコントラスト成分(以下、垂直コントラスト成分という)を算出する。分割領域AR[i,j]について算出された、その垂直コントラスト成分をCV[i,j]にて表す。 The vertical contrast component detection unit 52 calculates a vertical contrast component (hereinafter referred to as a vertical contrast component) of the image in the divided area for each divided area forming the captured image. The vertical contrast component calculated for the divided area AR [i, j] is represented by C V [i, j].

分割領域AR[i,j]に関し、垂直コントラスト成分CV[i,j]は、当該分割領域AR[i,j]内の画像についての映像信号に基づいて算出される。 For the divided area AR [i, j], the vertical contrast component C V [i, j] is calculated based on the video signal for the image in the divided area AR [i, j].

図6(b)に、垂直コントラスト成分検出部52の内部ブロック図の一例を示す。図6の垂直コントラスト成分検出部52は、抽出部64、HPF(ハイパスフィルタ)65及び積算部66から成る。   FIG. 6B shows an example of an internal block diagram of the vertical contrast component detection unit 52. The vertical contrast component detection unit 52 in FIG. 6 includes an extraction unit 64, an HPF (high pass filter) 65, and an integration unit 66.

分割領域AR[1,1]についての垂直コントラスト成分CV[1,1]を算出する際、抽出部64は、当該分割領域AR[1,1]内の輝度信号を抽出し、HPF65は、抽出された輝度信号中の、垂直方向における所定の高域周波数成分を抽出し、積算部66は、抽出された高域周波数成分を積算(又は平均化)することにより垂直コントラスト成分CV[1,1]を算出する。単純には例えば、HPF65は、垂直方向に隣接する画素間の輝度値の差分の絶対値を算出し、積算部66は、分割領域AR[1,1]内で算出された各絶対値を積算(又は平均化)することにより垂直コントラスト成分CV[1,1]を算出する。他の分割領域AR[i,j]についても同様である。 When calculating the vertical contrast component C V [1,1] for the divided area AR [1,1], the extraction unit 64 extracts the luminance signal in the divided area AR [1,1], and the HPF 65 A predetermined high frequency component in the vertical direction is extracted from the extracted luminance signal, and the integrating unit 66 integrates (or averages) the extracted high frequency components, thereby obtaining a vertical contrast component C V [1. , 1]. Simply, for example, the HPF 65 calculates the absolute value of the difference in luminance value between pixels adjacent in the vertical direction, and the integration unit 66 integrates each absolute value calculated in the divided area AR [1, 1]. The vertical contrast component C V [1,1] is calculated by (or averaging). The same applies to the other divided areas AR [i, j].

算出された垂直コントラスト成分CV[i,j]は、分割領域AR[i,j]内の画像の垂直方向のコントラストに概ね比例し、該コントラストが増大するにつれて増大する。 The calculated vertical contrast component C V [i, j] is approximately proportional to the contrast in the vertical direction of the image in the divided area AR [i, j], and increases as the contrast increases.

分割領域ごとに算出された水平コントラスト成分(即ち、CH[i,j])及び垂直コントラスト成分(即ち、CV[i,j])は、領域評価値算出部53に送られる。領域評価値算出部53は、分割領域ごとに、水平コントラスト成分と垂直コントラスト成分を加重加算(重み付け加算)することにより領域評価値を算出する。分割領域AR[i,j]について算出される領域評価値を、α[i,j]で表すとする。そうすると、領域評価値α[i,j]は、下記式(1)に従って算出される。
α[i,j]=kH[i,j]×CH[i,j]+kV[i,j]×CV[i,j]
・・・(1)
The horizontal contrast component (that is, C H [i, j]) and the vertical contrast component (that is, C V [i, j]) calculated for each divided region are sent to the region evaluation value calculation unit 53. The region evaluation value calculation unit 53 calculates a region evaluation value by performing weighted addition (weighted addition) of the horizontal contrast component and the vertical contrast component for each divided region. Assume that an area evaluation value calculated for the divided area AR [i, j] is represented by α [i, j]. Then, the region evaluation value α [i, j] is calculated according to the following formula (1).
α [i, j] = k H [i, j] × C H [i, j] + k V [i, j] × C V [i, j]
... (1)

ここで、kH[i,j]及びkV[i,j]は、加算比率制御部55によって分割領域ごとに算出された重み付け係数であり、それらによってα[i,j]を生成する際における、CH[i,j]とCV[i,j]の加算比率(寄与度)が表される。重み付け係数kH[i,j]及びkV[i,j]の決定手法については後述する。 Here, k H [i, j] and k V [i, j] are weighting coefficients calculated for each divided region by the addition ratio control unit 55, and when α [i, j] is generated by them. The addition ratio (contribution) of C H [i, j] and C V [i, j] is represented. A method for determining the weighting coefficients k H [i, j] and k V [i, j] will be described later.

積算部54は、指定されたAF評価領域内の分割領域についての領域評価値α[i,j]を積算(或いは平均化)することにより、AF評価値を算出する。例えば、AF評価領域が、分割領域AR[5,5]、AR[5,6]、AR[6,5]及びAR[6,6]の合計領域と一致する場合、領域評価値α[5,5]、α[5,6]、α[6,5]及びα[6,6]の総和(又は平均値)を、AF評価値として算出する。   The integrating unit 54 calculates an AF evaluation value by integrating (or averaging) the area evaluation values α [i, j] for the divided areas in the designated AF evaluation area. For example, when the AF evaluation area matches the total area of the divided areas AR [5,5], AR [5,6], AR [6,5], and AR [6,6], the area evaluation value α [5 , 5], α [5, 6], α [6, 5] and α [6, 6] are calculated as AF evaluation values.

AF評価領域は、例えば、顔検出部43によって抽出された顔領域に基づいて設定される。この場合において、例えば、顔領域が分割領域AR[5,5]、AR[5,6]、AR[6,5]及びAR[6,6]と重なる場合、分割領域AR[5,5]、AR[5,6]、AR[6,5]及びAR[6,6]の合計領域をAF評価領域とする、或いは、該合計領域を含む領域をAF評価領域とする。これに代えて例えば、AF評価領域を、撮影画像の全体領域又は予め定めた一部領域としてもよい。また例えば、AF評価領域を、図1の操作部26に対する所定操作によって任意に設定できるようにしてもよい。   The AF evaluation area is set based on the face area extracted by the face detection unit 43, for example. In this case, for example, when the face area overlaps with the divided areas AR [5,5], AR [5,6], AR [6,5] and AR [6,6], the divided area AR [5,5] , AR [5,6], AR [6,5] and AR [6,6] are set as AF evaluation areas, or an area including the total area is set as an AF evaluation area. Instead of this, for example, the AF evaluation area may be the entire area of the captured image or a predetermined partial area. Further, for example, the AF evaluation area may be arbitrarily set by a predetermined operation on the operation unit 26 in FIG.

[加算比率制御部による重み付け係数の決定手法]
加重比率制御部55による重み付け係数kH[i,j]及びkV[i,j]の決定手法について説明する。
[Method of determining weighting coefficient by addition ratio control unit]
A method for determining the weighting coefficients k H [i, j] and k V [i, j] by the weight ratio control unit 55 will be described.

TTL(Through The Lends)方式のコントラスト検出法を用いたAF制御では、通常、水平コントラスト成分のみが利用されるが、撮影画像に含まれる水平コントラスト成分が低い場合、正しく被写体にピントを合わせることができない場合がある。一方において、目や口などの顔を構成する顔パーツについての画像は、通常、垂直コントラスト成分を多く含む。例えば、口の周辺に着目した場合、口の長手方向を横切る方向(即ち、垂直方向)に、画像の濃淡の変化成分が多く含まれるからである(図7(a)参照)。   In AF control using a TTL (Through The Lends) type contrast detection method, only the horizontal contrast component is normally used. However, when the horizontal contrast component included in the photographed image is low, the subject can be correctly focused. There are cases where it is not possible. On the other hand, an image of face parts constituting a face such as eyes and mouth usually contains a lot of vertical contrast components. For example, when attention is paid to the periphery of the mouth, many components of change in the density of the image are included in the direction crossing the longitudinal direction of the mouth (that is, the vertical direction) (see FIG. 7A).

これに着目し、本実施形態では、顔領域に対応する分割領域AR[i,j]に対する重み付け係数kV[i,j]を比較的大きくする。 Focusing on this, in the present embodiment, the weighting coefficient k V [i, j] for the divided area AR [i, j] corresponding to the face area is made relatively large.

具体例を挙げる。説明の具体化のため、今、M=N=8、であるとし、且つ、AF評価領域が撮影画像の全体領域と一致する場合を考える。そして、図7(a)に示す如く、或る撮影画像において、顔検出部43によって抽出された顔領域が、iA=2、3、4、5、6又は7且つjA=2、3、4、5、6又は7とした場合における合計36個の分割領域AR[iA,jA]の合計領域100と一致しているとする。また、図7(a)に示す如く、顔領域は、顔全体を含むものとする。 A specific example is given. For the sake of concrete description, it is assumed that M = N = 8 and the AF evaluation area matches the entire area of the captured image. Then, as shown in FIG. 7A, in a certain captured image, the face area extracted by the face detection unit 43 is i A = 2, 3, 4, 5, 6 or 7 and j A = 2, 3 It is assumed that the total area 100 of the 36 divided areas AR [i A , j A ] in the case of 4, 5, 6 or 7 coincides. Further, as shown in FIG. 7A, the face area includes the entire face.

加重比率制御部55は、抽出された顔領域(即ち、合計領域100)の画像上の位置及びサイズに基づいて、各分割領域AR[i,j]を、領域評価値に対する垂直コントラスト成分の寄与度を比較的大きくする高垂直寄与領域と、領域評価値に対する垂直コントラスト成分の寄与度を比較的小さくする低垂直寄与領域とに、分類する。   The weight ratio control unit 55 determines the contribution of the vertical contrast component to the region evaluation value for each divided region AR [i, j] based on the position and size of the extracted face region (that is, the total region 100) on the image. A high vertical contribution region in which the degree is relatively large and a low vertical contribution region in which the contribution of the vertical contrast component to the region evaluation value is relatively small.

例えば、合計領域100を形成する合計36個の各分割領域AR[iA,jA]を高垂直寄与領域に分類し、合計領域100外の合計28個の各分割領域(AR[1,1]、AR[1,2]、AR[2,1]等)を低垂直寄与領域に分類する。或いは、図7(b)に示す如く、顔領域の内側の一部領域101を形成する各分割領域のみを高垂直寄与領域に分類し、その他の各分割領域を低垂直寄与領域に分類するようにしてもよい。これにより、特に垂直コントラスト成分が大きい、目や口などの顔パーツが集中している領域のみが高垂直寄与領域に分類されるようになる。一部領域101は、iB=3、4、5又は6且つjB=3、4、5又は6とした場合における合計16個の分割領域AR[iB,jB]から形成される。 For example, a total of 36 divided areas AR [i A , j A ] forming the total area 100 are classified as high vertical contribution areas, and a total of 28 divided areas (AR [1,1] outside the total area 100 are included. ], AR [1,2], AR [2,1], etc.) are classified into low vertical contribution regions. Alternatively, as shown in FIG. 7B, only the divided areas forming the partial area 101 inside the face area are classified as high vertical contribution areas, and the other divided areas are classified as low vertical contribution areas. It may be. As a result, only a region having a particularly large vertical contrast component and concentrated facial parts such as eyes and mouth is classified as a high vertical contribution region. The partial area 101 is formed from a total of 16 divided areas AR [i B , j B ] when i B = 3, 4, 5 or 6 and j B = 3, 4, 5 or 6.

そして、高垂直寄与領域に分類された各分割領域AR[i,j]に対する重み付け係数kH[i,j]及びkV[i,j]を、夫々、kH1及びkV1とし、低垂直寄与領域に分類された各分割領域AR[i,j]に対する重み付け係数kH[i,j]及びkV[i,j]を、夫々、kH2及びkV2とする。ここで、不等式「kV1/(kH1+kV1)>kV2/(kH2+kV2)」が成立する(kV1、kH1、kV2及びkH2は、正の数)。 Then, the weighting coefficients k H [i, j] and k V [i, j] for each divided area AR [i, j] classified as the high vertical contribution area are set to k H1 and k V1 , respectively. The weighting coefficients k H [i, j] and k V [i, j] for each divided area AR [i, j] classified as the contribution area are k H2 and k V2 , respectively. Here, the inequality “k V1 / (k H1 + k V1 )> k V2 / (k H2 + k V2 )” holds (k V1 , k H1 , k V2, and k H2 are positive numbers).

これにより、高垂直寄与領域に分類された分割領域の領域評価値(例えば、α[3,3])に対する垂直コントラスト成分(例えば、CV[3,3])の寄与度は、低垂直寄与領域に分類された分割領域の領域評価値(例えば、α[1,1])に対する垂直コントラスト成分(例えば、CV[1,1])の寄与度よりも、大きくなる。前者の寄与度(加算比率)は、kV1/(kH1+kV1)にて表すことができ、後者の寄与度(加算比率)は、kV2/(kH2+kV2)にて表すことができる。この結果、顔領域に対応する分割領域に対する領域評価値が増大する方向に向かう。 Thereby, the contribution degree of the vertical contrast component (for example, C V [3, 3]) to the region evaluation value (for example, α [3, 3]) of the divided region classified as the high vertical contribution region is set to the low vertical contribution. The degree of contribution of the vertical contrast component (for example, C V [1,1]) to the region evaluation value (for example, α [1,1]) of the divided region classified as the region is larger. The former contribution (addition ratio) can be expressed by k V1 / (k H1 + k V1 ), and the latter contribution (addition ratio) can be expressed by k V2 / (k H2 + k V2 ). it can. As a result, the area evaluation value for the divided area corresponding to the face area increases.

尚、高垂直寄与領域に分類された各分割領域AR[i,j]間で、重み付け係数kH[i,j]及びkV[i,j]を異ならせるようにしてもよい。即ち、例えば、分割領域AR[3,3]及びAR[3,4]が高垂直寄与領域に分類される場合において、kH[3,3]≠kH[3,4]、kV[3,3]≠kV[3,4]、となるように、各重み付け係数を設定しても良い。 Note that the weighting coefficients k H [i, j] and k V [i, j] may be different between the divided areas AR [i, j] classified as the high vertical contribution areas. That is, for example, when the divided areas AR [3, 3] and AR [3,4] are classified as high vertical contribution areas, k H [3, 3] ≠ k H [3,4], k V [ Each of the weighting coefficients may be set such that 3, 3] ≠ k V [3,4].

また仮に、AF評価領域内に顔領域が含まれない場合、全ての分割領域AR[i,j]に対する重み付け係数kH[i,j]及びkV[i,j]は、夫々、kH2及びkV2とされる。従って、上述の説明からも明らかではあるが、AF評価領域内に顔領域が含まれる場合、顔領域が含まれない場合と比べて、AF評価値に対するAF評価領域内の垂直コントラスト成分の寄与度は大きくなる。 If no face area is included in the AF evaluation area, the weighting coefficients k H [i, j] and k V [i, j] for all the divided areas AR [i, j] are k H2, respectively. And k V2 . Therefore, as is clear from the above description, when the face area is included in the AF evaluation area, the degree of contribution of the vertical contrast component in the AF evaluation area to the AF evaluation value compared to the case where the face area is not included. Will grow.

[動作フローチャート]
次に、静止画撮影に着目した、撮像装置1の動作の流れを説明する。図8は、この流れを表すフローチャートである。
[Operation flowchart]
Next, an operation flow of the imaging apparatus 1 focusing on still image shooting will be described. FIG. 8 is a flowchart showing this flow.

まず、撮影モードに移行すると、ステップS1において所謂プレビューが開始される。プレビューにおいては、所定のフレーム周期にて順次撮影される撮影画像に基づく表示画像が表示部27に更新表示される。そして、続くステップS2において、山登り制御を実行開始する(或いは実行する)。山登り制御の実行中では、各撮影画像について算出されるAF評価値が最大値(或いは極大値)付近に保たれるようにフォーカスレンズ31の位置(以下、「レンズ位置」という)が駆動制御される。   First, when transitioning to the shooting mode, so-called preview is started in step S1. In the preview, a display image based on captured images sequentially captured at a predetermined frame period is updated and displayed on the display unit 27. Then, in the subsequent step S2, the hill climbing control is started (or executed). During the hill-climbing control, the position of the focus lens 31 (hereinafter referred to as “lens position”) is driven and controlled so that the AF evaluation value calculated for each captured image is maintained near the maximum value (or maximum value). The

次に、ステップS3において、CPU23は、ポートレート設定がオンとなっているか否かを確認する。ポートレート設定をオンとする操作は、操作部26によって受け付けられる。ポートレート設定がオンとなっているとき、人物の撮影に適した撮影及び画像処理がなされる。このため、ユーザは、人物の撮影を行おうとする時、ポートレート設定をオンとすることが多い。   Next, in step S3, the CPU 23 checks whether the portrait setting is on. An operation for turning on the portrait setting is accepted by the operation unit 26. When the portrait setting is on, shooting and image processing suitable for shooting a person are performed. For this reason, the user often turns on the portrait setting when shooting a person.

ポートレート設定がオンとなっている場合は、図4の顔検出部43による顔領域の検出を実行し(ステップS4)、ポートレート設定がオンとなっていない場合は、顔検出部43による顔領域の検出を休止する(ステップS5)。そして、ステップS6において、CPU23は、図1のシャッタボタン26bが押下されたか否かを確認する。シャッタボタン26bが押下された場合はステップS7に移行する一方、押下されていない場合はステップS2に戻る。尚、ステップS3の処理を省略し、常に、顔領域の検出を行うようにしてもよい。   If the portrait setting is on, the face detection unit 43 in FIG. 4 detects the face area (step S4). If the portrait setting is not on, the face detection unit 43 detects the face. The area detection is suspended (step S5). In step S6, the CPU 23 confirms whether or not the shutter button 26b in FIG. 1 has been pressed. If the shutter button 26b is pressed, the process proceeds to step S7. If the shutter button 26b is not pressed, the process returns to step S2. Note that the processing of step S3 may be omitted, and the face area may always be detected.

ステップS7〜S12から成るループ処理では、レンズ位置を所定の基準位置から所定の最終位置まで所定間隔で移動させながら順次AF評価値を求め、基準位置から最終位置の間においてAF評価値が最大となるレンズ位置を合焦レンズ位置として特定する。   In the loop processing consisting of steps S7 to S12, AF evaluation values are sequentially obtained while moving the lens position from a predetermined reference position to a predetermined final position at predetermined intervals, and the AF evaluation value is maximum between the reference position and the final position. Is determined as the in-focus lens position.

具体的には、ステップS7において、レンズ位置を所定の基準位置に移動させ、ステップS8において、現在のレンズ位置に対するAF評価値を算出する。ステップS9では、最新に算出されたAF評価値が上記ループ処理内で今までに算出されたAF評価値の中の最大値であるか否かを判断する。最新に算出されたAF評価値が最大値である場合は、ステップS10に移行して現在のレンズ位置を合焦レンズ位置としてからステップS11に移行する一方、そうでない場合は、直接ステップS11に移行する。ステップS10にて特定される合焦レンズ位置は、上記ループ処理の繰り返しにおいて、他のレンズ位置に更新されうる。このため、ステップS10において特定される合焦レンズ位置は、暫定的な合焦レンズ位置と呼べる。   Specifically, in step S7, the lens position is moved to a predetermined reference position, and in step S8, an AF evaluation value for the current lens position is calculated. In step S9, it is determined whether or not the most recently calculated AF evaluation value is the maximum value among the AF evaluation values calculated so far in the loop processing. If the most recently calculated AF evaluation value is the maximum value, the process proceeds to step S10 and the current lens position is set to the in-focus lens position, and then the process proceeds to step S11. Otherwise, the process directly proceeds to step S11. To do. The in-focus lens position specified in step S10 can be updated to another lens position by repeating the loop process. For this reason, the focusing lens position specified in step S10 can be called a temporary focusing lens position.

ステップS11では、現在のレンズ位置が所定の最終位置と一致するかを判断し、現在のレンズ位置が最終位置と一致しない場合は、ステップS12に移行してレンズ位置を最終位置の方向に移動させてからステップS8に戻る。一方、現在のレンズ位置が最終位置と一致する場合はステップS13に移行して、最終的にステップS10で特定された合焦レンズ位置にレンズ位置を移動させた後、ステップS14にて静止画撮影を行って該静止画を記録する。つまり、上記ループ処理において最後に合焦レンズ位置として特定されたレンズ位置にフォーカスレンズ31を配置させた状態で、1枚の撮影画像を取得し、それをシャッタボタン26bの押下に従って得た静止画としてメモリカード18に記録する。ステップS14の処理の後、ステップS1に戻る。   In step S11, it is determined whether or not the current lens position matches a predetermined final position. If the current lens position does not match the final position, the process proceeds to step S12 to move the lens position in the direction of the final position. Then, the process returns to step S8. On the other hand, if the current lens position coincides with the final position, the process proceeds to step S13, and finally the lens position is moved to the in-focus lens position specified in step S10, and then still image shooting is performed in step S14. To record the still image. That is, in the state where the focus lens 31 is finally located at the lens position specified as the focus lens position in the loop processing, one captured image is acquired, and the still image obtained by pressing the shutter button 26b is obtained. To the memory card 18. After the process of step S14, the process returns to step S1.

上述の如く、顔領域の抽出結果を参照し、顔領域での垂直コントラスト成分をAF評価値に多く反映させる。これにより、従来に比べて、顔領域を含む撮影画像に対して、より大きなAF評価値を算出することができ、安定したAF制御を実現することができる。また、顔領域に対応する分割領域の領域評価値が増大することで、それのAF評価値に対する寄与度が大きくなり、より正しく顔領域にピントが合うようになる。   As described above, the face area extraction result is referred to, and the vertical contrast component in the face area is largely reflected in the AF evaluation value. As a result, a larger AF evaluation value can be calculated for a captured image including a face area, compared to the conventional case, and stable AF control can be realized. Further, as the area evaluation value of the divided area corresponding to the face area increases, the degree of contribution to the AF evaluation value increases, and the face area is more accurately focused.

顔領域の抽出結果を利用すれば、領域評価値算出部53における加重加算処理において、顔領域に対応する分割領域AR[i,j]に対して顔領域に適した重み付け係数を適用すると共に非顔領域に対応する分割領域に対して非顔領域に適した重み付け係数を適用するといった処理が可能となる。   If the extraction result of the face area is used, a weighting coefficient suitable for the face area is applied to the divided area AR [i, j] corresponding to the face area in the weighted addition process in the area evaluation value calculation unit 53 and non- Processing such as applying a weighting coefficient suitable for the non-face area to the divided area corresponding to the face area becomes possible.

このため、顔領域の抽出結果を利用することが好ましいのではあるが、全ての分割領域AR[i,j]に対して予め定めた同一の重み付け係数kH[i,j]及びkV[i,j]を適用することも可能である(この場合、顔検出部43は省略可能である)。この重み付け係数を適切に設定しておけば(但し、kV[i,j]>0)、撮影画像に顔領域が含まれている時、水平コントラスト成分のみに基づいてAF評価値を算出する場合よりも、大きなAF評価値を得ることが可能となる。つまり、結果として、顔領域を含む撮影画像に対して、より大きなAF評価値を算出することができ、安定したAF制御を実現することができるようになる。また、顔領域に対応する分割領域の領域評価値が増大することで、それのAF評価値に対する寄与度が大きくなり、より正しく顔領域にピントが合うようになる。 For this reason, although it is preferable to use the face region extraction result, the same weighting coefficients k H [i, j] and k V [predetermined for all the divided regions AR [i, j] are used. i, j] can also be applied (in this case, the face detection unit 43 can be omitted). If this weighting coefficient is set appropriately (however, k V [i, j]> 0), when a face area is included in the photographed image, an AF evaluation value is calculated based only on the horizontal contrast component. A larger AF evaluation value can be obtained than in the case. That is, as a result, a larger AF evaluation value can be calculated for a captured image including a face area, and stable AF control can be realized. Further, as the area evaluation value of the divided area corresponding to the face area increases, the degree of contribution to the AF evaluation value increases, and the face area is more accurately focused.

また、加重加算によって各領域評価値を算出するのではなく、以下のような算出処理(以下、「変形算出処理」という)によって各領域評価値を算出することも可能である。   Further, instead of calculating each region evaluation value by weighted addition, each region evaluation value can be calculated by the following calculation process (hereinafter referred to as “deformation calculation process”).

この変形算出処理を採用する場合、領域評価値算出部53は、分割領域ごとに、水平コントラスト成分と垂直コントラスト成分を比較して大きい方のコントラスト成分から領域評価値を算出する。例えば、分割領域AR[1,1]に関し、CH[1,1]>CV[1,1]である場合は、α[1,1]をCH[1,1]とし、CH[1,1]<CV[1,1]である場合は、α[1,1]をCV[1,1]とする。分割領域AR[1,1]以外についても同様である。尚、各領域評価値に基づく、積算部54によるAF評価値の算出手法は、上述の通りである。この変形算出処理を採用する場合、顔検出部43及び加算比率制御部55は省略される。 When this deformation calculation process is employed, the region evaluation value calculation unit 53 compares the horizontal contrast component and the vertical contrast component for each divided region and calculates a region evaluation value from the larger contrast component. For example, with respect to the divided area AR [1,1], when C H [1,1]> C V [1,1], α [1,1] is set to C H [1,1], and C H When [1,1] <C V [1,1], α [1,1] is set as C V [1,1]. The same applies to areas other than the divided area AR [1, 1]. The method for calculating the AF evaluation value by the integrating unit 54 based on each region evaluation value is as described above. When this deformation calculation process is employed, the face detection unit 43 and the addition ratio control unit 55 are omitted.

これにより、水平コントラスト成分のみを用いて或いは垂直コントラスト成分のみを用いてAF評価値を算出する場合よりも、より大きなAF評価値を得ることができ、安定したAF制御を実現することができる。顔領域を抽出せずとも、顔領域に対応する分割領域に対しては、垂直コントラスト成分が水平コントラスト成分よりも大きくなることが多いため、結果的に、垂直コントラスト成分から領域評価値が算出されやすくなる。つまり、結果として、顔領域を含む撮影画像に対して、より大きなAF評価値を算出することができ、安定したAF制御を実現することができるようになる。また、顔領域に対応する分割領域の領域評価値が増大することで、それのAF評価値に対する寄与度が大きくなり、より正しく顔領域にピントが合うようになる。   As a result, a larger AF evaluation value can be obtained than when the AF evaluation value is calculated using only the horizontal contrast component or only the vertical contrast component, and stable AF control can be realized. Even if the face area is not extracted, the vertical contrast component is often larger than the horizontal contrast component for the divided areas corresponding to the face area. As a result, the area evaluation value is calculated from the vertical contrast component. It becomes easy. That is, as a result, a larger AF evaluation value can be calculated for a captured image including a face area, and stable AF control can be realized. Further, as the area evaluation value of the divided area corresponding to the face area increases, the degree of contribution to the AF evaluation value increases, and the face area is more accurately focused.

尚、図8を参照して静止画撮影時の動作の流れを説明したが、動画撮影時も同様の効果が得られる。動画撮影時には、順次得られるAF評価値が最大値(或いは極大値)付近に保たれるように山登り制御が行われるが、上述のようにしてAF評価値を算出することにより、特に顔領域を含む撮影画像に対してAF評価値の増大効果が得られ、安定したAF制御を実現することができるようになる。   Although the flow of the operation at the time of still image shooting has been described with reference to FIG. 8, the same effect can be obtained at the time of moving image shooting. At the time of moving image shooting, hill-climbing control is performed so that the AF evaluation value obtained sequentially is kept close to the maximum value (or maximum value). By calculating the AF evaluation value as described above, the face area is particularly determined. The effect of increasing the AF evaluation value is obtained for the captured image including the image, and stable AF control can be realized.

<<変形等>>
上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈3を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
<< Deformation, etc. >>
As modifications or annotations of the above-described embodiment, notes 1 to 3 are described below. The contents described in each comment can be arbitrarily combined as long as there is no contradiction.

[注釈1]
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
[Note 1]
The specific numerical values shown in the above description are merely examples, and as a matter of course, they can be changed to various numerical values.

[注釈2]
上記式(1)から分かるように、領域評価値α[1,1]は、水平コントラスト成分CH[1,1]と垂直コントラスト成分CV[1,1]を加重加算(重み付け加算)することにより得られるが、kH[1,1]とkV[1,1]の和が1になるように重み付け係数を選べば、領域評価値α[1,1]は、水平コントラスト成分CH[1,1]と垂直コントラスト成分CV[1,1]の加重平均となる(他の領域評価値α[i,j]についても同様である)。従って、加重加算は、加重平均を含んだ概念である。
[Note 2]
As can be seen from the above equation (1), the area evaluation value α [1,1] is weighted (weighted) by adding the horizontal contrast component C H [1,1] and the vertical contrast component C V [1,1]. If the weighting coefficient is selected so that the sum of k H [1,1] and k V [1,1] is 1, the region evaluation value α [1,1] can be obtained from the horizontal contrast component C. H [1,1] and the vertical contrast component C V [1,1] are weighted averages (the same applies to the other region evaluation values α [i, j]). Therefore, the weighted addition is a concept including a weighted average.

[注釈3]
図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図4に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
[Note 3]
The imaging apparatus 1 in FIG. 1 can be realized by hardware or a combination of hardware and software. In particular, the function of each part shown in FIG. 4 can be realized by hardware, software, or a combination of hardware and software.

ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図4に示される各部位の機能及びAF制御に関与するCPU23の機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、それらの機能の全部または一部を実現するようにしてもよい。   When the imaging apparatus 1 is configured using software, a block diagram of a part realized by software represents a functional block diagram of the part. Further, all or part of the functions of the respective parts shown in FIG. 4 and the functions of the CPU 23 involved in the AF control are described as a program, and the program is executed on a program execution device (for example, a computer) to execute them. You may make it implement | achieve all or one part of these functions.

本発明の実施形態に係る撮像装置の全体ブロック図である。1 is an overall block diagram of an imaging apparatus according to an embodiment of the present invention. 図1の撮像部の内部構成図である。It is an internal block diagram of the imaging part of FIG. 図1の映像信号処理部の内部ブロック図である。FIG. 2 is an internal block diagram of a video signal processing unit in FIG. 1. AF制御に特に関与する部分に対応する、図1の撮像装置の一部ブロック図である。FIG. 2 is a partial block diagram of the image pickup apparatus in FIG. 1 corresponding to a portion particularly related to AF control. 図4のAF評価部にて定義される、撮影画像の各分割領域を示す図である。It is a figure which shows each division area of the picked-up image defined in AF evaluation part of FIG. 図4の水平コントラスト成分検出部の内部ブロック図(a)と、図4の垂直コントラスト成分検出部の内部ブロック図(b)である。FIG. 5 is an internal block diagram (a) of the horizontal contrast component detection unit in FIG. 4 and an internal block diagram (b) of the vertical contrast component detection unit in FIG. 4. 図4の顔検出部によって抽出された顔領域との関係における、加重加算の重み付け係数の決定手法を説明するための図である。FIG. 5 is a diagram for describing a weighting coefficient determination method for weighted addition in the relationship with the face area extracted by the face detection unit in FIG. 4. 静止画撮影に着目した、図1の撮像装置の動作の流れを表すフローチャートである2 is a flowchart showing an operation flow of the imaging apparatus in FIG. 1 focusing on still image shooting.

符号の説明Explanation of symbols

1 撮像装置
11 撮像部
13 映像信号処理部
23 CPU
31 フォーカスレンズ
33 撮像素子
35 光学系
42 AF評価部
43 顔検出部
51 水平コントラスト成分検出部
52 垂直コントラスト成分検出部
53 領域評価値算出部
54 積算部
55 加算比率制御部
DESCRIPTION OF SYMBOLS 1 Imaging device 11 Imaging part 13 Video signal processing part 23 CPU
DESCRIPTION OF SYMBOLS 31 Focus lens 33 Image pick-up element 35 Optical system 42 AF evaluation part 43 Face detection part 51 Horizontal contrast component detection part 52 Vertical contrast component detection part 53 Area evaluation value calculation part 54 Integration part 55 Addition ratio control part

Claims (7)

撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、
前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、
前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、
前記焦点評価値算出手段は、前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出する
ことを特徴とする撮像装置。
An imaging device having an imaging device and an optical system for forming an optical image corresponding to a subject on the imaging device, and obtaining a photographed image by photographing;
A focus evaluation value calculating means for calculating a focus evaluation value based on a video signal of a focus evaluation area provided in the photographed image,
In an imaging apparatus that performs autofocus control by driving and controlling the optical system so that the focus evaluation value takes an extreme value,
The focus evaluation value calculating means detects the horizontal contrast component and the vertical contrast component of an image in the focus evaluation region, and calculates the focus evaluation value by weighted addition of the detected components. .
前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、
前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるか否かに応じて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を変化させる
ことを特徴とする請求項1に記載の撮像装置。
A face area extracting means for extracting a face area from the captured image;
The focus evaluation value calculating unit changes a contribution degree of the vertical contrast component to the focus evaluation value according to whether or not the face evaluation area includes the face area. The imaging device described.
前記焦点評価値算出手段は、前記焦点評価領域に前記顔領域が含まれるとき、含まれないときに比べて、前記焦点評価値に対する前記垂直コントラスト成分の寄与度を増大させる
ことを特徴とする請求項2に記載の撮像装置。
The focus evaluation value calculation unit increases the contribution of the vertical contrast component to the focus evaluation value when the face evaluation area includes the face region compared to when the face evaluation region is not included. Item 3. The imaging device according to Item 2.
前記撮影画像から顔領域を抽出する顔領域抽出手段を更に備え、
前記焦点評価領域に前記顔領域が含まれるとき、前記焦点評価領域は、前記顔領域の内側の一部領域又は前記顔領域の全体領域に対応する第1領域と、前記焦点評価領域から前記第1領域を除いた第2領域と、に分類され、
前記焦点評価値算出手段は、
前記第1領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第1評価値と、
前記第2領域内の画像の水平コントラスト成分と垂直コントラスト成分の加重加算値に相当する第2評価値と、の和から前記焦点評価値を算出し、
第1評価値に対する、前記第1領域内の画像の垂直コントラスト成分の寄与度は、
第2評価値に対する、前記第2領域内の画像の垂直コントラスト成分の寄与度よりも大きい
ことを特徴とする請求項1に記載の撮像装置。
A face area extracting means for extracting a face area from the captured image;
When the face evaluation area includes the face area, the focus evaluation area includes a first area corresponding to a partial area inside the face area or the entire area of the face area, and the first area from the focus evaluation area. A second region excluding one region,
The focus evaluation value calculation means includes:
A first evaluation value corresponding to a weighted addition value of a horizontal contrast component and a vertical contrast component of an image in the first region;
Calculating the focus evaluation value from the sum of the second evaluation value corresponding to the weighted addition value of the horizontal contrast component and the vertical contrast component of the image in the second region;
The contribution of the vertical contrast component of the image in the first region to the first evaluation value is
The imaging apparatus according to claim 1, wherein a contribution degree of a vertical contrast component of an image in the second region to a second evaluation value is larger.
撮像素子及び前記撮像素子に被写体に応じた光学像を結像させるための光学系を有して、撮影によって撮影画像を得る撮像手段と、
前記撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出する焦点評価値算出手段と、を備え、
前記焦点評価値が極値をとるように前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、
前記焦点評価値算出手段は、各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出する
ことを特徴とする撮像装置。
An imaging device having an imaging device and an optical system for forming an optical image corresponding to a subject on the imaging device, and obtaining a photographed image by photographing;
A focus evaluation value calculating means for calculating a focus evaluation value based on a video signal of a focus evaluation area including a plurality of element areas provided in the captured image;
In an imaging apparatus that performs autofocus control by driving and controlling the optical system so that the focus evaluation value takes an extreme value,
The focus evaluation value calculation means detects a horizontal contrast component and a vertical contrast component of an image in each element region, compares the horizontal contrast component and the vertical contrast component for each element region, and determines the larger contrast component. An imaging apparatus characterized by calculating an element area evaluation value and calculating the focus evaluation value by integrating or averaging the element area evaluation values.
撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、
前記焦点評価領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、検出したそれらを加重加算することによって前記焦点評価値を算出する
ことを特徴とするオートフォーカス制御方法。
A focus evaluation value is calculated based on a video signal in a focus evaluation area provided in the photographed image, and an auto system is controlled by driving and controlling an optical system in the imaging apparatus so that the focus evaluation value takes an extreme value. In the autofocus control method,
An autofocus control method, comprising: detecting a horizontal contrast component and a vertical contrast component of an image in the focus evaluation region, and calculating the focus evaluation value by weighted addition of the detected components.
撮影画像内に設けられた、複数の要素領域から成る焦点評価領域の映像信号に基づいて焦点評価値を算出し、前記焦点評価値が極値をとるように撮像装置内の光学系を駆動制御してオートフォーカス制御を行うオートフォーカス制御方法において、
各要素領域内の画像の水平コントラスト成分と垂直コントラスト成分を検出し、前記要素領域ごとに前記水平コントラスト成分と前記垂直コントラスト成分を比較して大きい方のコントラスト成分から要素領域評価値を算出し、各要素領域評価値を積算又は平均化することにより前記焦点評価値を算出する
ことを特徴とするオートフォーカス制御方法。
A focus evaluation value is calculated based on a video signal in a focus evaluation area including a plurality of element areas provided in a captured image, and the optical system in the imaging apparatus is driven and controlled so that the focus evaluation value takes an extreme value. In the autofocus control method for performing autofocus control,
The horizontal contrast component and the vertical contrast component of the image in each element region are detected, the horizontal contrast component and the vertical contrast component are compared for each element region, and the element region evaluation value is calculated from the larger contrast component, An autofocus control method, wherein the focus evaluation value is calculated by integrating or averaging each element region evaluation value.
JP2006327171A 2006-12-04 2006-12-04 Imaging apparatus and autofocus control method Pending JP2008139683A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006327171A JP2008139683A (en) 2006-12-04 2006-12-04 Imaging apparatus and autofocus control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006327171A JP2008139683A (en) 2006-12-04 2006-12-04 Imaging apparatus and autofocus control method

Publications (1)

Publication Number Publication Date
JP2008139683A true JP2008139683A (en) 2008-06-19

Family

ID=39601205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006327171A Pending JP2008139683A (en) 2006-12-04 2006-12-04 Imaging apparatus and autofocus control method

Country Status (1)

Country Link
JP (1) JP2008139683A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010008983A (en) * 2008-06-30 2010-01-14 Canon Inc Focus detector and its control method
JP2010026008A (en) * 2008-07-15 2010-02-04 Canon Inc Focus adjustment device and method
JP2010044210A (en) * 2008-08-12 2010-02-25 Canon Inc Focusing device and focusing method
JP2010060657A (en) * 2008-09-01 2010-03-18 Canon Inc Focus adjustment device and focus adjustment method
JP2010169825A (en) * 2009-01-21 2010-08-05 Sanyo Electric Co Ltd Imaging device
CN101625506B (en) * 2008-07-07 2011-01-12 华晶科技股份有限公司 Face automatic focusing method of digital image acquirement device
JP2012208513A (en) * 2012-06-15 2012-10-25 Canon Inc Imaging apparatus and control method thereof
DE102014119150A1 (en) 2013-12-27 2015-07-02 Canon Kabushiki Kaisha Image pickup device and control method for this
US9477138B2 (en) 2013-06-10 2016-10-25 Apple Inc. Autofocus
CN106341594A (en) * 2016-08-23 2017-01-18 上海集光安防科技股份有限公司 Camera auxiliary focusing method
CN106791441A (en) * 2017-01-23 2017-05-31 广东欧珀移动通信有限公司 Control method, control device and electronic installation

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010008983A (en) * 2008-06-30 2010-01-14 Canon Inc Focus detector and its control method
US8248516B2 (en) 2008-06-30 2012-08-21 Canon Kabushiki Kaisha Focus detection apparatus and control method therefor
CN101625506B (en) * 2008-07-07 2011-01-12 华晶科技股份有限公司 Face automatic focusing method of digital image acquirement device
JP2010026008A (en) * 2008-07-15 2010-02-04 Canon Inc Focus adjustment device and method
JP2010044210A (en) * 2008-08-12 2010-02-25 Canon Inc Focusing device and focusing method
JP2010060657A (en) * 2008-09-01 2010-03-18 Canon Inc Focus adjustment device and focus adjustment method
JP2010169825A (en) * 2009-01-21 2010-08-05 Sanyo Electric Co Ltd Imaging device
JP2012208513A (en) * 2012-06-15 2012-10-25 Canon Inc Imaging apparatus and control method thereof
US9477138B2 (en) 2013-06-10 2016-10-25 Apple Inc. Autofocus
DE102014119150A1 (en) 2013-12-27 2015-07-02 Canon Kabushiki Kaisha Image pickup device and control method for this
JP2015143815A (en) * 2013-12-27 2015-08-06 キヤノン株式会社 Imaging device, control method of the same, program thereof and recording medium thereof
US9420162B2 (en) 2013-12-27 2016-08-16 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN106341594A (en) * 2016-08-23 2017-01-18 上海集光安防科技股份有限公司 Camera auxiliary focusing method
CN106791441A (en) * 2017-01-23 2017-05-31 广东欧珀移动通信有限公司 Control method, control device and electronic installation
CN106791441B (en) * 2017-01-23 2019-09-10 Oppo广东移动通信有限公司 Control method, control device and electronic device

Similar Documents

Publication Publication Date Title
JP2008139683A (en) Imaging apparatus and autofocus control method
JP4823179B2 (en) Imaging apparatus and imaging control method
JP4916355B2 (en) Aperture control apparatus and image processing apparatus
JP4849988B2 (en) Imaging apparatus and output image generation method
JP2008129554A (en) Imaging device and automatic focusing control method
JP5013954B2 (en) Imaging device
JP2013046259A (en) Video apparatus, control method, and program
JP5447619B2 (en) Imaging device
KR20110015309A (en) Digital photographing apparatus, method for controlling the same, and recording medium storing program to execute the method
KR101871675B1 (en) Image capturing apparatus and control method therefor
JP4637045B2 (en) Imaging device
JP2015053741A (en) Image reproduction device
JP2009010616A (en) Imaging device and image output control method
JP2008109551A (en) Imaging device and image reproducing device
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
JP5013852B2 (en) Angle of view correction apparatus and method, and imaging apparatus
JP4586707B2 (en) Image processing apparatus, electronic camera, and image processing program
WO2007132679A1 (en) Image inclination correction device and image inclination correction method
KR20120081517A (en) Digital image photographing apparatus and method for controling the same
JP6278729B2 (en) Imaging apparatus, control method thereof, and program
KR20120080376A (en) Digital image photographing apparatus and method for controlling the same
JP4753856B2 (en) Motion detection apparatus and method, and imaging apparatus
JP2010171491A (en) Imaging device, imaging method, and program
JP2008205953A (en) Imaging device and image reproducing device
JP4871664B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD