JP2019120748A - Electronic equipment and method of controlling the same - Google Patents

Electronic equipment and method of controlling the same Download PDF

Info

Publication number
JP2019120748A
JP2019120748A JP2017254235A JP2017254235A JP2019120748A JP 2019120748 A JP2019120748 A JP 2019120748A JP 2017254235 A JP2017254235 A JP 2017254235A JP 2017254235 A JP2017254235 A JP 2017254235A JP 2019120748 A JP2019120748 A JP 2019120748A
Authority
JP
Japan
Prior art keywords
face
pupil
detected
organ
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017254235A
Other languages
Japanese (ja)
Inventor
二郎 下里
Jiro Shimozato
二郎 下里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017254235A priority Critical patent/JP2019120748A/en
Publication of JP2019120748A publication Critical patent/JP2019120748A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

To select an organ as an AF object without causing a subject to get out of a pose.SOLUTION: Electronic equipment has: detecting means which detects a face and an organ of the face from an image; specifying means which specifies the face or the organ of the face detected by the detecting means as an object of focus adjustment; and AF control means which performs control to automatically put the object specified by the specifying means in focus. The specifying means switches, in response to the specified organ of the face being in a specific state continuously for a predetermined time, the specified object from a first organ of the face to a second organ of the face.SELECTED DRAWING: Figure 3D

Description

本発明は電子機器に関し、画像から顔や顔の器官(瞳など)を検出可能な技術に関するものである。   The present invention relates to an electronic device, and relates to a technology capable of detecting a face or a facial organ (such as pupil) from an image.

従来のデジタルカメラは、カメラが自動的に検出した被写体や、ユーザが任意で選択した被写体に対してオートフォーカス(AF)可能なものが多い。特に近年は、被写体として顔を検出するだけでなく、顔の器官(例えば瞳など)を検出可能とし、より被写体の精密な位置へのAF(以下、瞳AF)を実現したカメラも知られている。   Many conventional digital cameras are capable of autofocusing (AF) on a subject automatically detected by the camera or a subject arbitrarily selected by the user. In particular, in recent years, cameras that detect not only the face as the subject but also detect face organs (for example, the pupil etc.) and realize AF (hereinafter, pupil AF) to a more precise position of the subject are also known. There is.

こうしたカメラにおいては、AF対象位置を顔と瞳から選択し分けられるようにすることで、よりユーザの意図を反映できるような仕様にすることが重要である。特許文献1では、ユーザがLCD画面上をタッチすることで、その位置にあるのが顔か瞳かを判断し、AF対象として選択することが提案されている。これによりユーザが撮影シーンに応じて手軽にAF対象位置を指定できるため、ユーザビリティの高いカメラを実現している。   In such a camera, it is important to be able to reflect the user's intention by selecting and separating the AF target position from the face and the pupil. In Patent Document 1, it is proposed that when the user touches on the LCD screen, it is determined whether the position is the face or the pupil and that the position is selected as the AF target. As a result, the user can easily specify the AF target position according to the shooting scene, and thus a camera with high usability is realized.

特開2013−70164号公報JP, 2013-70164, A

しかしながら、撮影者自身を自分撮りするようなユースケースにおいては、被写体(=撮影者)は、すでに顔の表情や背景の構図も含めてポージングが完了している場合が多い。この状態で所望でない瞳にAFしている場合、特許文献1の方法でAF対象の瞳の選択を行うとポージングを一旦崩す必要があり、撮影機会を逸してしまう可能性がある。   However, in a use case where the photographer himself / herself is photographed, the subject (= photographer) often has already finished posing including the facial expression and the composition of the background. When AF is performed on an undesired pupil in this state, if the pupil of the AF target is selected according to the method of Patent Document 1, it is necessary to break the pose once, which may miss the imaging opportunity.

そこで本発明は、上記課題に鑑み、被写体がポーズを崩すことなくAF対象となる器官を選択出来るようにした電子機器、電子機器の制御方法、プログラム及び記録媒体を提供することを目的とする。   Therefore, in view of the above problems, it is an object of the present invention to provide an electronic device, an electronic device control method, a program, and a recording medium, in which an organ to be subjected to AF can be selected without breaking the pose of the subject.

上記目的を達成するために、
本発明の電子機器は、
画像から顔および顔の器官を検出する検出手段と、
前記検出手段で検出された顔または顔の器官をフォーカス調整の対象として指定する指定手段と、
前記指定手段により指定された対象についてオートフォーカスを行うように制御するAF制御手段とを有し、
前記指定手段は、指定されている顔の器官が特定状態を所定時間継続したことに応じて、前記顔の第1の器官から前記顔の第2の器官へ指定する対象を切り替えることを特徴とする。
In order to achieve the above purpose
The electronic device of the present invention is
Detection means for detecting a face and facial organs from the image;
A designation unit that designates a face or a facial organ detected by the detection unit as a target of focus adjustment;
And AF control means for performing autofocus on an object designated by the designation means,
The designating means switches a target to be designated from a first organ of the face to a second organ of the face in response to the designated face organ continuing a specific state for a predetermined time. Do.

本発明によれば、被写体がポーズを崩すことなくAF対象となる器官を選択出来る。   According to the present invention, it is possible to select an organ to be subjected to AF without breaking the pose of the subject.

デジタルカメラ100の外観図であるFIG. 1 is an external view of a digital camera 100 デジタルカメラ100の構成ブロック図であるFIG. 2 is a block diagram of the digital camera 100 撮影モード処理のフローチャートであるIt is a flowchart of photographing mode processing 撮影モード処理のフローチャートであるIt is a flowchart of photographing mode processing 撮影モード処理のフローチャートであるIt is a flowchart of photographing mode processing 撮影モード処理のフローチャートであるIt is a flowchart of photographing mode processing 枠表示処理を示すフローチャートであるIt is a flowchart which shows frame display processing 枠表示処理を示すフローチャートであるIt is a flowchart which shows frame display processing 枠表示処理を示すフローチャートであるIt is a flowchart which shows frame display processing AF処理を示すフローチャートである5 is a flowchart showing AF processing AF処理を示すフローチャートである5 is a flowchart showing AF processing 表示部28における表示例であるIt is a display example on the display unit 28 表示部28における表示例であるIt is a display example on the display unit 28 表示部28における表示例であるIt is a display example on the display unit 28 タッチ反応領域を示す模式図であるIt is a schematic diagram which shows a touch reaction area 自分撮りモードでの表示部28における表示例であるIt is a display example on the display unit 28 in the self-portrait mode

以下、図面を参照して本発明の好適な実施形態を説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

図1に本発明の電子機器の一例としてのデジタルカメラ(撮像装置)の外観図を示す。表示部28は画像や各種情報を表示する表示部である。表示部28には、背面表示パネル28aと、ファインダー内の表示部である電子ビューファインダー28bが含まれる。シャッターボタン61は撮影指示を行うための操作部である。モード切り替えスイッチ60は各種モードを切り替えるための操作部である。コネクタ112は、パーソナルコンピュータやプリンタなどの外部機器と接続するための接続ケーブル111とデジタルカメラ100とのコネクタである。操作部70はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール73は操作部70に含まれる回転操作可能な操作部材である。電源スイッチ72は、電源オン、電源オフを切り替えるための押しボタンである。   FIG. 1 shows an external view of a digital camera (image pickup apparatus) as an example of the electronic device of the present invention. The display unit 28 is a display unit that displays an image and various information. The display unit 28 includes a rear display panel 28 a and an electronic viewfinder 28 b which is a display unit in the finder. A shutter button 61 is an operation unit for giving a photographing instruction. The mode switching switch 60 is an operation unit for switching various modes. The connector 112 is a connector between the connection cable 111 for connecting to an external device such as a personal computer or a printer and the digital camera 100. The operation unit 70 is an operation unit including operation members such as various switches, buttons, and a touch panel that receive various operations from the user. The controller wheel 73 is a rotatable operation member included in the operation unit 70. The power switch 72 is a push button for switching power on / off.

記録媒体200はメモリカードやハードディスク等の記録媒体であり、デジタルカメラ100により撮影された画像等を格納する。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、デジタルカメラ100との通信が可能となり、記録や再生が可能となる。蓋202は記録媒体スロット201の蓋である。図においては、蓋202を開けてスロット201から記録媒体200の一部を取り出して露出させた状態を示している。   The recording medium 200 is a recording medium such as a memory card or a hard disk, and stores an image or the like captured by the digital camera 100. The recording medium slot 201 is a slot for storing the recording medium 200. The recording medium 200 stored in the recording medium slot 201 can communicate with the digital camera 100 and can record and reproduce data. The lid 202 is a lid of the recording medium slot 201. In the drawing, the lid 202 is opened and a part of the recording medium 200 is taken out of the slot 201 and exposed.

図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。   FIG. 2 is a block diagram showing a configuration example of the digital camera 100 according to the present embodiment.

図2において、撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター101は絞り機能を備えるシャッターである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、デジタルカメラ100の、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、シャッター101、撮像部22を含む撮像系の汚れや破損を防止する。   In FIG. 2, a photographing lens 103 is a lens group including a zoom lens and a focus lens. The shutter 101 is a shutter having an aperture function. The imaging unit 22 is an imaging device configured of a CCD, a CMOS device, or the like that converts an optical image into an electrical signal. The A / D converter 23 converts an analog signal into a digital signal. The A / D converter 23 is used to convert an analog signal output from the imaging unit 22 into a digital signal. The barrier 102 covers the imaging system including the imaging lens 103 of the digital camera 100 to prevent the contamination and damage of the imaging system including the imaging lens 103, the shutter 101, and the imaging unit 22.

画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。   The image processing unit 24 performs predetermined pixel interpolation, resizing processing such as reduction, and color conversion processing on data from the A / D converter 23 or data from the memory control unit 15. Further, in the image processing unit 24, predetermined arithmetic processing is performed using captured image data, and the system control unit 50 performs exposure control and distance measurement control based on the obtained calculation result. As a result, TTL (through-the-lens) AF (auto focus) processing, AE (automatic exposure) processing, and EF (flash pre-emission) processing are performed. The image processing unit 24 further performs predetermined arithmetic processing using captured image data, and also performs TTL AWB (auto white balance) processing based on the obtained arithmetic result.

A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。   Output data from the A / D converter 23 is directly written to the memory 32 through the image processing unit 24 and the memory control unit 15 or through the memory control unit 15. The memory 32 stores image data obtained by the imaging unit 22 and converted into digital data by the A / D converter 23, and image data to be displayed on the display unit 28. The memory 32 has a sufficient storage capacity to store a predetermined number of still images and moving images and sounds for a predetermined time.

また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、スルー画像表示(ライブビュー表示)を行える。以下、ライブビューで表示される画像をLV画像と称する。   The memory 32 also serves as a memory (video memory) for displaying an image. The D / A converter 13 converts the image display data stored in the memory 32 into an analog signal and supplies the analog signal to the display unit 28. Thus, the display image data written in the memory 32 is displayed by the display unit 28 via the D / A converter 13. The display unit 28 performs display according to the analog signal from the D / A converter 13 on a display such as an LCD. A through image display (A / D converter 23 once A / D converted and stored in memory 32) is digital converted in D / A converter 13 and sequentially transferred to display unit 28 for display. Live view display can be performed. Hereinafter, an image displayed in live view is referred to as an LV image.

不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。   The non-volatile memory 56 is a memory as an electrically erasable / recordable recording medium, and for example, an EEPROM or the like is used. In the non-volatile memory 56, constants, programs and the like for operation of the system control unit 50 are stored. Here, the program is a computer program for executing various flowcharts to be described later in the present embodiment.

システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。   The system control unit 50 controls the entire digital camera 100. By executing the program stored in the non-volatile memory 56 described above, each process of the present embodiment described later is realized. A RAM is used as the system memory 52. In the system memory 52, constants and variables for the operation of the system control unit 50, programs read out from the non-volatile memory 56, etc. are expanded. The system control unit 50 also performs display control by controlling the memory 32, the D / A converter 13, the display unit 28, and the like.

システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。   A system timer 53 is a clock unit that measures time used for various controls and time of a built-in clock.

モード切り替えスイッチ60、シャッターボタン61、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。   A mode change switch 60, a shutter button 61, and an operation unit 70 are operation means for inputting various operation instructions to the system control unit 50.

モード切り替えスイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切り替えスイッチ60で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ60でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。   The mode switching switch 60 switches the operation mode of the system control unit 50 to any one of a still image recording mode, a moving image shooting mode, a reproduction mode, and the like. As modes included in the still image recording mode, there are an auto shooting mode, an auto scene determination mode, a manual mode, various scene modes as shooting settings for each shooting scene, a program AE mode, a custom mode and the like. The mode switching switch 60 directly switches to any of these modes included in the menu button. Alternatively, after once switching to the menu button with the mode switching switch 60, another operating member may be used to switch to any of these modes included in the menu button. Similarly, a plurality of moving image shooting modes may be included.

シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を有する。第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。   The shutter button 61 has a first shutter switch 62 and a second shutter switch 64. During the operation of the shutter button 61 provided to the digital camera 100, the first shutter switch 62 is turned on by a so-called half depression (shooting preparation instruction) and generates a first shutter switch signal SW1. The first shutter switch signal SW1 starts operations such as AF (auto focus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and EF (flash pre-emission) processing.

第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。   The second shutter switch 64 is turned on by completion of the operation of the shutter button 61, that is, full-press (shooting instruction), and generates a second shutter switch signal SW2. The system control unit 50 starts a series of photographing processing operations from reading of the signal from the imaging unit 22 to writing of image data on the recording medium 200 by the second shutter switch signal SW2.

操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。   Each operation member of the operation unit 70 is appropriately assigned a function for each scene by selecting and operating various function icons displayed on the display unit 28, and functions as various function buttons. The function buttons include, for example, an end button, a back button, an image feed button, a jump button, a narrowing button, and an attribute change button. For example, when the menu button is pressed, various settable menu screens are displayed on the display unit 28. The user can intuitively perform various settings using the menu screen displayed on the display unit 28 and the four-direction button or the SET button on the top, bottom, left, and right.

コントローラホイール73は、操作部70に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール73を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部50はデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラホイール73が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール73は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール73自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール73自体は回転せず、コントローラホイール73上でのユーザの指の回転動作などを検出するものであってもよい(いわゆる、タッチホイール)。   The controller wheel 73 is a rotatable operation member included in the operation unit 70, and is used together with the direction button to designate a selection item. When the controller wheel 73 is rotated, an electrical pulse signal is generated according to the amount of operation, and the system control unit 50 controls each part of the digital camera 100 based on the pulse signal. Based on this pulse signal, it is possible to determine the angle at which the controller wheel 73 is operated to rotate, how many rotations, and the like. The controller wheel 73 may be any operation member that can detect a rotation operation. For example, the controller wheel 73 may be a dial operation member that rotates to generate a pulse signal according to a user's rotation operation. Alternatively, the operation member may be a touch sensor, and the controller wheel 73 itself may not rotate, and may detect a user's finger rotation operation on the controller wheel 73 (so-called touch wheel).

電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。   The power supply control unit 80 includes a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, and the like, and detects the presence or absence of a battery, the type of battery, and the battery remaining amount. Further, the power control unit 80 controls the DC-DC converter based on the detection result and an instruction of the system control unit 50, and supplies necessary voltages to the respective units including the recording medium 200 for a necessary period. The power supply unit 30 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like.

記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。   The recording medium I / F 18 is an interface with the recording medium 200 such as a memory card or a hard disk. The recording medium 200 is a recording medium such as a memory card for recording a photographed image, and is formed of a semiconductor memory, an optical disk, a magnetic disk or the like.

通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22で撮像した画像(スルー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。   The communication unit 54 is connected by a wireless or wired cable to transmit and receive video signals and audio signals. The communication unit 54 can also connect to a wireless LAN (Local Area Network) or the Internet. The communication unit 54 can transmit an image (including a through image) captured by the imaging unit 22 and an image recorded on the recording medium 200, and can receive image data and other various information from an external device. it can.

姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。   The posture detection unit 55 detects the posture of the digital camera 100 with respect to the direction of gravity. Based on the posture detected by the posture detection unit 55, whether the image photographed by the imaging unit 22 is an image photographed by holding the digital camera 100 horizontally or an image photographed by holding the digital camera 100 vertically It can be determined. The system control unit 50 can add orientation information according to the posture detected by the posture detection unit 55 to an image file of an image captured by the imaging unit 22, or can rotate and record the image. As the posture detection unit 55, an acceleration sensor, a gyro sensor, or the like can be used.

接眼検知部57は目(物体)の接近を検知する。システム制御部は、接眼検知部57で検知された状態に応じて、背面表示パネル28aと電子ビューファインダー28bの表示/非表示を切り替える。すなわち、接眼検知部57が接眼を検知している場合は表示先を電子ビューファインダー28bとし、接眼検知部57が接眼を検知していない場合は表示先を背面表示パネル28aとする。   The eyepiece detection unit 57 detects the approach of the eye (object). The system control unit switches display / non-display of the rear display panel 28 a and the electronic viewfinder 28 b according to the state detected by the eye detection unit 57. That is, when the eye detection unit 57 detects an eye, the display destination is the electronic viewfinder 28b, and when the eye detection unit 57 does not detect an eye, the display destination is the rear display panel 28a.

なお操作部70の一つとして、表示部28に対する接触を検知可能なタッチパネル70aを有する。タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aを光の透過率が表示部28の表示を妨げないように構成し、表示部28の表示面の内部に組み込む内蔵型(インセル型)である。そして、タッチパネル70aにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、恰もユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を構成することができる。システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。   A touch panel 70 a that can detect a touch on the display unit 28 is provided as one of the operation units 70. The touch panel 70a and the display unit 28 can be integrally configured. For example, the touch panel 70a is a built-in type (in-cell type) which is configured such that the light transmittance does not interfere with the display of the display unit 28, and is incorporated into the display surface of the display unit 28. Then, the input coordinates on the touch panel 70a are associated with the display coordinates on the display unit 28. As a result, it is possible to configure a GUI (Graphical User Interface) as if the user can directly operate the screen displayed on the display unit 28. The system control unit 50 can detect the following operation or state on the touch panel 70a.

・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
The finger or pen that did not touch the touch panel 70a newly touches the touch panel 70a. That is, the start of touch (hereinafter referred to as touch-down).
In the state where the touch panel 70a is touched with a finger or a pen (hereinafter, referred to as touch-on).
-Moving while touching the touch panel 70a with a finger or a pen (hereinafter, referred to as Touch-Move).
The finger or pen that has been touched to the touch panel 70a is released. That is, the end of the touch (hereinafter referred to as touch-up).
A state in which nothing is touched on the touch panel 70 a (hereinafter, referred to as touch-off).

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。   When touch down is detected, touch on is also detected at the same time. After touch down, touch on usually continues to be detected unless touch up is detected. The touch move is also detected in the state where the touch on is detected. Even if the touch on is detected, if the touch position is not moved, the touch move is not detected. After it is detected that all the fingers and pens that have been touched touch up, the touch is off.

これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知され、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。またタッチパネル70a上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。   The system control unit 50 is notified of these operations / states and position coordinates where a finger or pen is touching on the touch panel 70a through the internal bus, and the system control unit 50 determines which on the touch panel 70a is based on the notified information. It is determined whether such an operation has been performed. With regard to the touch move, the moving direction of the finger or pen moving on the touch panel 70a can also be determined for each vertical component and horizontal component on the touch panel 70a based on the change in position coordinates. In addition, it is assumed that a stroke is drawn when touch-up is performed on the touch panel 70a through a touch move from a touch down to a touch up.

素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。   The operation of drawing a stroke quickly is called a flick. The flick is an operation in which the finger is touched on the touch panel 70a quickly by a certain distance and then released as it is. In other words, the flick is an operation in which the finger on the touch panel 70a is quickly swiped. It is detected that touch move is performed at a predetermined speed or more at a predetermined distance or more, and when touch-up is detected as it is, it can be determined that flicking has been performed. Further, when it is detected that the touch move is performed at a predetermined distance or more at a speed less than the predetermined speed, it is determined that the dragging is performed. Furthermore, a touch operation in which multiple touch positions (for example, 2 points) are simultaneously touched to bring the touch positions closer to each other is called pinch in, and a touch operation to move the touch positions away from each other is called pinch out. Pinch out and pinch in are collectively referred to as pinch operation (or simply, pinch).

タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。   The touch panel 70a may be any of various touch panels such as resistive film type, capacitive type, surface acoustic wave type, infrared type, electromagnetic induction type, image recognition type, light sensor type, etc. good. Depending on the method, there is a method of detecting that there is a touch when there is a touch on the touch panel, and a method of detecting that there is a touch when there is a finger or pen approaching the touch panel, any method may be used.

デジタルカメラ100は、少なくとも画像を再生するための再生モードと、撮影を行うための撮影モードとで、切り替えて使用することができ、撮影モードとしては、オートモードやマニュアルモード、複数のシーン別撮影モードを備えている。オートモードは、カメラの各種パラメータが、計測された露出値に基づきデジタルビデオカメラ100に組み込まれたプログラムにより自動的に決定されるモードである。マニュアルモードは、カメラの各種パラメータをユーザが自由に変更可能なモードである。シーン別撮影モードとは、撮影シーン別にその撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定、ホワイトバランス(WB)設定等を組み合わせることによって実現される撮影モードである。デジタルビデオカメラ100は、例えば、以下に記す(1)〜(4)のシーン別撮影モードを備えている。但し、これらのシーン別撮影モードに限定されるものではない。撮影者は、撮影モード選択メニューからデジタルカメラ100を所望の撮影モードに設定して撮影を行うことができる。   The digital camera 100 can be switched and used at least in a playback mode for playing back an image and a shooting mode for shooting, and as a shooting mode, an auto mode, a manual mode, shooting according to a plurality of scenes It has a mode. The auto mode is a mode in which various parameters of the camera are automatically determined by a program incorporated in the digital video camera 100 based on the measured exposure value. The manual mode is a mode in which various parameters of the camera can be freely changed by the user. The scene-specific shooting mode is a shooting mode realized by combining the shutter speed and aperture value suitable for the shooting scene, the flash state, the sensitivity setting, the white balance (WB) setting and the like for each shooting scene. The digital video camera 100 has, for example, a scene-specific shooting mode (1) to (4) described below. However, the present invention is not limited to these scene-specific shooting modes. A photographer can perform shooting by setting the digital camera 100 to a desired shooting mode from the shooting mode selection menu.

(1)ポートレート撮影モード:背景をぼかして人物を浮き立たせるようにして人物撮影に特化したモード
(2)花撮影モード:マクロモードに設定し、彩度も高めに設定するモード
(3)スポーツ撮影モード:動きの早い被写体をとるのに特化した設定とする撮影モード
(4)自分撮り撮影モード:レンズを自分のほうに向けて自分を撮影することに特化した撮影モード。
(1) Portrait shooting mode: A mode specialized for portrait shooting with the background blurred and a person standing up (2) Flower shooting mode: Mode set to macro mode and high saturation (3) Sports shooting mode: A setting specialized for taking a fast-moving subject. Shooting mode (4) Self-portrait shooting mode: A shooting mode specialized for shooting yourself with the lens facing you.

表示部28は、回転部材を有し、撮像部22を有する本体部に対する位置を変更可能なバリアングルモニタ(バリアングル表示部)として構成してもよい。この場合、自分撮り撮影モードに入る方法としては前記選択方法以外にも、ユーザが表示部28の位置を変更して表示面を撮影者側に向けたことに応じて自動的に自分撮り撮影モードになってもよい。もしくはこの状態で自分撮り撮影モードに遷移するかをユーザに選択させるためのポップアップダイアログを表示部28に表示し、ユーザに選択させてもよい。また、表示部28がバリアングルモニタではなく、表示部28と反対側を撮影方向(撮影範囲)とするメインカメラ(アウトカメラ、第1の撮像部)と、表示部28の表示面側を撮影方向とするインカメラ(第2の撮像部)の複数の撮像部を備える構成としても良い。この場合、アウトカメラを用いた撮影を行う状態とインカメラを用いた撮影を行う状態とをユーザ操作によって切り替えられるようにする。そして、インカメラを用いた撮影を行う状態(表示部28にインカメラで撮影されたライブビュー画像が表示される状態)とした場合に、自分撮り撮影モードに遷移するものとしてもよい。   The display unit 28 may be configured as a vari-angle monitor (vari-angle display unit) having a rotation member and capable of changing the position with respect to the main body unit including the imaging unit 22. In this case, as a method of entering the self-portrait shooting mode, the self-portrait shooting mode is automatically performed in response to the user changing the position of the display unit 28 and pointing the display surface to the photographer side besides the selection method. May be Alternatively, a pop-up dialog may be displayed on the display unit 28 to allow the user to select whether to transition to the self-portrait shooting mode in this state. Further, the display unit 28 is not a variable angle monitor, and the main camera (out camera, first imaging unit) whose imaging direction (imaging range) is opposite to the display unit 28 and the display surface side of the display unit 28 It is good also as composition provided with a plurality of image pick-up parts of in camera (the 2nd image pick-up part) made into direction. In this case, it is possible to switch between the state of shooting using an out-camera and the state of shooting using an in-camera by user operation. Then, when it is set in a state in which shooting using an in-camera is performed (a state in which a live view image shot by the in-camera is displayed on the display unit 28), transition to the self-shooting shooting mode may be performed.

上述したデジタルカメラ100では中央1点AFや顔AF、瞳AFを用いた撮影が可能である。中央1点AFとは撮影画面内の中央位置1点に対してAFを行うことである。顔AFとは顔検出機能によって検出された撮影画面内の顔に対してAFを行うことである。瞳AFとは顔検出機能の一種でもある器官検出機能によって検出された撮影画面内の顔に含まれる瞳に対してAFを行うことである。   The digital camera 100 described above is capable of photographing using one center AF, face AF, and pupil AF. One center AF is to perform AF on one center position in the photographing screen. Face AF is to perform AF on a face in a shooting screen detected by the face detection function. The pupil AF is to perform AF on the pupil included in the face in the photographing screen detected by the organ detection function which is also a kind of face detection function.

顔検出機能について説明する。システム制御部50は、画像から顔および該顔の器官(目、鼻、口、耳など)を検出可能な検出部として機能する。システム制御部50は顔検出対象の画像データを画像処理部24に送る。システム制御部50の制御下で画像処理部24は、画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部50の制御下で画像処理部24は、画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタを適用することにより、画像データからエッジ成分が検出される。   The face detection function will be described. The system control unit 50 functions as a detection unit that can detect the face and the organs of the face (such as eyes, nose, mouth, and ears) from the image. The system control unit 50 sends the image data of the face detection target to the image processing unit 24. Under the control of the system control unit 50, the image processing unit 24 applies a horizontal band pass filter to the image data. Further, under the control of the system control unit 50, the image processing unit 24 applies a band pass filter in the vertical direction to the image data. Edge components are detected from image data by applying these horizontal and vertical band pass filters.

その後、システム制御部50は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳などの顔の器官の候補群を抽出する。そして、システム制御部50は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを目と判断し、目の候補群の絞り込みを行う。そして、システム制御部50は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳などの器官)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部50は、顔の検出結果に応じて、検出された顔の数、各顔の位置、大きさ、向き、内容する器官(目、鼻、口、耳)などの位置や大きさ等の顔情報を出力し、処理を終了する。このとき、システム制御部50は、顔の数などの特徴量をシステムメモリ52に記憶する。一旦顔として検出された領域は、コントラストや色、大きさ等の条件が合致していれば所定期間(1秒程度)は顔として検出し続ける。これによって、一時的に被写体が後ろを向いた、目を瞑った等によって顔の器官が検出されなくなっても、顔として検出し続けることが可能である。   Thereafter, the system control unit 50 performs pattern matching on the detected edge components, and extracts candidate groups of facial organs such as eyes, nose, mouth, and ears. Then, the system control unit 50 determines one of the extracted eye candidate groups that satisfies a preset condition (for example, distance between two eyes, inclination, etc.) as an eye, and narrows down the eye candidate group I do. Then, the system control unit 50 associates the narrowed-down eye candidate group with other parts (an organ such as a nose, a mouth, an ear, etc.) forming a face corresponding to that, and sets a non-face condition filter set in advance. The face is detected by passing through. The system control unit 50 detects the number of detected faces, the position, size, and orientation of each face, the position and size of organs (eyes, nose, mouth, ears), etc. according to the detection result of the face. Output the face information of and end the process. At this time, the system control unit 50 stores feature amounts such as the number of faces in the system memory 52. An area once detected as a face continues to be detected as a face for a predetermined period (about one second) if conditions such as contrast, color, and size are met. In this way, it is possible to continue detecting as a face even if a facial organ is not detected due to the subject temporarily turning backwards, eyes closed, etc.

システム制御部50は、上述の顔検出機能によって検出された顔について抽出済みとなっている目を、検出された目(瞳)として確定し、瞳検出結果として瞳情報を出力する。瞳情報には、例えば、画像中における目の位置、顔における目の位置、大きさ等、また、目の位置と大きさに基づく瞳領域が含まれる。瞳検出は、顔の要素(パーツ)を検出する器官検出の一種である。   The system control unit 50 determines the eye that has been extracted for the face detected by the face detection function described above as the detected eye (pupil), and outputs pupil information as a pupil detection result. The pupil information includes, for example, the position of the eye in the image, the position of the eye in the face, the size, etc., and a pupil region based on the position and the size of the eye. Pupil detection is a type of organ detection that detects facial elements (parts).

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して、顔や瞳などの特定の被写体情報を検出することが可能である。   As described above, it is possible to perform image analysis of image data to be displayed or reproduced and displayed in live view, extract feature quantities of the image data, and detect specific subject information such as a face and a pupil.

なお、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔FEとは検出された顔を中心にフラッシュの調光をすることである。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化することである。   Note that face AE, face FE, face WB can be performed simultaneously with face AF. The face AE is to optimize the exposure of the entire screen in accordance with the brightness of the detected face. The face FE is to dim the flash centering on the detected face. The face WB is to optimize the WB of the entire screen in accordance with the color of the detected face.

さらに、システム制御部50は、画像処理部24を用いて、色、コントラスト、動きベクトルなどの条件によって、主要被写体と想定されるモノ(人物の顔と器官以外のモノ)を検出することも可能である。   Furthermore, the system control unit 50 can also use the image processing unit 24 to detect a thing (a thing other than a person's face and an organ) assumed to be a main subject according to conditions such as color, contrast, and motion vector. It is.

また、デジタルカメラ100では、撮影時のオートフォーカス(AF)の動作モードとして、複数のAFモードからユーザ操作に応じて1つのAFモードを設定することが可能である。AFモードの設定は、設定メニュー画面における、AFモードを設定するためのメニュー項目が選択されて表示されるAFモード設定画面でのユーザ操作に基づいて行われる。AFを行う位置の決定方式ごとに複数のAFモードが用意されている。本実施形態では、AFモードとして、一点AFモードと、追尾優先モードのいずれかが設定できるものとする。   Further, in the digital camera 100, it is possible to set one AF mode from a plurality of AF modes in accordance with a user operation as an operation mode of autofocus (AF) at the time of photographing. The setting of the AF mode is performed based on the user operation on the AF mode setting screen which is displayed when the menu item for setting the AF mode in the setting menu screen is selected. A plurality of AF modes are prepared for each determination method of the position where the AF is to be performed. In the present embodiment, either the single-point AF mode or the tracking priority mode can be set as the AF mode.

一点AFモードは、撮影範囲の中央、あるいはユーザが指定した一点に焦点調節位置を表すAF枠を設定するAFモードである。一点AFモードでは、AF枠は被写体に変化があっても移動せず、顔などの被写体が検出されているか否かに関わらず、AF枠の位置から得られた情報(コントラスト値や位相差AF用のデフォーカス量)に基づいてAFが行われる。   The one-point AF mode is an AF mode in which an AF frame representing a focus adjustment position is set at the center of the imaging range or at a single point designated by the user. In the single-point AF mode, the AF frame does not move even if there is a change in the subject, and information obtained from the position of the AF frame (contrast value or phase difference AF regardless of whether a subject such as a face is detected). AF is performed on the basis of the defocus amount).

追尾優先モードでは、ユーザからの追尾指定がない場合(追尾待機状態、追尾解除状態)は、デジタルカメラ100が自動的に主被写体と判定した被写体がAF対象(焦点調節位置)となる。人物の顔が検出された場合は、検出された人物の瞳または顔を優先して主被写体としてAF対象にする。人物の顔が検出されていない場合は、動体、コントラスト値の高い被写体、中央に近い被写体などの所定の条件に従って主被写体をデジタルカメラ100が自動的に決定してAF対象とする。また、ユーザからの追尾指定がなされた後は、LV画像中で指定された被写体を追尾し続け、追尾している被写体の撮影範囲内での位置が変わっても、追尾している被写体をAF対象とする。例えばユーザが人物Aの瞳または顔を追尾指定した場合(追尾中)は、LV画像上で人物Aが移動しても人物Aの瞳または顔を追い続け、AF対象とする。   In the tracking priority mode, when there is no tracking designation from the user (tracking standby state, tracking cancellation state), the subject automatically determined as the main subject by the digital camera 100 is the AF target (focus adjustment position). When the face of a person is detected, the pupil or face of the detected person is given priority for AF as the main subject. When the face of a person is not detected, the digital camera 100 automatically determines a main subject according to predetermined conditions such as a moving object, a subject with a high contrast value, a subject close to the center, etc., and sets it as an AF target. Also, after the user designates tracking, the subject specified in the LV image continues to be tracked, and even if the position of the subject being tracked changes within the shooting range, the subject being tracked is AF set to target. For example, when the user designates tracking of the pupil or face of the person A (during tracking), even if the person A moves on the LV image, the pupil or face of the person A continues to be pursued and is set as an AF target.

また、人物以外を追尾対象とすることも可能であり(モノ追尾)、追尾指定された位置の色、コントラスト、形状などを条件として、同一の被写体がLV画像中で移動しても追い続け、AF対象とする。すなわち、追尾優先モードは追尾を行うことによるAF位置の決定が可能なAFモードである。なお、AFモードは一点AFモードと追尾モードに限るものではない。例えばユーザが指定した限定領域内で追尾を行うAFモード(「ゾーンAF」)などがあってもよい。設定したAFモードは、不揮発性メモリ56に記憶され、撮影モード処理においてはシステムメモリ52に読み出される。   In addition, it is possible to set tracking targets other than a person (mono tracking), and keep track even if the same subject moves in the LV image, subject to the color, contrast, shape, etc. of the position designated for tracking. Set as AF target. That is, the tracking priority mode is an AF mode in which it is possible to determine the AF position by performing tracking. The AF mode is not limited to the one-point AF mode and the tracking mode. For example, there may be an AF mode ("zone AF") in which tracking is performed in a limited area designated by the user. The set AF mode is stored in the non-volatile memory 56, and is read out to the system memory 52 in the photographing mode processing.

図3A〜図3Dは、本実施形態によるデジタルカメラ100の撮影モード処理に関するフローチャートである。図3A〜3Cの処理、及び後述する図4A〜4C,図5A〜5Bの処理は、不揮発性メモリ56に記録されたプログラムを、システムメモリ52をワークメモリとしてとしてシステム制御部50が実行することにより実現される。デジタルカメラ100をライブビュー撮影モードで起動すると図3A〜3Cの処理を開始する。なお、図3A〜3Cの処理は、AFモードが追尾優先モードに設定されている場合の処理である。1点AFモードに設定されている場合の処理については説明を省略する。   3A to 3D are flowcharts related to shooting mode processing of the digital camera 100 according to the present embodiment. In the processes of FIGS. 3A to 3C and the processes of FIGS. 4A to 4C and FIGS. 5A to 5B described later, the system control unit 50 executes the program stored in the non-volatile memory 56 using the system memory 52 as a work memory. Is realized by When the digital camera 100 is activated in the live view shooting mode, the processing of FIGS. 3A to 3C is started. The processes in FIGS. 3A to 3C are processes when the AF mode is set to the tracking priority mode. Description of processing in the case where the one-point AF mode is set will be omitted.

なお、追尾優先モードでは、画像から顔および顔の器官を検出し、検出された顔または器官は、ユーザ操作(本実施形態ではタッチ操作)によりAF対象(追尾対象)として指定される候補となる。また、そのようなタッチ操作により指定可能なAF対象が異なる複数の動作モードが用意されており、ユーザはそれのうちの何れかをMENU画面から設定することができる。以下では、画像から検出される顔の器官を目(瞳)とし、指定可能なAF対象が異なる複数の動作モードとして、顔と瞳をAF対象に指定できる瞳AF入と顔をAF対象に指定できる(瞳は指定できない)瞳AF切を設定可能な撮像装置について説明する。   In the tracking priority mode, the face and the organs of the face are detected from the image, and the detected face or organ is a candidate designated as an AF target (tracking target) by the user operation (the touch operation in this embodiment). . In addition, a plurality of operation modes in which different AF targets that can be designated by such a touch operation are different are prepared, and the user can set any one of them from the MENU screen. In the following, an organ of a face detected from an image is set as an eye (pupil), and a plurality of operation modes in which specifiable AF targets are different, pupil AF in which face and pupil can be designated as AF targets and faces designated as AF targets A description will be given of an imaging apparatus capable of setting pupil AF OFF which can be performed (the pupil can not be specified).

S301(図3A)において、システム制御部50は、撮影モード初期化処理を行った後、撮像部22を通して取得された映像を、表示部28にライブビューとして表示(LV表示)する。この時の表示先は、表示先切替が「自動」に設定されていて接眼を検知していない場合は背面表示パネル28aであり、接眼を検知している場合は電子ビューファインダー28bである。また、表示先切替が「手動」で、表示先が背面表示パネル28aに設定されている場合は背面表示パネル28aであり、表示先が電子ビューファインダー28bに設定されている場合は電子ビューファインダー28bである。ここで、撮影モード初期化処理とは、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ56から読み出す等の処理である。また記録媒体200の状態を確認し、異常等があれば、ライブビューに重畳して警告等を表示する。   In S301 (FIG. 3A), the system control unit 50 displays the image acquired through the imaging unit 22 as a live view (LV display) on the display unit 28 after performing the imaging mode initialization process. The display destination at this time is the rear display panel 28 a when the display destination switching is set to “automatic” and does not detect an eye, and is the electronic viewfinder 28 b when an eye is detected. Moreover, when the display destination switching is "manual" and the display destination is set to the rear display panel 28a, it is the rear display panel 28a, and when the display destination is set to the electronic viewfinder 28b, the electronic viewfinder 28b It is. Here, the photographing mode initialization processing is processing such as reading out parameters and setting values including flags and control variables, etc., and the setting mode from the non-volatile memory 56. Further, the status of the recording medium 200 is confirmed, and if there is an abnormality or the like, a warning or the like is displayed superimposed on the live view.

S302において、システム制御部50は、瞳、顔、モノを検出中であることを示す枠、もしくは、追尾中であることを示す枠を表示するための枠表示処理を行なう。枠表示処理については、図4A〜4Cを用いて後述する。   In step S302, the system control unit 50 performs frame display processing for displaying a frame indicating that a pupil, a face, or a thing is being detected, or a frame indicating that tracking is in progress. The frame display process will be described later with reference to FIGS. 4A to 4C.

S303において、システム制御部50は、操作部70に含まれるMENUボタンが押下されたか否かを判断する。MENUボタンが押下されたと判断された場合、処理はS304へ進み、そうでなければ処理はS305へ進む。S304において、システム制御部50は、MENU画面を表示する。MENU画面には、瞳AFの設定項目が含まれており、ユーザによって瞳AFの設定項目が選択されると、瞳AFの設定画面が表示部28に表示される。瞳AFの設定画面では、設定候補として「入(オン)」と「切(オフ)」の選択肢が表示され、ユーザはいずれかを選択して瞳AFの入か切のいずれかを設定することが可能である。ユーザ操作によって瞳AFの入/切の設定が変更されると、変更された設定値を不揮発性メモリ56に記憶して設定する。   In step S303, the system control unit 50 determines whether the MENU button included in the operation unit 70 has been pressed. If it is determined that the MENU button has been pressed, the process proceeds to S304, otherwise the process proceeds to S305. In S304, the system control unit 50 displays a MENU screen. The MENU screen includes setting items for pupil AF, and when the setting item for pupil AF is selected by the user, the setting screen for pupil AF is displayed on the display unit 28. On the setting screen of pupil AF, options of “on (on)” and “off (off)” are displayed as setting candidates, and the user selects one of them to set either on or off of pupil AF. Is possible. When the on / off setting of pupil AF is changed by the user operation, the changed setting value is stored in the non-volatile memory 56 and set.

S305において、システム制御部50は、タッチパネル70aに対するタッチ操作(位置指定操作)を検出したか否かを判断する。タッチ操作を検出した場合はS306(図3B)へ進み、そうでなければS316(図3A)へ進む。S306からS315では、瞳AFの入/切と、タッチ操作による表示画面上の指定位置とに基づいて追尾対象を設定する処理が行われる。なお、ここで検出するタッチ操作による位置指定操作は、表示先が背面表示パネル28aである場合はタッチダウンとし、表示先が電子ビューファインダー28bである場合はタッチアップとする。電子ビューファインダー28bへ表示出力している際は、一般的にユーザはタッチパネル上のタッチ位置を目視できないため、確定操作をタッチダウン後のタッチアップとすることで、目的の位置を確定しやすくなるためである。   In step S305, the system control unit 50 determines whether a touch operation (position designation operation) on the touch panel 70a has been detected. If a touch operation is detected, the process proceeds to step S306 (FIG. 3B). If not, the process proceeds to step S316 (FIG. 3A). In S306 to S315, processing for setting a tracking target is performed based on ON / OFF of the pupil AF and the designated position on the display screen by the touch operation. The position designation operation by the touch operation detected here is touch-down when the display destination is the rear display panel 28a, and is touch-up when the display destination is the electronic viewfinder 28b. When displaying and outputting to the electronic view finder 28b, in general, the user can not view the touch position on the touch panel. Therefore, by setting the confirmation operation as touch-up after touch-down, the target position can be easily determined. It is for.

S306(図3B)において、システム制御部50は、瞳AFの設定が入であるか否か(瞳AF入か瞳AF切か)を判断する。瞳AF入であれば処理はS307へ進み、そうでなければS308へ進む。S307において、システム制御部50は、ライブビュー画像から瞳が検出されており、かつ、S305でタッチ操作を検出した際の指定位置(以下、タッチ操作の位置ともいう)が、検出されている瞳の位置か(瞳領域内であるか)否かを判断する。タッチ操作の位置が瞳領域内であれば処理はS308へ進み、そうでなければS311へ進む。なお、S307では、瞳AF入動作モードにおいて、被写体の右側の瞳と左側の瞳を区別して指定することが可能である。   In S306 (FIG. 3B), the system control unit 50 determines whether the setting of the pupil AF is on (whether pupil AF is on or pupil AF is off). If the pupil AF is on, the process proceeds to step S307, otherwise proceeds to step S308. In S307, the system control unit 50 detects the pupil from the live view image, and the pupil at which the designated position (hereinafter also referred to as the position of the touch operation) when the touch operation is detected in S305 is detected. It is determined whether or not the position of (in the pupil region) or not. If the position of the touch operation is within the pupil area, the process proceeds to step S308, otherwise proceeds to step S311. In S307, it is possible to distinguish and designate the right pupil and the left pupil of the object in the pupil AF entering operation mode.

なお、表示先が背面表示パネル28aである場合は、背面表示パネル28aに表示されているライブビューにおける、検出されている瞳に対応する領域内にタッチダウンがされた場合に、タッチ操作の位置が検出されている瞳領域内であると判断する。また、表示先が電子ビューファインダー28bである場合は、指定位置(指定対象)を示すカーソルをタッチムーブによって電子ビューファインダー28bに表示されたライブビューにおいて移動し、タッチアップした時のカーソルの位置をタッチ操作の位置とする。従って、電子ビューファインダー28bに表示されたライブビューの検出されている瞳に対応する領域内にカーソルを移動させた状態でタッチアップされた場合に、タッチ操作の位置が検出されている瞳領域内であると判断する。   When the display destination is the rear display panel 28a, the position of the touch operation when the area corresponding to the detected pupil is touched down in the live view displayed on the rear display panel 28a. Is determined to be within the detected pupil region. When the display destination is the electronic viewfinder 28b, the cursor indicating the designated position (target to be designated) is moved in the live view displayed on the electronic viewfinder 28b by touch move, and the position of the cursor at the time of touch-up Position of touch operation. Therefore, when the cursor is moved up to the area corresponding to the detected pupil of the live view displayed in the electronic view finder 28b, the position in the touch operation is detected in the pupil area when the touch operation is performed. It is determined that

S308において、システム制御部50は、S307で判定した指定位置が、ライブビュー上の被写体に対して、ユーザから見て右側の瞳(被写体の左目)の選択領域内(後述の右上領域703内)か否かを判断する。右側の瞳であれば、S309へ進む。そうでない場合、すなわち、S307で判定した指定位置が、ライブビュー上の被写体に対して、ユーザから見て左側の瞳(被写体の右目)の選択領域内(後述の左上領域702内)である場合は、処理はS310へ進む。   In step S308, the system control unit 50 causes the designated position determined in step S307 to be in the selection area of the right pupil (the left eye of the subject) as viewed from the user with respect to the subject on the live view (in the upper right area 703 described later). Determine if it is or not. If it is the right pupil, the process proceeds to S309. If not, that is, if the designated position determined in S307 is within the selection area (in the upper left area 702 described later) of the left pupil (the right eye of the subject) viewed from the user with respect to the subject on the live view The processing proceeds to step S310.

S309において、システム制御部50は、指定位置で検出されている顔の右側の瞳(検出された顔の左目)を追尾対象として追尾する。S310において、システム制御部50は、指定位置で検出されている顔の左側の瞳(検出された顔の右目)を追尾対象として追尾する。   In step S309, the system control unit 50 tracks the right pupil of the face detected at the designated position (the left eye of the detected face) as a tracking target. In S310, the system control unit 50 tracks the pupil on the left side of the face detected at the designated position (the right eye of the detected face) as a tracking target.

一方、S307で指定位置が瞳領域でなかった場合、S311において、システム制御部50は、タッチ操作による指定位置が、検出されている顔の位置か(顔領域内か)否かを判断する。顔の位置であれば(後述する顔領域701、701a、701b内である場合)、処理はS312へ進み、そうでなければS313へ進む。S312において、システム制御部50は、タッチ操作の指定位置において検出されている顔を追尾対象として追尾する。   On the other hand, when the designated position is not the pupil region in S307, the system control unit 50 determines whether the designated position by the touch operation is the position of the detected face (in the face region) in S311. If it is the position of the face (if it is in the face area 701, 701a, 701b described later), the process proceeds to S312, otherwise proceeds to S313. In S312, the system control unit 50 tracks the face detected at the designated position of the touch operation as a tracking target.

S307、S308、S311における処理について、図7を使って詳細に解説する。図7(a)〜(e)は、表示先が背面表示パネル28aである場合のデジタルカメラ100における顔または瞳を選択するためのタッチ反応領域を示す模式図であり、ライブビューから検出された1つの顔の部分のみを抽出して説明した図である。実際にはライブビュー画像には顔の外側の領域や他の顔などが含まれるが、図7の説明ではそれらは省略する。   The processes in S307, S308, and S311 will be described in detail with reference to FIG. FIGS. 7A to 7E are schematic diagrams showing touch response areas for selecting a face or a pupil in the digital camera 100 when the display destination is the rear display panel 28a, which is detected from the live view It is the figure which extracted and demonstrated only the part of one face. Actually, the live view image includes an area outside the face and other faces, but these are omitted in the description of FIG. 7.

図7(a)は、顔のみが検出されている状態のタッチ反応領域を示す図である。瞳は、目を瞑っている等の理由で検出されていないものとする。このとき、ユーザが選択できるのは顔のみであるため、タッチ反応領域となる顔領域701は顔全体を覆う正方形の領域(高さ、幅ともに長さL)として設定される。このように、システム制御部50は、画像から顔が検出されると、表示画面上の顔の領域に対応する顔領域を設定し、検出された顔と顔領域を関連づける。よって、この状態で顔領域701上においてユーザのタッチ操作が検出されると、顔が選択される。   FIG. 7A is a diagram showing a touch response area in a state where only a face is detected. It is assumed that the pupil is not detected because the eye is closed. At this time, since only the face can be selected by the user, the face area 701 serving as the touch reaction area is set as a square area (both height and width L) covering the entire face. Thus, when a face is detected from the image, the system control unit 50 sets a face area corresponding to the face area on the display screen, and associates the detected face with the face area. Therefore, when the user's touch operation is detected on the face area 701 in this state, the face is selected.

システム制御部50は、検出された顔から所定の器官(本実施形態では瞳)が検出されると、設定した顔領域を複数の領域に分割し、各領域を顔と所定の器官に関連づける。図7(b)は顔と左右の両目が検出されている状態である。このとき、ユーザが選択できるのは顔と、被写体に対して右側の瞳、左側の瞳の3つとなる。このため、図7(b)のように顔領域701を3つに分割し、それぞれ左上タッチ反応領域である左上領域702を左側の瞳、右上タッチ反応領域である右上領域703を右側の瞳、下半分タッチ反応領域である下領域704を顔の選択領域として設定する。なお、本実施形態では、顔に対して口、鼻よりも瞳が存在する側を上方向としている。   When a predetermined organ (pupil in the present embodiment) is detected from the detected face, the system control unit 50 divides the set face area into a plurality of areas, and associates each area with the face and the predetermined organ. FIG. 7B shows a state in which the face and the left and right eyes are detected. At this time, the user can select one from the face, the right pupil, and the left pupil to the subject. Therefore, the face area 701 is divided into three as shown in FIG. 7B, and the upper left area 702 which is the upper left touch reaction area is the left pupil, and the upper right area 703 which is the upper right touch reaction area is the right pupil, A lower area 704 which is a lower half touch reaction area is set as a face selection area. In the present embodiment, the side of the face on which the pupil is present rather than the mouth and nose is the upper direction.

なお、顔領域の分割は、器官の検出時の大きさに関わらず、所定の規則に従って行われる。例えば、検出された顔や器官の大きさに応じて顔領域や器官の領域の大きさが変化しても、顔領域と複数の領域の面積の比率および位置関係を維持するように顔領域の分割が行われる。さらに具体的に例示する、本実施形態では、左上領域702,右上領域703,下領域704の高さと幅は、検出された顔に対する瞳の相対的な大きさ(割合)に関わらず顔領域701の大きさに対して一定の割合であり、次のように設定する。すなわち、左上領域702,右上領域703,下領域704の高さは互いに同じとする(長さL/2、すなわち顔領域701の高さの半分)。また、左上領域702と右上領域703の幅は互いに同じ長さとする(長さL/2。すなわち顔領域701の幅の半分)。下領域704の幅は左上領域702,右上領域703の2倍である(長さL)。これは、顔領域701を上下左右に等分に4分割し、左上の部分、右上の部分、下側の2つの部分をそれぞれ左側の瞳、右側の瞳、顔に対応するタッチ反応領域としたものである。顔と瞳とで反応領域の高さを揃えることで、ユーザは顔と瞳を同じ操作感で選択することが可能となる。また左右の瞳の反応領域の幅を揃えることで、顔が斜めを向いて片方の瞳が小さく検出された場合でも、両方の瞳を同じ操作感で選択することが可能となる。   The division of the face area is performed according to a predetermined rule regardless of the size at the time of detection of the organ. For example, even if the size of the face area or the organ area changes according to the size of the detected face or organ, the ratio of the area of the face area to the plural areas and the positional relationship of the face area are maintained. A split is performed. More specifically, in the present embodiment, the height and width of the upper left area 702, the upper right area 703, and the lower area 704 are the face area 701 regardless of the relative size (ratio) of the pupil to the detected face. It is a fixed ratio to the size of, and set as follows. That is, the heights of the upper left area 702, the upper right area 703, and the lower area 704 are the same (length L / 2, that is, half the height of the face area 701). In addition, the widths of the upper left area 702 and the upper right area 703 are equal to each other (length L / 2, that is, half the width of the face area 701). The width of the lower area 704 is twice that of the upper left area 702 and the upper right area 703 (length L). The face area 701 is divided into four equal parts vertically and horizontally, and the upper left part, the upper right part, and the lower two parts are the touch response area corresponding to the left pupil, the right pupil and the face, respectively. It is a thing. By aligning the heights of the reaction areas between the face and the pupil, the user can select the face and the pupil with the same sense of operation. Further, by equalizing the widths of the reaction regions of the left and right pupils, even when the face is inclined and one pupil is detected to be small, it is possible to select both pupils with the same sense of operation.

図7(c)は顔と片方の瞳(ここでは左側の瞳)のみが検出されている状態である。このときは、図7(b)における右上のタッチ反応領域である右上領域703は、下半分のタッチ反応領域である下領域704と組み合わせて、顔タッチ反応領域705のように設定する。つまり、検出されていない瞳の領域をユーザがタッチした場合は、顔が選択されることとなる。   In FIG. 7C, only the face and one of the pupils (here, the pupil on the left side) are detected. At this time, the upper right area 703, which is the upper right touch reaction area in FIG. 7B, is combined with the lower area 704, which is the lower half touch reaction area, and set as the face touch reaction area 705. That is, when the user touches the area of the undetected pupil, the face is selected.

瞳AFにおいては、ピントを合わせたい瞳が検出されていない場合、撮影者または被写体立ち位置、向きを調節して、瞳が検出されるようにするユースケースがあるが、この行為をしている最中に他の被写体が主被写体として検出されてしまう可能性があり煩わしい。そこで本実施形態では、非検出な瞳をタッチした際には顔を追尾する。このような制御により、主被写体から別の被写体への乗り移りを防ぐことが可能となる。これにより撮影者は、狙った瞳が非検出であっても、自身や被写体を動かして所望な瞳へピントを合わせやすくなる。   In pupil AF, there is a use case in which the pupil is detected by adjusting the photographer or subject standing position and direction when the pupil to be in focus is not detected. It is bothersome that another subject may be detected as a main subject during the process. Therefore, in the present embodiment, when the undetected pupil is touched, the face is tracked. Such control makes it possible to prevent transfer from the main subject to another subject. As a result, the photographer can easily move the subject or the subject and focus on a desired pupil even if the target pupil is not detected.

なお、図7(a)〜図7(c)では顔領域701を正方形としたが、検出する被写体に応じて長方形、ひし形、円形、楕円形など別の形にしてもよい。例えば、人間の顔は実際にはひし形や円形に近いため、図7(d)のようなひし形の顔領域701a、図7(e)のような円形の顔領域701bをタッチ反応領域としても良い。図7(d)、図7(e)の場合、左上タッチ反応領域である領域706,709が左側の瞳、右上タッチ反応領域である領域707,710が右側の瞳、下半分タッチ反応領域である領域708,711が顔の選択領域として設定され得る。また、図7(a)〜図7(c)で、左上領域702と右上領域703の幅、および左上領域702と右上領域703と下領域704の高さを同じ長さとしているが、どちらか一方だけ実施するものでもよい。例えば、図7(f)に示されるように、左上領域702および右上領域703と、下領域704の上下方向の大きさ(高さ)をLa、Lb(La≠Lb,La+Lb=L)で分割するようにしてもよい。   7A to 7C, the face area 701 is a square, but may be another shape such as a rectangle, a rhomb, a circle, or an ellipse depending on the subject to be detected. For example, since a human face is actually close to a rhombus or a circle, a rhombus face area 701a as shown in FIG. 7 (d) or a circular face area 701b as shown in FIG. 7 (e) may be used as a touch reaction area. . In the case of FIGS. 7D and 7E, the upper left touch reaction area 706 is the left pupil, the upper right touch reaction area 707, 710 is the right pupil, and the lower half touch reaction area. Certain areas 708 and 711 may be set as face selection areas. In FIGS. 7A to 7C, the widths of the upper left area 702 and the upper right area 703 and the heights of the upper left area 702, the upper right area 703, and the lower area 704 are the same. Only one may be implemented. For example, as shown in FIG. 7F, the size (height) in the vertical direction of the upper left area 702 and the upper right area 703 and the lower area 704 is divided by La, Lb (La ≠ Lb, La + Lb = L) You may do it.

なお、表示先が電子ビューファインダー28bであった場合には、タッチアップされた際に、指定位置を示すカーソルが、電子ビューファインダー28bに表示されたLV中の顔のうち、図7で説明したどの領域内の位置であるかを判定する。さらに、S307,S308,S311では、背面表示パネル28aを表示先としている場合にタッチダウン位置(タッチダウンされた際のタッチ位置)に基づいて領域を判定したが、タッチダウン位置には基づかず、タッチアップ位置に基づく判定としても良い。   In the case where the display destination is the electronic viewfinder 28b, the cursor indicating the designated position when touched up is described in FIG. 7 among the faces in the LV displayed on the electronic viewfinder 28b. It is determined in which region the position is. Furthermore, in S307, S308, and S311, the area is determined based on the touchdown position (the touch position when the touchdown is performed) when the rear display panel 28a is the display destination, but it is not based on the touchdown position. The determination may be based on the touch-up position.

S313(図3B))において、システム制御部50は、タッチ操作がなされた位置が、後述の解除タッチボタンの位置か否かを判断する。解除タッチボタンの位置でなければ処理はS314へ進み、解除タッチボタンの位置であればS315へ進む。S314において、システム制御部50は、指定位置の被写体を追尾対象としてモノ追尾を実行する。すなわち、LV画像中で指定位置にある被写体の色、コントラスト、形状などを条件として、同一の被写体がLV画像中で移動しても追い続け、AF対象とする。S315において、システム制御部50は、追尾状態を解除して、追尾待機状態になる。   In step S313 (FIG. 3B), the system control unit 50 determines whether the position at which the touch operation has been performed is the position of a release touch button described later. If it is not the position of the release touch button, the process proceeds to S314, and if it is the position of the release touch button, the process proceeds to S315. In step S314, the system control unit 50 performs mono tracking with the subject at the specified position as the tracking target. That is, even if the same subject moves in the LV image, it is tracked and set as an AF target on condition of the color, contrast, shape, etc. of the subject at the designated position in the LV image. In step S315, the system control unit 50 cancels the tracking state and enters the tracking standby state.

S330(図3A)において、システム制御部50は、撮影モードが自分撮りモードかどうか(自分撮り撮影状態であるか否か)を判断する。自分撮りモードは前述したようにその他撮影モードと同様にメニュー項目に存在していて、ユーザが事前に設定しておいても良いし、もしくはユーザが表示部28を自分の方に向けている場合に自動的に自分撮りモードに遷移しても良い。もしくはアウトカメラとインカメラのうち、表示手段28の表示面側を撮影方向とするインカメラで撮影する状態トした場合に自分撮りモードに遷移してもよい。   In step S330 (FIG. 3A), the system control unit 50 determines whether the shooting mode is the self-shooting mode (whether the self-shooting mode is set). As described above, the self-portrait mode is present in the menu items as in the other shooting modes, and the user may set in advance, or the user points the display unit 28 toward him. It may transition to the self-portrait mode automatically. Alternatively, of the out-camera and the in-camera, when the camera is in a state in which shooting is performed with the in-camera in which the display surface side of the display unit 28 is the shooting direction, transition to the self-shooting mode may be performed.

システム制御部50がS330で自分撮りモードだと判定した場合の処理について図8を用いて説明する。   A process when the system control unit 50 determines that the mode is the self shooting mode in S330 will be described with reference to FIG.

S801(図3D)において、システム制御部50は、瞳AF設定が入かどうかを判断する。切と判断された場合は本処理を抜けてS316に進む。入と判断された場合、システム制御部50では、どちらの瞳が検出/追尾されているかをS802〜S805で判断する。ここでは右目がAF対象(フォーカス調整の対象)として指定されているという前提で説明を行う。   In step S801 (FIG. 3D), the system control unit 50 determines whether pupil AF setting is on. If it is determined that the switch is off, the process exits the process and proceeds to S316. If it is determined that the light is on, the system control unit 50 determines in S802 to S805 which pupil is being detected / tracked. Here, description will be made on the assumption that the right eye is designated as an AF target (target for focus adjustment).

S802で右目がAF対象として指定されていると判定された場合の画面を図8(a)に示す。画面850において、主被写体851の顔枠852とともに、AF対象として指定されている右目に検出枠853が重畳されている。ユーザはこのような画面をみることで、どちらの瞳が検出されていてフォーカスが合うのかをリアルタイムに確認することができる。   FIG. 8A shows a screen when it is determined in S802 that the right eye is designated as an AF target. In the screen 850, a detection frame 853 is superimposed on the right eye designated as the AF target together with the face frame 852 of the main subject 851. By looking at such a screen, the user can confirm in real time which pupil is detected and in focus.

S807で検出された右目が一定時間閉じられたかどうか(画像を解析して目を瞑るという所定の状態/特定状態が所定時間継続したことが検出されたか否か)をシステム制御部50では判定する。ユーザが意図せずにAF対象として指定されている右目をつぶってしまう可能性もあるため、一定時間閉じられたかを判定する。閉じられていないと判定された場合、S808にて右目を追尾対象とする。この様子を図8(b)に示す。一重だった枠852が二重854となっており、ロックされていることがユーザにわかりやすい表現となっている。S807にて一定時間検出されている目がつぶっていると判定された場合は、S809にてもう一つの左目を追尾対象とする。この様子を図8(c)に示す。このようにカメラが自動的にAF対象(追尾対象)に指定した目が、フォーカスを合わせたくない目だった場合に、ユーザは所定秒数だけ目をつぶるだけでもう片方の目にフォーカスが合い、しかも追尾対象とする。そのため、ポージングを崩すことなく、所望の目にフォーカスを合わせた状態でスムーズに撮影を行うことができる。なお、この状態でユーザが閉じている目を開けても、ロックされた方の目にロックを維持し続ける。ここまで右目がAF対象だった場合を例に説明したが、逆の場合の処理がS804,S805、S810,S811,S813で説明しているが、同様の挙動となるため割愛する。またS806で顔が検出されていれば、S812にて顔そのものを追尾対象とする。これにより、どちらの瞳でもなく顔そのものにAFしたい場合は、両目を所定時間閉じることで顔そのものを追尾対象とすることができる。このときの画面を図8(d)に記す。先ほどと同様、この状態で両目を開けても顔そのものを追尾対象としてもよい。S808〜S812までで追尾対象がきまると、S814の枠表示処理へと遷移にする。枠表示処理については先ほど説明したため、ここでは割愛する。   The system control unit 50 determines whether the right eye detected in S807 is closed for a predetermined time (a predetermined state of analyzing an image and closing the eye / a detection of whether a specific state continues for a predetermined time). . Since there is also a possibility that the user may crush the right eye designated as an AF target without intention, it is determined whether it has been closed for a predetermined time. If it is determined that it is not closed, the right eye is to be tracked in S808. This situation is shown in FIG. 8 (b). The single frame 852 is double 854, and it is an expression that the user can easily understand that the lock is made. If it is determined in S807 that the eyes that have been detected for a predetermined period of time are closed, then the other left eye is to be tracked in S809. This situation is shown in FIG. 8 (c). Thus, if the eye that the camera has automatically specified as the AF target (tracking target) is an eye that you do not want to focus on, the user can focus on the other eye only by closing the eye for a predetermined number of seconds. Moreover, it is a tracking target. Therefore, shooting can be smoothly performed in a state in which the desired eye is in focus without breaking the pose. In this state, even if the user opens his closed eyes, the locked eyes continue to maintain the lock. So far, the case where the right eye is the AF target has been described as an example, but the processing in the opposite case has been described in S804, S805, S810, S811, and S813. If a face is detected in step S806, the face itself is set as a tracking target in step S812. As a result, when it is desired to perform AF on the face itself without using either of the pupils, the face itself can be made a tracking target by closing both eyes for a predetermined time. The screen at this time is shown in FIG. As in the previous case, the face itself may be the tracking target even if the eyes are open in this state. When the tracking target is determined in steps S808 to S812, the transition to the frame display processing in step S814 is made. The frame display process has been described earlier, so it is omitted here.

S316(図3A)において、システム制御部50は、シャッターボタン61が半押しされ第1シャッタースイッチ62がオンとなったか(撮影準備指示がなされたか)否かを判断する。シャッターボタン61が半押しされた場合は、処理はS317(図3C)へ進み、そうでなければS324へ進む。   In S316 (FIG. 3A), the system control unit 50 determines whether or not the first shutter switch 62 has been turned on (the photographing preparation instruction has been made) or not. If the shutter button 61 is half-depressed, the process proceeds to S317 (FIG. 3C), otherwise proceeds to S324.

S317〜S323(図3C)では、シャッターボタン61の半押しによる撮影準備動作が実行され、シャッターボタン61の全押しの検出に応じて撮影処理が実行される。まず、S317において、システム制御部50は、後述のAF処理を行う。AF処理については図5A〜5Bを用いて後述する。S318において、システム制御部50は、測光処理を行う。S319において、システム制御部50は、シャッターボタン61が全押しされ第2シャッタースイッチ64がオンとなったか否かを判断する。シャッターボタン61が全押しされた場合は、処理はS321へ進み、そうでなければS320へ進む。S320において、システム制御部50は、第1シャッタースイッチ62のオン(シャッターボタン61の半押し)が維持されているか否かを判断する。維持されている場合は、処理はS319へ進み、そうでなければS302へ進む。   In steps S317 to S323 (FIG. 3C), the photographing preparation operation is performed by half-pressing the shutter button 61, and the photographing process is performed according to the detection of the full-pressing of the shutter button 61. First, in step S317, the system control unit 50 performs an AF process described later. The AF processing will be described later with reference to FIGS. 5A to 5B. In S318, the system control unit 50 performs photometric processing. In step S319, the system control unit 50 determines whether the shutter button 61 is fully pressed and the second shutter switch 64 is turned on. If the shutter button 61 is full-pressed, the process proceeds to S321, otherwise proceeds to S320. In S320, the system control unit 50 determines whether or not the first shutter switch 62 is kept on (half pressing of the shutter button 61). If it is maintained, the process proceeds to S319, otherwise proceeds to S302.

S319で第2シャッタースイッチ64がオンである(シャッターボタン61の全押し状態)と判断された場合、S321において、システム制御部50は、撮影処理を行う。これは、ライブビュー撮影のための撮影ではなく、記録媒体に画像ファイルとして画像を記録するための本撮影である。設定された露光条件(シャッター速度、絞り値)で露光を行い、撮像部22から信号読み出しを行い、画像処理を施して記録媒体200に記録するための画像を生成する。S322において、システム制御部50は、S321で撮影した画像を記録媒体200へ記録する。なお、システム制御部50は、これと同時に、S323でLV表示を再開する前に、撮影された画像を確認表示するクイックレビュー(レックレビュー)表示を行っても良い。S323において、システム制御部50は、LV画像の撮像を再開し、表示部28にライブビュー画像表示を行なう。   If it is determined in S319 that the second shutter switch 64 is on (the fully-pressed state of the shutter button 61), the system control unit 50 performs an imaging process in S321. This is not shooting for live view shooting but actual shooting for recording an image as an image file on a recording medium. Exposure is performed under the set exposure conditions (shutter speed, aperture value), signals are read from the imaging unit 22, image processing is performed, and an image to be recorded on the recording medium 200 is generated. In S322, the system control unit 50 records the image captured in S321 on the recording medium 200. At the same time, the system control unit 50 may perform quick review (rec review) display for confirming and displaying the captured image before resuming LV display in S323. In S323, the system control unit 50 resumes imaging of the LV image, and displays a live view image on the display unit 28.

S316(図3A)で、第1シャッタースイッチ62のオン(シャッターボタンの半押し状態)が検出さなかった場合、S324において、システム制御部50は、操作部70に対しその他の操作がなされたか否かを判断する。その他の操作がなされたと判断された場合は、処理はS325へ進み、そうでなければS326へ進む。S325において、システム制御部50は、その他の処理を行なう。例えば操作部70が操作されたことに応じて、シャッタースピードなどの撮影パラメータの変更などの処理を行なう。一方、S326では、システム制御部50は、操作部70に対し終了操作(電源オフ操作や、再生モード等の他の動作モードへの変更操作等)がなされたか否かを判断する。終了操作がなされたと判断された場合は、本処理は終了する。終了操作がなされていないと判断された場合は、処理はS302へ戻り、上述の動作が繰り返される。   If it is not detected in S316 (FIG. 3A) that the first shutter switch 62 is on (half-pressed state of the shutter button), the system control unit 50 determines in S324 whether or not another operation is performed on the operation unit 70. To judge. If it is determined that another operation has been performed, the process proceeds to S325, otherwise proceeds to S326. In S325, the system control unit 50 performs other processing. For example, in response to the operation of the operation unit 70, processing such as change of shooting parameters such as shutter speed is performed. On the other hand, in S326, the system control unit 50 determines whether a termination operation (a power off operation, an operation for changing to another operation mode such as a reproduction mode, or the like) has been performed on the operation unit 70. If it is determined that the end operation has been performed, the present process ends. If it is determined that the end operation has not been performed, the process returns to S302 and the above-described operation is repeated.

図4A〜4Cは、図3A〜3Cで説明したS302の枠表示処理の詳細を示すフローチャートである。また図6A〜6Cは、本実施形態における画面例を示す模式図である。本実施形態では、被写体が検出された状態であることを示すアイテム(枠)および被写体が追尾されている状態であることを示すアイテム(枠)が、LV画像に重畳して表示される。   FIGS. 4A to 4C are flowcharts showing the details of the frame display process of S302 described in FIGS. 3A to 3C. 6A to 6C are schematic views showing screen examples in the present embodiment. In the present embodiment, an item (frame) indicating that the subject is detected and an item (frame) indicating that the subject is being tracked are displayed superimposed on the LV image.

S401(図4A)において、システム制御部50は、不揮発性メモリ56に記録された設定情報を参照し、瞳AFの設定が入であるか否か(瞳AF入か瞳AF切か)を判断する。瞳AF入であれば処理はS408へ進み、そうでなければ(瞳AF切であれば)S402へ進む。S402において、システム制御部50は、被写体を追尾中か否かを判断する。被写体を追尾中の場合は、処理はS403へ進み、そうではなく追尾待機状態であればS404へ進む。   In step S401 (FIG. 4A), the system control unit 50 refers to the setting information stored in the non-volatile memory 56 and determines whether the setting of pupil AF is on (whether pupil AF is input or pupil AF is cut). Do. If the pupil AF is on, the process proceeds to S408, and if not (if pupil AF is off), the process proceeds to S402. In step S402, the system control unit 50 determines whether the subject is being tracked. If the subject is being tracked, the process proceeds to step S403. If not so, the process proceeds to step S404.

S404において、システム制御部50は、顔またはモノが検出されているか否かを判断する。顔またはモノが検出されている場合、処理はS405へ進み、そうでない場合はS431へ進む。図6Aの(a)は追尾待機状態で、顔も検出していない場合のLV画像601表示例である。これは、S431へ進む条件を満たしている場合であって、シャッターボタン61が半押しされる前の表示状態に相当する。LV画像601に、撮影情報表示602が重畳して表示されている。LV画像601において、例として被写体603(人物の被写体603a、モノ(自動車)の被写体603b)が図示されているが、図6Aの(a)は仮にこれらが検出されなかった場合の表示例である。実際は壁や空のみといった、人物もモノも検出できない被写体が撮影されている場合にこの表示状態となる。S404で顔またはモノが検出されていると判定された場合、S405において、システム制御部50は、人物の顔が検出されているか否かを判断する。人物の顔が検出されている場合、処理は後述の図4CのS427(図6Aの(b)に示すような顔検出枠604が表示される)へ進み、そうでなければ後述の図4CのS429(図6Bの(h)に示すようなモノ検出枠610が表示される)へ進む。   In S404, the system control unit 50 determines whether a face or a thing is detected. If a face or a thing is detected, the process proceeds to S405, otherwise proceeds to S431. FIG. 6A (a) shows a display example of the LV image 601 when the face is not detected in the tracking standby state. This corresponds to the display state before the shutter button 61 is half-pressed when the condition for proceeding to S431 is satisfied. The imaging information display 602 is displayed superimposed on the LV image 601. In the LV image 601, a subject 603 (a subject 603a of a person, a subject 603b of a thing (automobile)) is illustrated as an example, but (a) of FIG. 6A is a display example when these are not detected. . In actuality, this display state occurs when a subject such as only a wall or sky in which neither person nor thing can be detected is being photographed. If it is determined in S404 that a face or a thing is detected, in S405, the system control unit 50 determines whether the face of a person is detected. If the face of a person is detected, the process proceeds to S427 of FIG. 4C described later (a face detection frame 604 as shown in (b) of FIG. 6A is displayed); otherwise, FIG. The process proceeds to S429 (a mono detection frame 610 as shown in (h) of FIG. 6B is displayed).

S402(図4A)において被写体を追尾中でないと判断された場合、S403において、システム制御部50は、被写体の顔を追尾中か否かを判断する。顔を追尾中の場合は、処理はS406へ進み、そうでなければS407へ進む。S406において、システム制御部50は、表示部28に顔追尾枠を表示して、処理を図4BのS418(追尾中の顔でコンティニュアスAFを行う)へ進める。図6Aの(c)は、被写体603aの顔を追尾している場合の表示例である。システム制御部50は、人物の顔を囲うように顔追尾枠605を表示し、追尾状態を解除するためのタッチボタンである追尾解除ボタン606を画面端に表示する。一方、図4AのS407では、システム制御部50は、表示部28にモノ追尾枠を表示して、処理を図4BのS420(追尾中のモノでコンティニュアスAFを行う)へ進める。図6Aの(d)はモノを追尾している場合の表示例である。車を囲うように、モノ追尾枠607が表示されている。   If it is determined that the subject is not being tracked in S402 (FIG. 4A), the system control unit 50 determines whether the face of the subject is being tracked in S403. If the face is being tracked, the process advances to step S406; otherwise, the process advances to step S407. In S406, the system control unit 50 displays a face tracking frame on the display unit 28, and advances the process to S418 in FIG. 4B (perform continuous AF on the face being tracked). (C) of FIG. 6A is a display example when the face of the subject 603a is being tracked. The system control unit 50 displays a face tracking frame 605 so as to surround the face of a person, and displays a tracking release button 606, which is a touch button for releasing the tracking state, on the screen edge. On the other hand, in S407 of FIG. 4A, the system control unit 50 displays a mono tracking frame on the display unit 28, and advances the processing to S420 of FIG. 4B (perform continuous AF with mono tracking target). (D) of FIG. 6A is a display example when tracking a thing. The thing tracking frame 607 is displayed so as to surround the car.

S401(図4A)で瞳AF入ではない(瞳AF切)と判断された場合、S408において、システム制御部50は、被写体を追尾中か否かを判断する。被写体を追尾中の場合は、処理はS409(図4B)へ進み、そうでなければS421(図4A)へ進む。S409(図4B)において、システム制御部50は、被写体の瞳を追尾中か否かを判断する。瞳を追尾中の場合は、処理はS410へ進み、そうでなければS413へ進む。   If it is determined in S401 (FIG. 4A) that the pupil AF is not on (the pupil AF is off), in S408, the system control unit 50 determines whether or not the subject is being tracked. If the subject is being tracked, the process proceeds to S409 (FIG. 4B), otherwise the process proceeds to S421 (FIG. 4A). In step S409 (FIG. 4B), the system control unit 50 determines whether the pupil of the subject is being tracked. If the eye is being tracked, the process proceeds to step S410; otherwise, the process proceeds to step S413.

S410において、システム制御部50は、表示部28に瞳追尾枠を表示する。また瞳が検出されている場合は顔も検出されている。従って、S411において、システム制御部50は、表示部28において、LV画像601上の検出されている顔の位置に顔検出枠を重畳して表示する。図6Bの(e)は瞳を追尾している状態の表示例である。LV画像601において、瞳を囲うように、瞳追尾枠608が表示されている。また瞳が検出されている場合は顔も検出されているため、LV画像601上に顔検出枠604も表示されている。   In S410, the system control unit 50 displays a pupil tracking frame on the display unit 28. When the pupil is detected, the face is also detected. Therefore, in step S411, the system control unit 50 superimposes and displays a face detection frame on the position of the face detected on the LV image 601 on the display unit 28. (E) of FIG. 6B is a display example of a state in which the pupil is tracked. In the LV image 601, a pupil tracking frame 608 is displayed so as to surround the pupil. When the pupil is detected, a face is also detected, so a face detection frame 604 is also displayed on the LV image 601.

S412において、システム制御部50は、追尾中の瞳の位置をコンティニュアスAFの対象位置(AF位置)に設定し、コンティニュアスAFを行う。ここでは、検出されている顔の右目と左目のうち、ユーザによって追尾対象として指定された側の瞳がコンティニュアスAFの対象となる。すなわち、デジタルカメラ100までの距離が近い方の目か否か、あるいはサイズの大きい方の目であるか否かに関わらず、ユーザが追尾対象として指定した方の目がAFの対象となる。このように瞳を追尾対象とすることで、よりユーザの意図通りの瞳をAFの対象とすることができる。ここでのコンティニュアスAFとは、撮影操作がなされていない待機中に、継続的に、被写体の位置に応じて自動的にピントを合わせ続ける機能を指す。   In step S412, the system control unit 50 sets the position of the pupil being tracked as the target position of continuous AF (AF position), and performs continuous AF. Here, the pupil on the side designated as the tracking target by the user among the right eye and the left eye of the detected face is the target of the continuous AF. That is, regardless of whether the distance to the digital camera 100 is the closer eye or the larger size eye, the eye designated by the user as the tracking target is the AF target. By thus setting the pupil as the tracking target, it is possible to set the pupil as intended by the user as the AF target. Here, the continuous AF refers to a function of continuously and automatically focusing on a subject according to the position of the subject during standby in which no shooting operation has been performed.

S409で瞳を追尾中ではないと判断された場合、S413において、システム制御部50は、被写体の顔を追尾中か否かを判断する。被写体の顔を追尾中の場合は、処理はS414へ進み、そうでなければS419へ進む。S414では、システム制御部50は、表示部28に顔追尾枠を表示する。図6Aの(c)に示されるように、LV画像601上の追尾中の顔を囲うように顔追尾枠605が表示される。S415において、システム制御部50は、被写体の瞳が検出されているか否かを判断する。瞳が検出されている場合は、処理はS416へ進み、そうでなければS418へ進む。   If it is determined in S409 that the eye is not being tracked, in S413, the system control unit 50 determines whether the face of the subject is being tracked. If the face of the subject is being tracked, the process proceeds to S414, otherwise proceeds to S419. In S414, the system control unit 50 displays a face tracking frame on the display unit 28. As shown in (c) of FIG. 6A, a face tracking frame 605 is displayed so as to surround the face being tracked on the LV image 601. In step S415, the system control unit 50 determines whether the pupil of the subject is detected. If a pupil has been detected, the process proceeds to S416, otherwise proceeds to S418.

S416において、システム制御部50は、顔追尾枠に加えて、表示部28に瞳検出枠を表示する。図6Bの(f)は瞳を検出し、顔を追尾している状態の表示例である。LV画像601において、瞳を囲うように、瞳検出枠609を表示している。また顔が追尾されているため、S414で表示された顔追尾枠605が引き続き表示されている。その後、S417において、システム制御部50は、検出されている瞳の位置をコンティニュアスAFの対象位置に設定し、コンティニュアスAFを行う。このように、瞳追尾中でなくても、顔を追尾しており、瞳も検出されているのであれば、検出されている瞳にAFが行われる。ただし、ここでAF対象となる瞳は、追尾している顔の右目と左目のうち、システム制御部50が自動的に主被写体と判定して選択した瞳となる。システム制御部50は、基本的にはデジタルカメラ100までの距離が近い方の目(至近側の目)、あるいはサイズの大きい方の目を選択してAF対象とする。   In S <b> 416, the system control unit 50 displays the pupil detection frame on the display unit 28 in addition to the face tracking frame. (F) of FIG. 6B is a display example of a state in which the pupil is detected and the face is tracked. In the LV image 601, a pupil detection frame 609 is displayed so as to surround the pupil. In addition, since the face is being tracked, the face tracking frame 605 displayed in S414 is continuously displayed. Thereafter, in S417, the system control unit 50 sets the position of the detected pupil as the target position of the continuous AF, and performs the continuous AF. As described above, even if the pupil tracking is not in progress, AF is performed on the detected pupil if the face is tracked and the pupil is also detected. However, the pupil that is the AF target here is the pupil that the system control unit 50 automatically determines as the main subject among the right eye and the left eye of the face being tracked. The system control unit 50 basically selects an eye closer to the digital camera 100 (closest eye) or an eye with a larger size as an AF target.

S415で瞳が検出されていないと判断された場合、S418において、システム制御部50は、追尾中の顔の位置をコンティニュアスAFの対象位置に設定し、コンティニュアスAFを行う。ここでは、瞳が検出されていないため、AFの対象は顔全体、あるいは顔の中央1点といった、瞳の位置に関わらない位置を対象としてAFが行われる。   If it is determined in S415 that the pupil is not detected, in S418, the system control unit 50 sets the position of the face being tracked as the target position of the continuous AF, and performs the continuous AF. Here, since the pupil is not detected, AF is performed on a position that is not related to the position of the pupil, such as the entire face or one center of the face.

瞳も顔も追尾中ではないと判断された場合(S409およびS413でNOの場合)、S419では、システム制御部50は、表示部28にモノ追尾枠を表示する。モノ追尾枠の表示例は、前述の図6Aの(d)で示した通りである。S420において、システム制御部50は、追尾中のモノの位置をコンティニュアスAFの対象位置に設定し、コンティニュアスAFを行う。   When it is determined that neither the pupil nor the face is in tracking (in the case of NO in S409 and S413), in S419, the system control unit 50 displays a mono tracking frame on the display unit 28. A display example of the mono tracking frame is as shown in (d) of FIG. 6A described above. In S420, the system control unit 50 sets the position of the object being tracked as the target position of the continuous AF, and performs the continuous AF.

S408(図4A)で追尾中の被写体が存在しないと判断された場合、S421において、システム制御部50は、人物の顔、瞳、モノのいずれかの被写体が検出されているか否かを判断する。そのような被写体が検出されていると判断された場合は、処理はS422(図4C)へ進み、そうでなければ(すなわち、顔、人、モノの何れも検出されていない状態であれば)S431(図4A)へ進む。   If it is determined in S408 (FIG. 4A) that the subject being tracked does not exist, in S421, the system control unit 50 determines whether any subject of a person's face, pupil, or thing is detected. . If it is determined that such a subject has been detected, the process proceeds to S422 (FIG. 4C), otherwise (if none of the face, person, or thing is detected) Go to S431 (FIG. 4A).

S422(図4C)において、システム制御部50は、被写体の瞳が検出されているか否かを判断する。被写体の瞳が検出されている場合は、処理はS423へ進み、そうでなければS426へ進む。S423において、システム制御部50は、表示部28に表示されたライブビューに重畳して、検出されている顔の瞳の位置に瞳検出枠を表示する。また瞳が検出されている場合は顔も検出されているため、S424において、システム制御部50は、表示部28に表示されたライブビューに重畳して、検出されている顔の位置に顔検出枠を表示する。図6Bの(g)は、S424において顔と瞳を検出している状態における表示例である。顔と瞳をそれぞれ囲うように、顔検出枠604、瞳検出枠609が表示されている。S425において、システム制御部50は、S417と同様に、検出されている瞳の位置をコンティニュアスAF位置に設定し、コンティニュアスAFを行う。ここでAF対象となる瞳は、追尾している顔の右目と左目のうち、システム制御部50が自動的に主被写体と判定して選択した瞳となる。   In S422 (FIG. 4C), the system control unit 50 determines whether the pupil of the subject is detected. If the subject's pupil has been detected, the process proceeds to S423, otherwise proceeds to S426. In step S423, the system control unit 50 superimposes the live view displayed on the display unit 28 and displays a pupil detection frame at the position of the pupil of the face being detected. In addition, since the face is also detected when the pupil is detected, the system control unit 50 detects the face at the position of the detected face superimposed on the live view displayed on the display unit 28 in S424. Display a frame. (G) of FIG. 6B is a display example in a state where the face and the pupil are detected in S424. A face detection frame 604 and a pupil detection frame 609 are displayed so as to surround the face and the pupil, respectively. In S425, as in S417, the system control unit 50 sets the position of the detected pupil as the continuous AF position, and performs the continuous AF. Here, the pupil to be the AF target is the pupil which the system control unit 50 automatically determines as the main subject and is selected among the right eye and the left eye of the face being tracked.

S422で瞳が検出されていないと判断された場合、S426において、システム制御部50は、人物の顔を検出しているか否かを判断する。顔を検出していると判断された場合は、処理はS427へ進み、そうでなければS429へ進む。S427において、システム制御部50は、表示部28に表示されたライブビューに重畳して、検出されている顔の位置に顔検出枠を表示する。図6Aの(b)は、顔検出枠604が表示された状態を示している。S428において、システム制御部50は、検出されている顔の位置をコンティニュアスAF位置に設定し、コンティニュアスAFを行う。   If it is determined in S422 that the pupil is not detected, in S426, the system control unit 50 determines whether the face of a person is detected. If it is determined that the face is detected, the process proceeds to S427, otherwise proceeds to S429. In S427, the system control unit 50 superimposes the live view displayed on the display unit 28, and displays a face detection frame at the position of the detected face. (B) of FIG. 6A shows a state in which the face detection frame 604 is displayed. In S428, the system control unit 50 sets the position of the detected face as the continuous AF position, and performs the continuous AF.

検出中の被写体が瞳でも顔でもない場合(S422、S426でNO)、S429において、システム制御部50は、表示部28に表示されたライブビューに重畳して、検出されているモノの位置にモノ検出枠を表示する。図6Bの(h)はモノを検出している状態を示す図である。車(被写体603b)を囲うように、モノ検出枠610が表示されている。S430において、システム制御部50は、検出されているモノの位置をコンティニュアスAF位置に設定し、コンティニュアスAFを行う。   When the subject being detected is neither a pupil nor a face (S422, NO in S426), in S429, the system control unit 50 superimposes on the live view displayed on the display unit 28 and detects the position of the thing being detected. Display the item detection frame. (H) of FIG. 6B is a figure which shows the state which is detecting a thing. A thing detection frame 610 is displayed so as to enclose a car (subject 603b). In S430, the system control unit 50 sets the position of the object being detected as the continuous AF position, and performs the continuous AF.

瞳AFの入/切の状態に関わらず、被写体を追尾中でも検出中でもない場合(S404でNOまたはS421でNO)、S431において、システム制御部50は、その他の位置をコンティニュアスAF位置に設定し、コンティニュアスAFを行う。   If the subject is not being tracked or detected (NO in S404 or NO in S421), the system control unit 50 sets the other positions to the continuous AF position regardless of the state of ON / OFF of the pupil AF (NO in S404 or NO in S421). And perform continuous AF.

なお、検出された被写体を示すアイテム(被写体が検出状態であることを示すアイテム)である顔検出枠604、瞳検出枠609、モノ検出枠610には、検出された範囲を示す一重の枠が用いられている。このように、検出された状態であることを示すアイテムには、被写体に関わらず同一の表現が用いられる。また、追尾対象に指定された状態であることを示すアイテムである顔追尾枠605、モノ追尾枠607、瞳追尾枠608には、追尾対象の被写体の範囲を示す二重の枠が用いられている。このように、追尾対象に指定された状態であることを示すアイテムには、被写体に関わらず同一の表現が用いられるが、検出された状態を示すアイテムとは異なる表現となっている。なお、検出状態および追尾状態を示すアイテムの表示形態は、上記例(一重枠と二重枠)に限られるものではない。   The face detection frame 604, the pupil detection frame 609, and the object detection frame 610, which are items indicating the detected subject (items indicating that the subject is in the detection state), have single frames indicating the detected range. It is used. As described above, the same expression is used for the item indicating the detected state regardless of the subject. Also, for the face tracking frame 605, the mono tracking frame 607, and the pupil tracking frame 608, which are items indicating that the state is specified as the tracking target, a double frame indicating the range of the tracking target object is used. There is. As described above, the same expression is used for the item indicating the state designated as the tracking target regardless of the subject, but the expression is different from the item indicating the detected state. The display form of the item indicating the detection state and the tracking state is not limited to the above example (single frame and double frame).

図5A〜5Bは、本実施形態によるデジタルカメラ100のAF処理に関するフローチャートである。   5A to 5B are flowcharts related to the AF process of the digital camera 100 according to the present embodiment.

S501(図5A)において、システム制御部50は、不揮発性メモリ56に記録された設定情報を参照し、瞳AFの設定が入であるか否かを判断する。瞳AF入であればS513(図5B)へ進み、そうでなければS502(図5A)へ進む。S502〜S512(図5A)の処理は、瞳AF切におけるAF処理である。また、S513〜S526(図5B)の処理は、瞳AF入におけるAF処理である。   In step S501 (FIG. 5A), the system control unit 50 refers to the setting information recorded in the non-volatile memory 56 and determines whether the setting of the pupil AF is on. If the pupil AF is on, the process proceeds to S513 (FIG. 5B). If not, the process proceeds to S502 (FIG. 5A). The processing of S502 to S512 (FIG. 5A) is an AF processing at pupil AF off. Further, the processing of S513 to S526 (FIG. 5B) is an AF processing at pupil AF entry.

S502(図5A)において、システム制御部50は、被写体の顔を追尾中か否かを判断する。顔を追尾中の場合はS503へ進み、そうでなければS507へ進む。S503において、システム制御部50は、被写体の瞳が検出されているか否かを判断する。瞳が検出されている場合はS504へ進み、そうでなければS505へ進む。S504において、システム制御部50は、検出されている瞳の位置をAF位置に設定し、AFを行う。ここでAF対象となる瞳は、追尾している顔の右目と左目のうち、システム制御部50が自動的に主被写体と判定して選択した瞳となる。一方、S505では、システム制御部50は、追尾中の顔の位置をAF位置に設定し、AFを行う。   In step S502 (FIG. 5A), the system control unit 50 determines whether the face of the subject is being tracked. If the face is being tracked, the process advances to step S503; otherwise, the process advances to step S507. In step S503, the system control unit 50 determines whether the subject's pupil is detected. If the pupil is detected, the process proceeds to step S504. If not, the process proceeds to step S505. In S504, the system control unit 50 sets the position of the detected pupil as an AF position, and performs AF. Here, the pupil to be the AF target is the pupil which the system control unit 50 automatically determines as the main subject and is selected among the right eye and the left eye of the face being tracked. On the other hand, in S505, the system control unit 50 sets the position of the face being tracked as the AF position, and performs AF.

S506において、システム制御部50は、表示部28に、S504でAFを行った瞳の位置、または、S505でAFを行った顔の位置に、AF結果枠を表示する。シャッターボタン61の半押しに応じたAFが実行されると、検出された状態であることを示すアイテム(顔、瞳、モノ検出枠)および指定された状態であることを示すアイテム(顔、瞳、モノ追尾枠)は非表示とされ、AF結果枠が表示される。例えば、図6Bの(f)の状態から、AFが完了すると、追尾枠、検出枠は非表示となり、図6Cの(j)のようにAF結果枠が表示される。図6Cの(j)はLV画像601の顔の位置に顔AF結果枠612を表示した場合の表示例である。顔を囲うように、顔AF結果枠612を表示している。なお、S504を経てS506へ到達した場合においても、瞳AF結果枠ではなく顔AF結果枠612を表示している。これは、ユーザが瞳AFの設定を切にしているために、ユーザとしては被写体の顔全体でAFをすることを期待していると想定されるためである。   In step S506, the system control unit 50 displays an AF result frame on the display unit 28 at the position of the pupil on which AF was performed in step S504 or on the position of the face on which AF was performed in step S505. When AF corresponding to a half depression of the shutter button 61 is performed, an item (face, pupil, object detection frame) indicating that it is in a detected state and an item (face, pupil that is indicating a specified state) , The mono tracking frame) is not displayed, and the AF result frame is displayed. For example, from the state of (f) in FIG. 6B, when the AF is completed, the tracking frame and the detection frame are not displayed, and the AF result frame is displayed as in (j) of FIG. 6C. (J) of FIG. 6C is a display example when the face AF result frame 612 is displayed at the position of the face of the LV image 601. A face AF result frame 612 is displayed so as to surround the face. Note that, even when S 506 is reached after reaching S 504, the face AF result frame 612 is displayed instead of the pupil AF result frame. This is because it is assumed that the user expects to perform AF over the entire face of the subject because the user turns off the setting of the pupil AF.

仮にここで顔ではなく瞳に対してAF結果枠を表示すると、ユーザは、瞳AFの設定を切にしているにも関わらず、その設定が反映されなかったために瞳AFが行われてしまったと誤認する可能性がある。あるいは、ユーザは顔にAF結果枠が表示されると想定していたのに瞳にAF結果枠が表示されることで違和感を持つ可能性がある。このような誤認や違和感が生じると、ユーザは、期待通り顔にAF結果枠が表示されるまで、シャッターボタン61の半押し状態を解除して再度シャッターボタン61を半押ししてAFを行う(再AFを行う)ことを繰り返してしまう可能性もある。その場合、ユーザはシャッターチャンスを逃してしまうこともある。このような事態を未然に防止し、ユーザの想定に合わせるために、本実施形態ではS504を経てS506へ到達した場合も、瞳ではなく顔を囲うようにAF結果枠を表示する。これによって、ユーザにとって違和感の無いAF結果の通知を実現でき、その後の撮影動作をスムーズに行うことが可能となる。   If the AF result frame is displayed not for the face but for the pupil here, even though the user is setting the pupil AF off, the pupil AF is performed because the setting is not reflected. There is a possibility of misidentification. Alternatively, the user may feel discomfort because the AF result frame is displayed on the pupil although it is assumed that the AF result frame is displayed on the face. If such a misidentification or strange feeling occurs, the user cancels the half-pressed state of the shutter button 61 and performs half-pressing the shutter button 61 again to perform AF until the AF result frame is displayed on the face as expected. There is also the possibility of repeating the AF). In that case, the user may miss the shutter opportunity. In order to prevent such a situation in advance and to conform to the user's assumption, in the present embodiment, also when reaching S506 after S504, the AF result frame is displayed so as to surround the face instead of the pupil. By this, it is possible to realize notification of the AF result without a sense of incongruity for the user, and it is possible to smoothly perform the subsequent photographing operation.

S502で顔を追尾中ではないと判断された場合、S507において、システム制御部50は、モノを追尾中か否かを判断する。モノを追尾中と判断された場合は、処理はS511へ進み、そうでなければS508へ進む。S508では、システム制御部50は、被写体の瞳が検出されているか否かを判断する。瞳が検出されていると判断された場合は、処理は上述のS504(自動選択した瞳でAFを行う)へ進み、そうでなければS509へ進む。S509において、システム制御部50は、被写体の顔が検出されているか否かを判断する。被写体の顔が検出されている場合は、処理は上述のS505(追尾中の顔でAF)へ進み、そうでなければS510へ進む。   If it is determined in S502 that the face is not being tracked, the system control unit 50 determines whether the object is being tracked in S507. If it is determined that the object is being tracked, the process proceeds to S511, otherwise proceeds to S508. In step S508, the system control unit 50 determines whether the pupil of the subject is detected. If it is determined that the pupil has been detected, the process proceeds to S504 (AF is performed with the automatically selected pupil) described above, otherwise proceeds to S509. In step S509, the system control unit 50 determines whether the face of the subject is detected. If the face of the subject is detected, the process proceeds to S505 (AF for the face being tracked) described above, otherwise proceeds to S510.

S510において、システム制御部50は、その他の位置(顔、瞳、モノのいずれも検出されていないので、顔、瞳、モノの何れでも無い、システム制御部50が主被写体として自動的に決定した位置)をAF位置に設定し、AFを行う。モノを追尾中である場合(S507でYES)は、S511において、システム制御部50は、追尾中のモノの位置をAF位置に設定し、AFを行う。S512において、システム制御部50は、表示部28に、AF位置として設定されたモノまたはその他の位置に対してAF結果枠を表示する。図6Cの(l)は、処理がS510を経てS512へ到達した場合の、その他の位置でのAF結果枠を表示した場合の表示例である。LV画像601の全面の中でカメラが自動的に検出した位置に対して、多点AF結果枠614を表示している。また図6Cの(k)は、処理がS511を経てS512へ到達した場合の、追尾中のモノ位置に対してAF結果枠を表示した場合の表示例である。モノ(被写体603b)を囲うように、モノAF結果枠613を表示している。   In S510, the system control unit 50 automatically determines that no other position (face, pupil, or thing is detected, and therefore the system control unit 50 is not the face, pupil, or thing). Set the position) to the AF position and perform AF. If the object is being tracked (YES in S507), in S511, the system control unit 50 sets the position of the object being tracked as the AF position, and performs AF. In S512, the system control unit 50 causes the display unit 28 to display an AF result frame for the thing or other position set as the AF position. (L) of FIG. 6C is a display example in the case where the AF result frame at another position is displayed when the process reaches S512 via S510. A multipoint AF result frame 614 is displayed at a position automatically detected by the camera in the entire surface of the LV image 601. Further, (k) in FIG. 6C is a display example in the case where the AF result frame is displayed for the mono position during tracking when the process reaches S512 through S511. A mono AF result frame 613 is displayed so as to surround a mono (subject 603b).

次に、瞳AF入の場合(S501でYES)のAF動作について説明する。まず、S513(図5B)において、システム制御部50は、被写体の瞳を追尾中か否かを判断する。瞳を追尾中と判断された場合は、処理はS514へ進み、そうでなければS516へ進む。S514において、システム制御部50は、追尾中の瞳の位置をAF位置に設定し、AFを行う。そしてS515において、システム制御部50は、表示部28に、AF位置として設定された被写体の瞳(追尾中の瞳)に対してAF結果枠を表示する。図6Cの(i)は瞳にAF結果枠を表示している状態を示す図である。瞳を囲うように、瞳AF結果枠611を表示している。   Next, the AF operation in the case of pupil AF ON (YES in S501) will be described. First, in step S513 (FIG. 5B), the system control unit 50 determines whether or not the pupil of the subject is being tracked. If it is determined that the pupil is being tracked, the process proceeds to S514, otherwise proceeds to S516. In step S514, the system control unit 50 sets the position of the pupil being tracked as the AF position, and performs AF. Then, in step S515, the system control unit 50 causes the display unit 28 to display an AF result frame with respect to the pupil of the subject set as the AF position (the pupil during tracking). (I) of FIG. 6C is a diagram showing a state in which the AF result frame is displayed on the pupil. The pupil AF result frame 611 is displayed so as to surround the pupil.

S513で瞳を追尾中ではないと判断された場合、S516において、システム制御部50は、人物の顔を追尾中か否かを判断する。顔を追尾中であると判断された場合は、処理はS517へ進み、そうでなければS521へ進む。S517において、システム制御部50は、被写体の瞳が検出されているか否かを判断する。瞳が検出されていると判断された場合は、処理はS518へ進み、そうでなければS519へ進む。S518において、システム制御部50は、検出されている瞳の位置をAF位置に設定し、AFを行う。続いてS515へ進み、AFを行った位置に瞳AF結果枠を表示する。S518を経てS515へ到達した場合(瞳追尾中ではない場合)においても、瞳AF結果枠を表示しているのは、ユーザが瞳AFの設定を入にしているために、ユーザとしては被写体の瞳でAFをすることを期待していると予想されるためである。顔ではなく瞳を囲うようにAF結果枠を表示することで、ユーザにとって違和感の無いAF結果の通知を実現でき、その後の撮影動作をスムーズに行うことが可能となる。   If it is determined in S513 that the eye is not in tracking, in S516, the system control unit 50 determines whether the face of a person is in tracking. If it is determined that the face is being tracked, the process proceeds to step S517, otherwise proceeds to step S521. In step S517, the system control unit 50 determines whether the pupil of the subject is detected. If it is determined that the pupil is detected, the process proceeds to S518, otherwise proceeds to S519. In S518, the system control unit 50 sets the position of the detected pupil as an AF position, and performs AF. Subsequently, the processing proceeds to step S515, and the pupil AF result frame is displayed at the position where the AF is performed. Even when S515 is reached and S515 is reached (the pupil tracking is not in progress), the reason why the pupil AF result frame is displayed is that the user turns on the setting of pupil AF, so the user is the subject This is because it is expected to expect to perform AF in the pupil. By displaying the AF result frame so as to surround the pupil instead of the face, it is possible to realize notification of the AF result without a sense of incongruity for the user, and to perform the subsequent photographing operation smoothly.

被写体の顔を追尾中であるが瞳が検出されていない場合(S517でNO)、S519において、システム制御部50は、追尾中の顔の位置をAF位置に設定し、AFを行う。そして、S520において、システム制御部50は、表示部28に、AF位置として設定された被写体の顔(追尾中の顔)に対してAF結果枠を表示する。   When the face of the subject is being tracked but the pupil is not detected (NO in S517), in S519, the system control unit 50 sets the position of the face being tracked as an AF position and performs AF. Then, in step S520, the system control unit 50 causes the display unit 28 to display an AF result frame for the face of the subject set as the AF position (the face being tracked).

S513、S516により瞳も顔も追尾中でないと判断された場合、S521において、システム制御部50は、モノを追尾中か否かを判断する。モノを追尾中の場合はS525へ進み、そうでなければS522へ進む。S522において、システム制御部50は、被写体の瞳が検出されているか否かを判断する。瞳が検出されていると判断された場合は、処理は上述のS518へ進み、そうでなければS523へ進む。S523において、システム制御部50は、被写体の顔が検出されているか否かを判断する。顔が検出されていると判断された場合は、処理は上述のS519へ進み、そうでなければS524へ進む。   If it is determined in S513 and S516 that neither the pupil nor the face is in tracking, then in S521, the system control unit 50 determines whether or not the object is in tracking. If the object is being tracked, the process advances to step S525; otherwise, the process advances to step S522. In step S522, the system control unit 50 determines whether the pupil of the subject is detected. If it is determined that the pupil is detected, the process proceeds to S518 described above, otherwise proceeds to S523. In step S523, the system control unit 50 determines whether the face of the subject is detected. If it is determined that a face is detected, the process proceeds to S519 described above, otherwise proceeds to S524.

S524において、システム制御部50は、S510と同様に、その他の位置をAF位置に設定する。一方、S521でモノを追尾中であると判断された場合、S525において、システム制御部50は、上述のS511と同様に、追尾中のモノの位置をAF位置に設定する。そして、S526において、システム制御部50は、上述のS512と同様に、表示部28に、AF位置として設定されたモノまたはその他の位置に対してAF結果枠を表示する。   In S524, the system control unit 50 sets the other position as the AF position, as in S510. On the other hand, when it is determined in S521 that the object is being tracked, in S525, the system control unit 50 sets the position of the object being tracked as the AF position, as in S511 described above. Then, in step S526, the system control unit 50 displays an AF result frame on the display unit 28 for the thing or other position set as the AF position, as in the above-described step S512.

なお、上述のS506,S512,S515,S520,S526で表示される各種AF結果枠は、AFを行った結果、合焦出来た場合と合焦出来なかった場合とで異なる表示形態で表示される。例えば、合焦した場合は緑色でAF結果枠を表示し、合焦できずに非合焦となった場合はグレーでAF結果枠を表示する。さらに、各種AF結果枠の表示と共に、AF結果通知音を発音させてもよい。この場合も、AFを行った結果として合焦出来た場合と合焦出来なかった場合とで異なる音で通知するものとする。例えば、合焦した場合は「ピピッ」と発音し、合焦できずに非合焦となった場合は「ピッ」と発音する。   Note that the various AF result frames displayed in the above-described S506, S512, S515, S520, and S526 are displayed in different display forms depending on whether AF is achieved or not. . For example, the AF result frame is displayed in green when in focus, and the AF result frame is displayed in gray when out of focus due to inability to focus. Furthermore, an AF result notification sound may be sounded together with the display of various AF result frames. Also in this case, it is assumed that different sounds are notified when focusing is achieved as a result of performing AF and when focusing is not achieved. For example, when in focus, it is pronounced as "pipi", and when it is not possible to achieve focusing and out of focus, it is pronounced as "pipi".

以上説明した上記実施形態によれば、瞳AFにおいて、顔領域を上下に等分し、上半分を瞳/下半分を顔選択領域とすることで、顔/瞳両方の選択を行いやすくし、利便性の高い撮像装置が提供される。また、瞳AFの入切設定に応じて適切なAF結果枠表示を行うことができ、ユーザに対し違和感を抱かせないようにし、集中して撮影に臨んでもらうことが可能となる。   According to the above-described embodiment, in the pupil AF, the face area is equally divided up and down, and the upper half is set as the pupil / lower half as the face selection area, thereby facilitating selection of both the face and the pupil. A highly convenient imaging device is provided. In addition, it is possible to perform appropriate AF result frame display according to the ON / OFF setting of the pupil AF, and it is possible to prevent the user from having a sense of incongruity and to concentrate on taking a picture.

なお、上記実施形態では、顔、瞳、モノの検出枠・追尾枠は、それぞれ同じ形状としたがこれに限られるものではなく、被写体の種類に応じて異なる形状の枠を表示するようにしてもよい。同じ形状の枠を用いた場合、顔、瞳、モノの全てを互いに等価な対象として選択するUIとなり、ユーザにとっては被写体を気軽に切替えて撮影を楽しむことが可能となる。また、被写体の種類に応じて異なる形状の枠を用いる場合、どの対象が検出・追尾されているのかが明確に分かりやすくなる。もちろん、さらに瞳の左右で互いに異なる形状の枠を用いるようにしても良い。   In the above embodiment, the face, pupil, and object detection and tracking frames have the same shape, but the present invention is not limited to this. Frames of different shapes are displayed according to the type of subject. It is also good. When the frame having the same shape is used, the UI becomes a UI for selecting all of the face, the pupil, and the object as equivalent targets, and the user can easily switch the subject and enjoy shooting. In addition, in the case of using a frame of a different shape according to the type of subject, it becomes easy to clearly understand which target is being detected and tracked. Of course, frames of different shapes may be used on the left and right of the pupil.

なお、ここまで電子ビューファインダーを例に説明したが、光学ファインダーでもよい。また、ここまで述べた枠表現は、状況に応じて大きさが可変であってもよく、また一枠で構成されていなくてもよい。例えば光学ファインダーなど、予め表示部上に複数のAF点が表示されている場合には、タッチ位置を示す際にはタッチした指の位置および面積に応じて、複数のAF点の色を変更するなどして、タッチ位置を示すようにしても良い。   Although the electronic view finder has been described above as an example, it may be an optical finder. Also, the frame expression described so far may be variable in size depending on the situation, and may not be configured in one frame. For example, when a plurality of AF points are displayed in advance on the display unit such as an optical finder, the colors of the plurality of AF points are changed according to the position and area of the touched finger when indicating the touch position. For example, the touch position may be indicated.

なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。   Note that the above-described various controls described as being performed by the system control unit 50 may be performed by one hardware, or a plurality of hardware (for example, a plurality of processors or circuits) share the processing. The entire control may be performed.

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。   Further, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of the present invention, and it is also possible to combine each embodiment suitably.

また、上述した実施形態においては、本発明を撮像装置に適用した場合を例にして説明したが、これはこの例に限定されるものではない。例えば、追尾枠や検出枠の表示に関しては、撮影された画像を表示する機能と画像上の位置を指定する機能を有した電子機器であれば適用可能である。例えば、撮影済みの画像を再生して顔、目、口、鼻を検出し、赤目補正する目を選ぶのか、別の理由で顔を選ぶのか(例えば人物名を入力する)といった際のタッチ操作に適用可能である。他にも、顔または器官を選択して行う処理としては次のようなものがある。顔全体または目を選択してモザイクまたはマスクをかける、目を選択して瞳の強調処理(大きくするなど)を行う、鼻を選択して大きく強調する画像処理を施す、顔全体または頬などを選択して美肌効果の画像処理を施す。口を選択して唇の赤みを強調する、光沢を付けるなどの画像処理を掛ける。これらのような場合の顔の器官の選択方法として、LV画像の変わりに、記録済み画像を対象として上述の処理を適用可能である。また、AF枠の表示に関しても、撮像機能がある各種電子機器に適用可能である。すなわち、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、シール印刷システムなどに適用可能である。   Moreover, in the embodiment described above, although the case where the present invention is applied to an imaging apparatus is described as an example, the present invention is not limited to this example. For example, regarding the display of the tracking frame and the detection frame, any electronic device having a function of displaying a captured image and a function of specifying a position on the image can be applied. For example, a touch operation for reproducing a photographed image, detecting a face, eyes, a mouth, and a nose and selecting an eye for red-eye correction or selecting a face for another reason (for example, inputting a person's name) Applicable to Other processes to select and perform the face or organ include the following. Select the entire face or eyes and apply mosaic or mask, select the eyes and perform eye enhancement processing (such as enlarging), perform image processing to select the nose and greatly enhance, perform entire face or cheeks, etc. Select and apply image processing for skin effect. Select the mouth to emphasize the redness of the lips, apply image processing such as glossing. As a method of selecting a facial organ in these cases, the above-described processing can be applied to recorded images instead of LV images. Further, the display of the AF frame can also be applied to various electronic devices having an imaging function. That is, the present invention is applicable to personal computers and PDAs, mobile phone terminals and portable image viewers, printer devices equipped with displays, digital photo frames, music players, game machines, e-book readers, sticker printing systems, etc. .

また、上記実施形態ではタッチパネルへのタッチ操作により表示画面上の領域を指定したがこれに限られるものではなく、例えば、マウスによるマウスポインタの操作により画面上の領域(顔領域や瞳領域)を指定するようにしてもよい。また、上記実施形態では、追尾対象の器官として瞳を例示したが、これに限られるものではなく、例えば、鼻、口などの他の器官を追尾対象(AF対象)として指定可能としてもよい。例えば、口を追尾対象(AF対象)とする場合、顔領域を上下方向に半分に分け、下領域を口、上領域を顔というように関連づければよい。   In the above embodiment, the area on the display screen is specified by the touch operation on the touch panel. However, the present invention is not limited to this. For example, the area on the screen (face area or pupil area) It may be specified. Further, in the above embodiment, the pupil is illustrated as an organ to be tracked, but the invention is not limited thereto. For example, another organ such as a nose and a mouth may be designated as a tracking object (AF target). For example, when the mouth is a tracking target (AF target), the face area may be divided in half in the vertical direction, the lower area may be associated with the mouth, and the upper area may be associated with the face.

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。その場合、そのような制御装置は撮像装置のAF機構を制御するAF制御を実行することになる。すなわち、図5A、図5Bにより上述したAF処理は、撮像装置などの外部装置が有するAF機構を制御するためのAF制御であってもよい。   Further, the present invention can be applied not only to the imaging apparatus main body but also to a control apparatus that communicates with the imaging apparatus (including a network camera) via wired or wireless communication and remotely controls the imaging apparatus. Examples of the device that remotely controls the imaging device include devices such as a smartphone, a tablet PC, and a desktop PC. The control device can remotely control the imaging device by notifying the imaging device of a command for performing various operations and settings based on an operation performed on the control device side and a process performed on the control device side. is there. Further, a live view image captured by the imaging device may be received via wired or wireless communication and displayed on the control device side. Further, a live view image captured by the imaging device may be received via wired or wireless communication and displayed on the control device side. In such a case, such a control device executes AF control for controlling the AF mechanism of the imaging device. That is, the AF processing described above with reference to FIGS. 5A and 5B may be AF control for controlling an AF mechanism of an external device such as an imaging device.

(他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.

Claims (11)

画像から顔および顔の器官を検出する検出手段と、
前記検出手段で検出された顔または顔の器官をフォーカス調整の対象として指定する指定手段と、
前記指定手段により指定された対象についてオートフォーカスを行うように制御するAF制御手段とを有し、
前記指定手段は、指定されている顔の器官が特定状態を所定時間継続したことに応じて、前記顔の第1の器官から前記顔の第2の器官へ指定する対象を切り替えることを特徴とする電子機器。
Detection means for detecting a face and facial organs from the image;
A designation unit that designates a face or a facial organ detected by the detection unit as a target of focus adjustment;
And AF control means for performing autofocus on an object designated by the designation means,
The designating means switches a target to be designated from a first organ of the face to a second organ of the face in response to the designated face organ continuing a specific state for a predetermined time. Electronic equipment.
前記顔の器官とは瞳であることと特徴とする請求項1に記載の電子機器。   The electronic apparatus according to claim 1, wherein the organ of the face is a pupil. 前記特定状態とは目を閉じた状態であることを特徴とする請求項2に記載の電子機器。   The electronic device according to claim 2, wherein the specific state is a state in which the eyes are closed. 前記指定手段は、前記1の器官が、所定時間を超えた後に前記特定状態ではない状態となった場合でも、指定する対象を前記第2の器官から変更せずに維持することを特徴とする請求項1乃至3のいずれか1項に記載の電子機器。   The designating means is characterized in that even when the one organ is not in the specific state after exceeding a predetermined time, the designation object is maintained without being changed from the second organ. The electronic device according to any one of claims 1 to 3. 前記画像は撮像手段によって撮像されたライブビュー画像であることを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。   The electronic apparatus according to any one of claims 1 to 4, wherein the image is a live view image captured by an imaging unit. 前記画像を表示する表示手段を更に有し、
前記指定手段は、前記表示手段の表示面が撮影者側を向く自分撮り撮影状態である場合に前記顔の器官が前記特定状態を所定時間継続したことに応じて指定する対象を切り替え、前記自分撮り撮影状態でない場合には前記顔の器官が前記特定状態を所定時間継続したことに応じた指定対象の切り替えは行わないことを特徴とする請求項5に記載の電子機器。
It further comprises display means for displaying the image,
The designating means switches a target to be designated according to the fact that the organ of the face continues the specific state for a predetermined time when the display surface of the display means is in a self-portrait photographing state in which the display side faces the photographer side. 6. The electronic device according to claim 5, wherein the switching of the designation object is not performed in accordance with the fact that the organ of the face continues the specific state for a predetermined time when the photographing state is not taken.
撮像手段を更に有し、
前記表示手段は、前記撮像手段を備える撮像部に対する位置を変更可能なバリアングル表示部に備えられた表示手段であることを特徴とする請求項6に記載の電子機器。
It further has an imaging means,
7. The electronic device according to claim 6, wherein the display unit is a display unit provided in a variable angle display unit capable of changing a position with respect to an imaging unit including the imaging unit.
撮影方向の異なる複数の撮像手段を更に有し、
前記自分撮り撮影状態は、前記複数の撮像手段のうち前記表示手段の表示面側を撮影方向とする撮像手段でライブビュー画像の撮影を行っている状態であることを特徴とする請求項6に記載の電子機器。
It further comprises a plurality of imaging means with different imaging directions,
The self-shooting shooting state is a state in which a live view image is shot by an imaging unit whose imaging direction is the display surface side of the display unit among the plurality of imaging units. Electronic device described.
画像から顔および顔の器官を検出する検出ステップと、
前記検出ステップで検出された顔または顔の器官をフォーカス調整の対象として指定する指定ステップと、
前記指定ステップにより指定された対象についてオートフォーカスを行うように制御するAF制御ステップと、
前記指定ステップで指定された顔の器官が特定状態を所定時間継続したことに応じて、前記顔の第1の器官から前記顔の第2の器官へ指定する対象を切り替える切替ステップと
を有することを特徴とする電子機器の制御方法。
Detecting the face and face organs from the image;
A designation step of designating a face or a facial organ detected in the detection step as a target of focus adjustment;
An AF control step of performing control so as to perform autofocus on an object specified by the specification step;
Switching the target to be designated from the first organ of the face to the second organ of the face in response to the face organ designated in the designating step continuing the specific state for a predetermined time period. And controlling the electronic device.
コンピュータを、請求項1乃至8のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the electronic device as described in any one of Claims 1-8. コンピュータを、請求項1乃至8のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。   A computer readable storage medium storing a program for causing a computer to function as each means of the electronic device according to any one of claims 1 to 8.
JP2017254235A 2017-12-28 2017-12-28 Electronic equipment and method of controlling the same Pending JP2019120748A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017254235A JP2019120748A (en) 2017-12-28 2017-12-28 Electronic equipment and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017254235A JP2019120748A (en) 2017-12-28 2017-12-28 Electronic equipment and method of controlling the same

Publications (1)

Publication Number Publication Date
JP2019120748A true JP2019120748A (en) 2019-07-22

Family

ID=67306294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254235A Pending JP2019120748A (en) 2017-12-28 2017-12-28 Electronic equipment and method of controlling the same

Country Status (1)

Country Link
JP (1) JP2019120748A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021040183A (en) * 2019-08-30 2021-03-11 キヤノン株式会社 Image processing apparatus and image processing method
JP2021087068A (en) * 2019-11-26 2021-06-03 キヤノン株式会社 Electronic apparatus and control method of electronic apparatus
JP7302055B1 (en) 2022-03-04 2023-07-03 キヤノン株式会社 IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM
JP7418104B2 (en) 2019-08-30 2024-01-19 キヤノン株式会社 Image processing device and method of controlling the image processing device
WO2024135120A1 (en) * 2022-12-21 2024-06-27 ソニーセミコンダクタソリューションズ株式会社 Imaging device and imaging system
JP7527129B2 (en) 2020-04-28 2024-08-02 キヤノン株式会社 Focus adjustment device, imaging device, focus adjustment method, and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021040183A (en) * 2019-08-30 2021-03-11 キヤノン株式会社 Image processing apparatus and image processing method
JP7418104B2 (en) 2019-08-30 2024-01-19 キヤノン株式会社 Image processing device and method of controlling the image processing device
JP7479803B2 (en) 2019-08-30 2024-05-09 キヤノン株式会社 Image processing device and image processing method
JP2021087068A (en) * 2019-11-26 2021-06-03 キヤノン株式会社 Electronic apparatus and control method of electronic apparatus
JP7433860B2 (en) 2019-11-26 2024-02-20 キヤノン株式会社 Electronic devices and control methods for electronic devices
JP7527129B2 (en) 2020-04-28 2024-08-02 キヤノン株式会社 Focus adjustment device, imaging device, focus adjustment method, and program
JP7302055B1 (en) 2022-03-04 2023-07-03 キヤノン株式会社 IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM
JP2023128820A (en) * 2022-03-04 2023-09-14 キヤノン株式会社 Image processing apparatus, control method thereof, image capturing apparatus, and program
WO2024135120A1 (en) * 2022-12-21 2024-06-27 ソニーセミコンダクタソリューションズ株式会社 Imaging device and imaging system

Similar Documents

Publication Publication Date Title
JP2019120748A (en) Electronic equipment and method of controlling the same
JP6991033B2 (en) Electronic devices and their control methods
JP6602361B2 (en) Electronic device and control method thereof
WO2018042824A1 (en) Imaging control apparatus, display control apparatus, and control method therefor
JP6833505B2 (en) Imaging control device and its control method
JP7009096B2 (en) Electronic devices and their control methods
JP6701145B2 (en) Electronic device and control method thereof
US20210176404A1 (en) Electronic apparatus and method for controlling the same
JP6397454B2 (en) IMAGING CONTROL DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP7129294B2 (en) Electronics and area selection method
JP7049195B2 (en) Electronic devices and their control methods, programs, and storage media
JP6512961B2 (en) Imaging control apparatus, control method therefor, program, and storage medium
JP6460868B2 (en) Display control apparatus and control method thereof
JP4916403B2 (en) Image processing apparatus and control method thereof
JP2014017665A (en) Display control unit, control method for display control unit, program, and recording medium
JP7049179B2 (en) Imaging control device and its control method, program and storage medium
JP6324278B2 (en) Imaging apparatus, image processing apparatus, and control method thereof
JP6630337B2 (en) Electronic device and control method thereof
JP6765901B2 (en) Imaging device and its control method, program, and storage medium
JP6765902B2 (en) Display control device and its control method, program, and storage medium
JP2015034895A (en) Imaging device and control method for the same
JP2018067802A (en) Imaging control apparatus, control method of imaging apparatus, and program
JP2016123033A (en) Display controller and control method therefor
WO2023007904A1 (en) Electronic device, electronic device control method, program, and storage medium
JP6711599B2 (en) Imaging device, control method thereof, program, and storage medium