JP2021132286A - 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】煩わしい操作なしに優先する被写体の種類の設定を変更可能とする画像処理装置を提供する。【解決手段】画像処理装置において、撮影された画像から２種類以上の被写体を検出可能な被写体検出手段と、画面上の被写体の領域を指定する領域指定手段と、前記領域指定手段により指定された領域の被写体に基づき、前記被写体検出手段で検出する被写体のうちの優先する被写体の種類を設定するための設定手段と、を有することを特徴とする。【選択図】図４

Description

本発明は画像処理装置等に関する。

デジタルカメラ等の撮像装置では、画像に含まれる特定の被写体を検出する被写体検出機能を備えており、検出された被写体に対して優先的にピントや露出等を制御することができる。特許文献１には、複数の被写体が検出された場合に、撮像装置に最も近い被写体や画面に占める大きさが大きい被写体を主被写体として決定し、ピントや露出等を制御するカメラが開示されている。

近年では、人物の顔のみならず瞳や全身、犬や猫、鳥といった動物を含む様々な種類の被写体を検出できるようになってきている。検出可能な被写体が増えると検出された様々な種類の複数の被写体の中から撮影者の意図した被写体を主被写体とするのは困難となる。
そこで、主被写体として優先する被写体の種類をユーザがあらかじめ設定メニュー画面等で設定しておくことが考えられる。

特開２００２−５１２５５号公報

しかしながら、主被写体としたい被写体の種類が変わるたびに設定メニュー画面等で設定を変更するのは煩わしいという問題があった。
そこで、本発明は、煩わしい操作なしに、優先する被写体の種類の変更を容易に可能とする画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、
撮影された画像から２種類以上の被写体を検出可能な被写体検出手段と、
前記被写体検出手段で検出する被写体のうちの優先する被写体の種類を予め第１の種類に設定可能な設定手段と、
画面上の被写体の領域を指定する領域指定手段と、
前記設定手段は、前記領域指定手段により指定された領域の被写体の種類が前記第１の種類と異なる第２の種類の場合に、前記第１の種類を前記第２の種類に変更することを特徴とする。

本発明によれば、煩わしい操作なしに、優先する被写体の種類の変更を容易に可能とする画像処理装置を実現することができる。

本発明の一実施例に係る画像処理装置の構成を示すブロック図である。 実施例１における画像処理装置の動作を示すフローチャートである。 実施例１における画像処理装置の他の動作を示すフローチャートである。 実施例１における画像処理装置の別の動作を示すフローチャートである。 実施例１において表示部２８に表示される画面の一例を示した図である。 実施例２における画像処理装置の動作を示すフローチャートである。 実施例２における画像処理装置の他の動作を示すフローチャートである。 実施例２における画像処理装置の他の動作を示すフローチャートである。 実施例３における画像処理装置の動作を示すフローチャートである。 実施例３における画像処理装置の他の動作を示すフローチャートである。 実施例３において表示部２８に表示される画面の一例を示した図である。 実施例４における画像処理装置の動作を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
また、実施例においては、画像処理装置としてデジタル（スチル）カメラ（撮像装置）に適用した例について説明する。ここで、撮像装置はムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ネットワークカメラなどの電子機器等を含む。なお画像処理装置は撮像機能を有していないＰＣ等であっても良い。

図１は、本発明の実施例１における画像処理装置（撮像装置）の構成を示すブロック図である。
図１に示すように、本実施例の画像処理装置（撮像装置）は、主に、デジタルカメラ１００と、デジタルカメラ１００に対して着脱可能な交換レンズタイプのレンズユニット３００から構成されている。
デジタルカメラ１００において、シャッター２０は後述する撮像部２２への光学像の入射時間（露出時間）を制御する。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を含む。撮像部２２は被写体像を撮影する撮像手段として機能する。

また撮像部２２はＡ／Ｄ変換処理機能とＡＦ評価値検出部２３を内蔵している。ＡＦ評価値検出部２３ではデジタル画像信号から得られるコントラスト情報や、視差画像から得られる位相差に基づきＡＦ評価値を算出し、システム制御部５０に出力する。
画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４ではＡＦ評価値に基づき被写体の距離情報を取得することができる。

即ち、入力した２つの視差画像から位相差を検出することによって被写体までの距離を取得し、撮像部から被写体までの距離情報を画素ごとに取得することが可能である。さらに、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行なうことによって、露光制御情報を取得し、これらの距離情報や露光制御情報に基づきシステム制御部５０が露光制御、焦点調整制御を行う。
そして、これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理等が行われる。

また画像処理部２４では距離情報に基づくＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行うことで、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、画像処理部２４では、静止画／動画の現像、圧縮処理を行うとともに、被写体を追尾するための色情報や輝度情報等の特徴量の抽出も行っている。

即ち、追尾対象画像（基準画像、主被写体）の領域内の色情報や輝度情報等の特徴量を抽出し、フレーム画像ごとに上記基準画像の特徴量と最も高い相関度を有する領域を特定することによって、追尾対象（主被写体）を追うことができる。このように、画像処理部２４は指定された領域の被写体を色情報または輝度情報に基づき追跡する追跡手段としても機能する。

被写体検出部２６は、水平及び垂直方向のバンドパスフィルタにより、画像データからエッジ成分を検出する機能を備えている。検出されたエッジ成分（輪郭情報等）に関してパターンマッチングを行い、目、鼻、口、耳等の部位を抽出し、顔を検出することができる。また、被写体検出部２６は、機械学習により生成された学習モデルに基づいた被写体検出も可能である。機械学習により複数の被写体の種類に応じた学習モデルを準備することで、複数の種類の被写体を検出することができ、犬・猫・鳥といった動物や乗り物等の特定の種類の被写体の検出が可能である。

被写体検出部２６は撮像手段で撮影された画像から２種類以上の被写体を検出可能な被写体検出手段として機能している。
撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に書き込まれる。或いは、撮像部２２の出力データは、直接、メモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換してＬＣＤ等の表示部２８に供給する。
撮像部２２で一旦Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送してスルー画像（ライブビュー画像）表示することで、表示部は電子ビューファインダとして機能する。

不揮発性メモリ５２は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５２には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施例にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。
システム制御部５０にはコンピュータとしてのＣＰＵが内蔵されており、デジタルカメラ１００全体を制御する制御手段として機能する。前述した不揮発性メモリ５２に記録されたコンピュータプログラムを実行することで、後述する本実施例のフローチャートの各処理を実現する。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
５６はＲＡＭ等を用いたシステムメモリであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ５２から読み出したプログラム等が展開される。

モードスイッチ６０、シャッターボタン６１（第１シャッタースイッチ６２、第２シャッタースイッチ６３を含む。）、操作部７０、タッチパネル操作部７２はシステム制御部５０に各種の動作指示を入力するための操作手段として機能する。
モードスイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。

静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モードスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。

あるいは、モードスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。

第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。
第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応答して一連の静止画撮影処理の動作を開始し、撮像部２２からの信号読み出し、記録媒体２００への画像データの書き込み等を実行する。

操作部７０の各操作部材やタッチパネル操作部７２は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。なお、デジタルカメラ１００にマウス等を接続可能にしても良く、操作部７０はそのようなマウス等を含む。

機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、動画撮影ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なプルダウンメニュー画面が表示部２８に表示される。
利用者は、表示部２８に表示されたメニュー画面において、上下左右の４方向ボタンやＳＥＴボタンなどを用いてメニュー選択をすることで各種設定を行うことができる。

また、本実施例では、タッチパネル操作部７２によって画面上の所望の被写体領域をタッチすることによって、所定の被写体領域を指定することができるように構成されている。その際、タッチパネル操作部７２は画面上の被写体の領域を指定する領域指定手段として機能する。なお、操作部７０に含まれるマウスや十字キー等のポインティングデバイスを用いて画面上の被写体の領域を指定するようにしても良い。その場合、前記ポインティングデバイスは画面上の被写体の領域を指定する領域指定手段として機能することになる。

各種の設定可能なメニュー画面としては、デジタルカメラ１００が主被写体を選択する際に優先する種類の被写体を設定する優先被写体設定がある。優先被写体設定において、「人物」を優先被写体として設定したときには人物検出領域が、「動物」を優先被写体として設定したときには動物検出領域が主被写体領域として優先的に選択される。これによって、優先被写体として設定された種類の被写体から主被写体を認識し、主被写体に対して主被写体枠を表示し、焦点調整や露出調整を優先的に行う。

電源制御部４１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。
また、電源制御部４１は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、一次電池や二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

コネクタ８０は、デジタルカメラ１００のカメラ本体をレンズユニット３００と電気的に接続するための接点である。コネクタ８０は、デジタルカメラ１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを通信するとともに、レンズユニット３００に電源を供給する機能も備えている。

次に、レンズユニット３００の構成について説明する。
レンズユニット３００において、撮像レンズ３０１は光軸方向に移動することでピントの調整を行うフォーカスレンズやズーミングを行うズームレンズを含む複数のレンズにより構成されている。また、絞り３０２は絞り開口を制御することによってデジタルカメラ１００の撮像部２２への光量を調節する。

レンズ制御部３０３はコンピュータとしてのＣＰＵを内蔵し、デジタルカメラ１００のシステム制御部５０からの制御信号に応じて、レンズユニット３００全体を制御し、撮像レンズ３０１のフォーカスレンズやズームレンズや絞り３０２の駆動制御も行う。また、動作用の定数や変数およびコンピュータプログラムなどを記憶するメモリを備える。さらに、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離、歪曲収差等の収差量などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。

コネクタ３０４は、レンズユニット３００をデジタルカメラ１００のカメラ本体と電気的に接続するための接点である。コネクタ３０４は、デジタルカメラ１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを通信するとともに、電源電圧または電流をデジタルカメラ１００から受け取る機能も備えている。

図２〜図４は、本発明の実施例１の処理の流れを示すフローチャートである。
ユーザがモードスイッチ６０で静止画撮影モードまたは動画撮影モードを選択した場合に、デジタルカメラ１００は撮影モードを開始し、図２〜図４の処理が実行される。図２〜図４の各ステップの処理は、システム制御部５０が、不揮発性メモリ５２から読み出した所定のプログラムをシステムメモリ５６上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実行される。

ステップＳ１０１においてシステム制御部５０は、ユーザによりメニュー選択画面等によって設定されている優先被写体設定をシステムメモリ５６から読み出し、主被写体とする被写体の種類を決定し、ステップＳ１０２に進む。
優先被写体設定では、前述のように、ユーザがあらかじめ所望の種類の被写体を優先的に主被写体とするために、設定メニュー選択画面等によって優先被写体の種類を例えば第１の種類に設定しておくことができる。その際、システム制御部５０は、被写体検出手段で検出する２種類以上の被写体のうちの優先する被写体の種類を予め第１の種類に設定するための設定手段として機能している。

設定した優先被写体の種類を被写体検出部２６で検出した場合には、デジタルカメラ１００が画面内から前記第１の種類の被写体を自動で主被写体領域として選択し、主被写体領域に対して焦点調整や露出調整等を優先的に調整する。ここで、システム制御部５０は、優先する被写体の種類の被写体領域を優先的に焦点調整または露出調整する調整手段としても機能している。

即ち、例えば、優先被写体として「人物」が予め設定されていた場合には、画面内で人物が検出されると人物領域が主被写体領域となり、優先被写体として「動物」が設定されていた場合には、画面内で動物が検出されると動物領域が主被写体領域となる。なお、本実施例では、デジタルカメラ１００が検出可能な被写体の種類が例えば人物と動物の２種類であり、優先被写体として「人物」または「動物」の一方が設定可能な例について説明するが、検出可能な被写体の種類が３種類以上であって同様である。

次に、ステップＳ１０２においてシステム制御部５０は、撮像部２２により撮像された１フレーム分の画像を読み出し、画像処理部２４によりホワイトバランス調整、画素補間等の処理を施した画像データに変換し、メモリ３２に書き込む。さらに、画像処理部２４により、生成した画像データをメモリ３２から読み出し、リサイズ処理等を行ってライブビュー表示用画像を生成し、メモリ３２に書き込むとともに、表示部２８に表示するように制御することで、ライブビュー画像の更新を行う。

ステップＳ１０３においてシステム制御部５０は、ステップＳ１０２で生成した画像データをメモリ３２から読み出し、被写体検出部２６により被写体検出を行う。本実施例では、被写体検出部２６は、優先被写体設定によらず検出可能な種別の被写体などを複数同時に検出することができる。また、画像から人物、犬、猫、鳥といった種別の被写体を同時に複数検出するだけでなく、それらの部位である、顔や体等も同時に複数検出することができる。なお、優先被写体設定で設定されている種類の被写体のみを検出するように構成した場合については実施例２で後述する。

なお、ステップＳ１０３において被写体検出部２６により検出された被写体領域を被写体検出領域と呼ぶ。本実施例では被写体検出部２６により検出された複数の被写体検出領域の内、優先被写体設定で予め設定されている第１の種類の被写体に対して主被写体枠を表示部２８で表示する。なお、検出された複数の被写体検出領域に対して、被写体として検出されていることがわかるようにそれぞれに枠やマークなどを表示しても良い。

なお、検出された複数の被写体検出領域のそれぞれに枠やマークを表示する場合に、優先被写体設定で予め設定されている第１の種類の被写体の枠とそれ以外の種類の被写体の枠とを例えば枠やマークの色等を異ならせることで区別して表示することが望ましい。なお本実施例では表示部２８は優先する被写体の種類の被写体領域を区別して表示するための表示手段として機能している。

ステップＳ１０４において、１つ前のフレームまでにユーザの画面上でのタッチ操作等により、ユーザ選択（ユーザが画面タッチ等で直接指定）した主被写体領域があるか否か判定し、Ｙｅｓの場合には図３のステップＳ１０５に進む。Ｎｏの場合にはステップＳ１１０へ進む。

ここで、ユーザ選択した主被写体領域とは、表示部の画面上の所定位置の被写体検出領域をユーザが画面タッチ等で直接的に被写体として選択（指定）した主被写体領域のことを指す。
次に、ステップＳ１１０において、タッチ追尾中であるか否かを判定する。タッチ追尾とはユーザのタッチ操作に応じて、画面上のタッチ位置を主被写体領域として開始した追尾動作であり、ステップＳ１２３において後述する。

タッチ追尾中ではないと判定された場合（Ｓ１１０でＮｏ）、ステップＳ１１１に進む。一方、タッチ追尾中であると判定された場合（Ｓ１１０でＹｅｓ）、ステップＳ１１４に進む。
ステップＳ１１１において、現在のフレームのステップＳ１０３における被写体検出において、優先被写体設定で予め設定されている種類（第１の種類）の被写体が検出されているか否かを判定する。

つまり、優先被写体設定が「人物」のときには人物が検出されているか、優先被写体設定が「動物」のときには動物が検出されているかを判定する。
優先被写体設定で設定されている種類の被写体が検出されていると判定された場合（Ｓ１１１でＹｅｓ）、ステップＳ１１２に進む。一方、優先被写体設定で設定されている種類の被写体が検出されていないと判定された場合（Ｓ１１１でＮｏ）ステップＳ１１３に進む。

ステップＳ１１２において、ステップＳ１０３における被写体検出結果に基づき、主被写体領域を選択し、主被写体領域の位置やサイズを更新する。また、表示部２８に表示される自動選択状態の主被写体領域を示す枠の表示の位置やサイズも更新する。
ステップＳ１１３において、優先被写体設定で設定されている種類（第１の種類）の主被写体は見つからなかったとして、主被写体領域の位置やサイズを０にし、表示部２８の自動選択状態の主被写体領域を示す枠を非表示に更新する。

ステップＳ１１１からステップＳ１１３はデジタルカメラ１００による主被写体の自動選択処理であり、優先被写体設定で設定されている種類の被写体のみから最適な被写体が選択され、自動選択状態の主被写体領域を示す枠が表示される。
一方、ステップＳ１１４において、後述するステップＳ１２３で開始されたタッチ追尾の継続が可能か否かを判定する。ここで、タッチ追尾の継続が可能かどうかは、画像処理部２４において、基準とする画像（主被写体）から抽出した色情報や輝度情報等の特徴量と現在のフレームから抽出した特徴量の相関度が所定値以上か否かによって判定する。

タッチ追尾の継続が可能であると判定した場合（Ｓ１１４でＹｅｓ）ステップＳ１１５に進む。一方、タッチ追尾の継続が可能ではないと判定した場合（Ｓ１１４でＮｏ）、ステップＳ１１６に進む。
ステップＳ１１５において、画像処理部２４により画像データから抽出した色情報や輝度情報等の特徴量に基づき、タッチ追尾中の主被写体領域の位置やサイズを更新する。

また、表示部２８に表示されるタッチ追尾状態の主被写体領域を示す枠の位置やサイズの表示も更新し、図４のステップＳ１１７に進む。
ステップＳ１１６において、タッチ追尾を停止し、主被写体領域の位置やサイズを０にし、表示部２８に表示されていたタッチ追尾状態の主被写体領域を示す枠を非表示に更新し、図４のステップＳ１１７に進む。

ステップＳ１０４に戻り、ユーザ選択（ユーザが画面タッチ等で直接指定）した主被写体領域があると判定した場合（Ｓ１０４でＹｅｓ）、図３のステップＳ１０５に進む。
図３のステップＳ１０５において、１つ前のフレームまでにステップＳ１１９、Ｓ１２２においてユーザが画面タッチ等で直接指定した主被写体が現在のフレームのステップＳ１０３における被写体検出で検出されているか否かを判定する。
ユーザが画面タッチ等で直接指定した主被写体が現在のフレームの被写体検出で検出されていると判定された場合（Ｓ１０５でＹｅｓ）、ステップＳ１０６に進む。

一方、ユーザが画面タッチ等で直接指定した主被写体領域の被写体が現在のフレームの被写体検出で検出されなかったと判定された場合（Ｓ１０５でＮｏ）、ステップＳ１０７に進む。
ステップＳ１０６において、ステップＳ１０３における被写体検出結果に基づき、ユーザが画面タッチ等で直接指定した主被写体領域の位置やサイズを更新する。また、表示部２８に表示されるユーザが画面上で直接指定した主被写体領域を示す枠の位置やサイズの表示も更新し、図４のステップＳ１１７に進む。

ステップＳ１０７において、ユーザが画面タッチ等で直接指定した主被写体をロストした（見失った）として、主被写体領域の位置やサイズを０に更新する。また、表示部２８に表示されていたユーザが画面タッチ等で直接指定した主被写体領域を示す枠も非表示に更新し、ステップＳ１０８に進む。

ステップＳ１０８において、１つ前のフレームまでにステップＳ１２１において優先被写体設定が一時的に変更されているか否かを判定する。優先被写体設定が一時的に変更されていると判定された場合（Ｓ１０８でＹｅｓ）、ステップＳ１０９に進む。一方、優先被写体設定が一時的に変更されていないと判定された場合（Ｓ１０８でＮｏ）、図４のステップＳ１１７に進む。

ステップＳ１０９において、１つ前のフレームまでに後述するステップＳ１２１において、一時的に変更していた優先被写体設定をシステムメモリ５６の退避させていた領域から読み出し元の設定に戻し、図４のステップＳ１１７に進む。すなわち、ステップＳ１０９は、画面タッチ等で指定された領域の被写体に基づき、優先する被写体の種類（第２の種類）に変更した後、前記領域の被写体が検出されなくなった場合に、前記の優先する被写体の種類を設定前の第１の種類に戻している。

次に、図４のステップＳ１１７において、ユーザの画面タッチ等で、主被写体としたい領域が画面上で指定されているか否かを判定する。
画面タッチ等で、主被写体としたい領域が指定されていると判定された場合（Ｓ１１７でＹｅｓ）、ステップＳ１１８に進む。
一方、画面タッチ等による主被写体の指定がなされていないと判定した場合（Ｓ１１７でＮｏ）、ステップＳ１２４に進む。

ステップＳ１１８において、ユーザのタッチ操作等により、ステップ１０３における被写体検出で検出された被写体検出領域の内、優先被写体設定で予め設定されている種類（第１の種類）の被写体の検出領域が指定されたか否かを判定する。
つまり、優先被写体設定が「人物」のときには、画面タッチ等で人物検出領域が指定されたか、優先被写体設定が「動物」のときには画面タッチ等で動物検出領域が指定されたかを判定する。

優先被写体設定で設定されている種類の被写体の検出領域が画面タッチ等で指定されたと判定された場合（Ｓ１１８でＹｅｓ）、ステップＳ１１９に進む。つまり、優先被写体設定が「人物」のときに人物検出領域が画面タッチ等で指定されたと判定された場合、もしくは優先被写体設定が「動物」のときに動物検出領域が画面タッチ等で指定されたと判定された場合にステップＳ１１９に進む。

一方、優先被写体設定で予め設定されている種類（第１の種類）の被写体とは異なる種類（第２の種類）の被写体検出領域以外が画面タッチ等で指定されたと判定された場合（Ｓ１１８でＮｏ）、ステップＳ１２０に進む。つまり、優先被写体設定が「人物」のときに人物検出領域以外が画面タッチ等で指定されたと判定された場合や優先被写体設定が「動物」のときに動物検出領域以外が画面タッチ等で指定されたと判定された場合にステップＳ１２０に進む。

ステップＳ１１９において、ユーザの画面タッチ等で指定された被写体（優先被写体設定で設定されている種類の被写体でもある。）の検出領域をユーザ選択主被写体領域として、ステップＳ１２４に進む。
なお、ユーザが画面タッチ等で主被写体を直接指定した状態では、自動で主被写体領域を選択する自動選択（ステップＳ１１１〜ステップＳ１１３の処理）に比べて、主被写体領域を他の被写体検出領域に変更しにくくする。

これは、ユーザが画面タッチ等により画面上で意図的に指定した主被写体領域であるため、ユーザの意思を尊重して、できる限り指定された主被写体領域と同一の主被写体領域を継続させることができるようにするためである。
ステップＳ１２０において、ステップＳ１０３における被写体検出で検出された被写体検出領域の内、ユーザの画面タッチ等により指定された被写体検出領域が、優先被写体設定で設定されている種類と異なる種類の被写体の被写体検出領域か否かを判定する。

つまり、優先被写体設定が「人物」のときに、画面タッチ等により動物などの人物以外の種類の被写体の検出領域が指定されたかを判定する。もしくは優先被写体設定が「動物」のときに、画面タッチ等により人物などの動物以外の種類の被写体の検出領域が指定されたかを判定する。
優先被写体設定で予め設定されている種類（第１の種類）と異なる種類（第２の種類）の被写体の検出領域が画面タッチ等により指定されたと判定した場合（Ｓ１２０でＹｅｓ）、ステップＳ１２１に進む。

つまり、優先被写体設定が「人物」のときに動物などの人物以外の種類の被写体の検出領域が画面タッチ等により指定されたと判定された場合にステップＳ１２１に進む。あるいは優先被写体設定が「動物」のときに人物などの動物以外の種類の被写体の検出領域が画面タッチ等により指定されたと判定された場合にステップＳ１２１に進む。
一方、優先被写体設定で設定されている種類と異なる種類の被写体の検出領域以外が指定されたと判定された場合（Ｓ１２０でＮｏ）、ステップＳ１２３に進む。

つまり、優先被写体設定によらず、人物でも動物でもない被写体が画面タッチ等により指定された場合にはステップＳ１２３に進む。あるいは、ステップ１０３における被写体検出で検出された被写体検出領域ではない（被写体の検出されなかった領域）が画面タッチ等により指定されたと判定された場合、ステップＳ１２３に進む。

ステップＳ１２１において、予め設定されていた優先被写体設定（第１の種類）をシステムメモリ５６の所定の領域に退避させ、優先被写体設定（第１の種類）をユーザの画面タッチ等により指定された被写体の種類（第２の種類）に変更する。

つまり、優先被写体設定が「人物」のときに画面タッチ等で動物が指定された場合には、「人物」の設定を退避させ、一時的に優先被写体設定を「動物」に変更する。または、優先被写体設定が「動物」のときに画面タッチ等で人物が指定された場合には、「動物」設定を退避させ、一時的に優先被写体設定を「人物」に変更する。

次に、ステップＳ１２２において、ユーザの画面タッチ等により指定された被写体検出領域をユーザ選択主被写体領域として主被写体枠表示し、ステップＳ１２４に進む。
つまり、ステップＳ１２１において一時的に変更した優先被写体設定に応じた種類の被写体の検出領域を主被写体領域とし、任意選択状態として、ステップＳ１２４に進む。

ステップＳ１２３において、画像処理部２４によりユーザの画面タッチ等により指定された被写体領域の画像データを基準画像とする。そして、抽出した色情報や輝度情報等の特徴量に基づき、画面タッチ等により指定された領域を主被写体領域としたタッチ追尾を開始し、ステップＳ１２４に進む。
ここでタッチ追尾とは、画面タッチ等により指定した被写体領域であって、かつメニュー画面に存在しない種類の被写体領域を画像処理部２４によって追尾する動作を指す。

次に、ステップＳ１２４において、ユーザのシャッターボタン６１や操作部７０の動画撮影ボタン操作で、撮影指示されたか否かを判定する。撮影指示されたと判定された場合（Ｓ１２４でＹｅｓ）、ステップＳ１２５に進む。一方、撮影指示されていないと判定された場合（Ｓ１２４でＮｏ）、ステップＳ１０２に戻り次のフレームの処理を始める。
ステップＳ１２５において、静止画や動画の撮影処理を行う。撮影処理では、システム制御部５０は、撮像部２２でキャプチャされた画像データを、画像処理部２４を用いて、現像、圧縮等の処理を施し、記録媒体Ｉ／Ｆ１８を介して記録媒体２００に記録する。

次にステップＳ１２６において、ステップＳ１２１において優先被写体設定が一時的に変更されているかを判定する。Ｙｅｓの場合にはステップＳ１２７に進みＮｏの場合にはステップＳ１０２に戻り、次のフレームの処理を始める。
次にステップＳ１２７において、ステップＳ１２１でシステムメモリ５６の別の領域に退避させていた元の優先被写体設定（第１の種類）を破棄し、ステップＳ１２１で一時的に変更していた優先被写体設定（第２の種類）を初期値として設定にする。

即ち、次のフレーム以降は上記初期値に基づき優先する被写体の種類が決まる。その後、ステップＳ１０２に戻り、次のフレームの処理を始める。
次に図５は、本発明の実施例１において表示部２８に表示される画面の一例を示した図であり、図５を用いて、本発明の実施例１の処理に応じた表示部２８の表示画面、特に主被写体領域を示す枠に関して説明する。

図５（Ａ）において、５０１は、優先被写体設定が「人物」のときの表示部２８の表示画面である。優先被写体設定が「人物」であるため、ステップＳ１１１において「人物」が検出されているか判定される。「人物」は検出されないため、ステップＳ１１３において主被写体を示す枠は表示されない。
図５（Ｂ）は図５（Ａ）において表示されている動物（犬）をユーザが画面タッチしている状態の表示画面５０２を示している。

図５（Ｃ）の５０３は、図５（Ｂ）の表示画面５０２のように優先被写体設定で設定されている「人物」とは異なる「動物」の被写体検出領域をタッチした場合の表示画面である。ステップＳ１２１のように優先被写体設定が設定されていた「人物」から「動物」に一時的に変更され、ステップＳ１２２のように、「動物」の被写体検出領域にユーザ選択主被写体枠５０４が表示される。また主被写体枠内の画像に対して焦点調整や露出調整が優先的に行われる。

以上のように、システム制御部５０は、ユーザの意図した種類（第１の種類）の被写体のみを主被写体として選択するよう、設定メニュー画面等でユーザが予め主被写体とする被写体の種類を優先被写体設定として設定するための設定手段として機能する。また、優先被写体設定で設定している種類（第１の種類）の被写体とは異なる種類（第２の種類）の被写体を主被写体としたい場合には、優先被写体とは異なる種類の被写体を画面タッチ等することで優先被写体設定を変更できる。

このようにすることで、設定メニュー画面を呼び出してメニュー設定を切り替えるといった煩わしい操作をすることなく、速やかにかつライブビュー中に簡単に優先被写体設定を変更し、所望の種類の被写体を主被写体に変更することができる。さらに、一時的に変更した優先被写体設定（第２の種類）はその種類の被写体が検出されなくなったら、元の設定（第１の種類）に戻すようにすることで、簡単に優先被写体設定を元に戻すこともできる。

次に本発明の実施例２に係る画像処理装置について説明する。
実施例１では、優先被写体設定で予め設定している種類（第１の種類）の被写体とは異なる種類（第２の種類）の被写体を画面タッチ等した場合に一時的に優先被写体設定を変更し、主被写体とできるようにした。また、その主被写体が検出できなくなったら、優先被写体設定を元の設定に戻すようにした。

これに対して、実施例２では、一時的に変更された優先被写体設定に対応した被写体が検出できなくなった場合には、最後の被写体検出位置における色情報や輝度情報等の特徴量に基づく追尾を開始する。そして、ユーザ選択した主被写体の追尾継続ができなくなったら、優先被写体設定を元の設定に戻すようにする。このようにすることで、優先被写体とは異なる種類の被写体を画面タッチ等した場合に、実施例１より長い間一時的に優先被写体設定を変更し続け、主被写体とすることができる。

図６〜図８は、本発明の実施例２の処理の流れを示すフローチャートである。
以下、実施例１の処理と同一の処理に関しては、その説明を省略する。
ユーザがモードスイッチ６０で静止画撮影モードまたは動画撮影モードを選択した場合に、デジタルカメラ１００は撮影モードを開始し、図６の処理が実行される。

図６〜図８の各ステップの処理は、システム制御部５０が、不揮発性メモリ５２から読み出した所定のプログラムをシステムメモリ５６上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。
ステップＳ２０１からステップＳ２０２は、実施例１におけるステップＳ１０１からステップＳ１０２と同一のため、説明を省略する。

ステップＳ２０３において、ステップＳ２０２で生成したライブ画像データをメモリ３２から読み出し、被写体検出部２６により被写体検出を行い、ステップＳ２０４に進む。その際、被写体検出部２６により、優先被写体設定で設定されている種類の被写体のみの検出を行う。

例えば、優先被写体設定が「人物」のときには人物のみ、「動物」のときには動物のみ検出動作を行う。実施例１では、優先被写体設定によらず検出可能な種類の被写体を複数検出するようにしていた。しかし、このようにすることでデジタルカメラ１００の処理負荷や消費電力を軽減でき、被写体検出部２６において同時に検出可能な被写体の種類が１種類のみの場合でも対応可能である。

ステップＳ２０４からステップＳ２０６は、実施例１におけるステップＳ１０４からステップＳ１０６と同一のため、説明を省略する。
ステップＳ２０７において、１つ前のフレームまでにユーザ選択主被写体追尾中であるか否かを判定する。ユーザ選択主被写体追尾は後述するステップＳ２０８においてユーザ選択主被写体領域を基準画像として開始される追尾動作である。ステップＳ２０７でＮｏの場合、ステップＳ２０８に進み、Ｙｅｓの場合、ステップＳ２０９に進む。

ステップＳ２０８において、ステップＳ２０５においてユーザ選択主被写体が検出されなかったため、直近のフレームまでに検出されていたユーザ選択主被写体領域を基準画像としてユーザ選択主被写体追尾を開始し、ステップＳ２２１に進む。
ステップＳ２０９において、１つ前のフレームまでに開始されているユーザ選択主被写体追尾が継続可能か否かを判定する。

ここで、ユーザ選択主被写体追尾の継続が可能かどうかは、画像処理部２４により基準とするユーザ選択主被写体の画像データから抽出した色情報や輝度情報等の特徴量と現在のフレームから抽出した特徴量の相関度が所定値以上あるか否かにより判定する。
ユーザ選択主被写体追尾の継続が可能であると判定された場合（Ｓ２０９でＹｅｓ）、ステップＳ２１０に進み、ユーザ選択主被写体追尾の継続が可能ではないと判定された場合（Ｓ２０９でＮｏ）、ステップＳ２１１に進む。

ステップＳ２１０において、画像処理部２４により画像データから抽出した色情報や輝度情報等の特徴量に基づき、ユーザ選択主被写体追尾中の主被写体領域の位置やサイズを更新する。
また、表示部２８に表示されるユーザ選択主被写体追尾状態の主被写体領域を示す枠の位置やサイズの表示も更新し、ステップＳ２２１に進む。
ステップＳ２１１からステップＳ２２３は、実施例１におけるステップＳ１０７からステップＳ１１９と同一のため、説明を省略する。

図８のステップＳ２２４において、ステップＳ２０２で生成したライブビュー画像データをメモリ３２から読み出し、被写体検出部２６により予め優先被写体設定で設定されている種類（第１の種類）とは異なる種類（第２の種類）の被写体の検出を開始する。そして、ステップＳ２２５に進む。例えば、優先被写体設定が「人物」のときには動物などの、人物以外の種類の被写体の検出を開始する。また、優先被写体設定が「動物」のときには人物などの、動物以外の種類の被写体の検出を開始する。

ステップＳ２２５において、ユーザの画面タッチ等により、ステップＳ２２４で開始した非優先被写体検出において、非優先被写体が検出されたか否かを判定する。つまり、優先被写体設定が「人物」のときに動物などの、人物以外の種類の被写体が検出されたか、もしくは優先被写体設定が「動物」のときに人物などの、動物以外の種類の被写体が検出されたかを判定する。

非優先被写体が検出されたと判定された場合（Ｓ２２５でＹｅｓ）、ステップＳ２２６に進む。つまり、優先被写体設定が「人物」のときに動物などの、人物以外の種類の被写体が検出されたと判定された場合、もしくは優先被写体設定が「動物」のときに人物などの、動物以外の種類の被写体が検出されたと判定された場合にステップＳ２２６に進む。
一方、非優先被写体が検出されなかったと判定された場合（Ｓ２２５でＮｏ）、ステップＳ２２９に進む。

ステップＳ２２６において、ユーザの画面タッチ等により、非優先被写体（第１の種類ではない被写体）の被写体検出領域が指定されたか否かを判定する。つまり、優先被写体設定が「人物」のときに動物などの、人物以外の種類の被写体の検出領域が画面タッチ等により指定されたかを判定する。もしくは優先被写体設定が「動物」のときに人物などの、動物以外の種類の被写体の検出領域が画面タッチ等により指定されたかを判定する。
ステップＳ２２７からステップＳ２３３は、実施例１におけるステップＳ１２１からステップＳ１２７と同一のため、説明を省略する。

以上のように、実施例２においても、優先被写体設定で設定した被写体とは異なる種類の被写体を主被写体としたい場合には、その被写体を画面タッチ等することで一時的に優先被写体設定を変更でき、主被写体とすることができる。
従って、設定メニュー画面を表示して設定を切り替えるといった煩わしい操作をすることなく、ライブビュー中に簡単に優先被写体設定を変更し、所望の種類の被写体を主被写体とすることができる。

更に実施例２においては、画面タッチ等で選択した被写体が検出されなくなっても、色情報や輝度情報等の特徴量に基づきユーザ選択主被写体追尾を行っているので、ユーザの選択した主被写体をより長く追尾できる。また、追尾継続をあきらめた場合に自動的に元の設定に戻すようにすることで、簡単に優先被写体設定を元に戻すこともできる。また被写体検出に関しても、優先被写体設定で設定されている種類（第１の種類）の被写体のみの検出を行うようにすることで、デジタルカメラ１００の処理負荷や消費電力を軽減でき、同時に検出可能な被写体の種類が１種類のみでも対応可能である。

次に本発明の実施例３に係る画像処理装置について説明する。
実施例１、実施例２では、非優先被写体を画面タッチ等したときに一時的に優先被写体設定を変更し、主被写体とできるようにした。これに対して、本実施例では、測距開始位置を示す測距領域の枠を非優先被写体に合わせて、第１シャッタースイッチ６２を押下し、測距を開始した場合に一時的に優先被写体設定を変更し、主被写体とできるようにしている。

このようにすることで、実施例１、実施例２同様に、設定メニュー画面を表示して設定を切り替えるといった煩わしい操作をすることなく、ライブビュー中に簡単に優先被写体設定を変更し、所望の種類の被写体を主被写体とすることができる。さらに、第１シャッタースイッチ６２を離した場合には一時的に変更していた優先被写体設定を元の設定に戻すようにすることで、簡単に優先被写体設定を元に戻すこともできる。
図９、図１０は、本発明の実施例３の処理の流れを示すフローチャートである。

ユーザがモードスイッチ６０で静止画撮影モードおよび動画撮影モードを選択した場合に、デジタルカメラ１００は撮影モードを開始し、図９の処理が実行される。図９、図１０の各ステップの処理は、システム制御部５０が、不揮発性メモリ５２から読み出した所定のプログラムをシステムメモリ５６上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。

ステップＳ３０１において、あらかじめユーザにより設定されている優先被写体設定をシステムメモリ５６から読み出し、主被写体とする被写体の種類を決定し、ステップＳ３０２に進む。優先被写体設定に関しては実施例１で説明しているため省略する。
ステップＳ３０２において、撮像部２２により撮像された１フレーム分の画像を読み出し、画像処理部２４によりホワイトバランス調整、画素補間等の処理を施した画像データに変換し、メモリ３２に書き込む。

さらに、画像処理部２４により、生成した画像データをメモリ３２から読み出し、リサイズ処理等を行ってライブビュー表示用画像を生成し、メモリ３２に書き込むとともに、表示部２８に表示するように制御することで、ライブビュー画像の更新を行う。ライブビュー画像の更新をしたらステップＳ３０３に進む。

ステップＳ３０３において、ステップＳ３０２で生成した画像データをメモリ３２から読み出し、被写体検出部２６により被写体検出を行う。ここでは、被写体検出部２６で優先被写体設定に拘わらず、検出可能な種類の被写体を複数検出するようにし、画像から人物もしくは犬・猫・鳥といった動物の顔や体が検出できる。

ステップＳ３０４において、ユーザが画面上で直接指定した主被写体領域があるか否かを判定する。
ユーザが画面上で直接指定した主被写体領域があると判定された場合（Ｓ３０４でＹｅｓ）、ステップＳ３０５に進む。一方、ユーザが画面上で直接指定した主被写体領域がないと判定された場合（Ｓ３０４でＮｏ）、ステップＳ３１０に進む。

ユーザが画面上で主被写体を直接指定した状態とは、後述のステップＳ３１５、ステップＳ３１８の処理において、ユーザが測距開始位置を示す測距領域の枠を所望の被写体検出領域に合わせて測距開始指示することによって主被写体領域を指定した状態である。このように本実施例では、画面上の測距領域を設定することによって被写体の領域を指定している。

ユーザが画面上で主被写体を直接指定した状態では、デジタルカメラ１００が自動で主被写体領域を選択した自動選択状態（後述のステップＳ３１０〜ステップＳ３１２の処理）に比べて、主被写体領域を他の被写体検出領域に変更しにくくなっている。従ってユーザの意思を尊重して、同一の主被写体領域を継続させるようにすることができる。
ステップＳ３０５において、１つ前のフレームまでにユーザが画面上で直接指定した主被写体領域の被写体が、ステップＳ３０３における被写体検出で検出されているか否かを判定する。そしてＹｅｓの場合、ステップＳ３０６に進み、Ｎｏの場合、ステップＳ３０７に進む。

ステップＳ３０６において、ステップＳ３０３における被写体検出結果に基づき、ユーザが画面上で直接指定した主被写体領域の位置やサイズを更新する。また、表示部２８に表示されるユーザが画面上で直接指定した主被写体領域を示す枠の位置やサイズの表示も更新し、ステップＳ３１３に進む。
ステップＳ３０７において、ユーザが画面上で直接指定した主被写体をロストした（見失った）として、主被写体領域の位置やサイズを０に更新する。

また、表示部２８に表示されていたユーザが画面上で直接指定した主被写体領域を示す枠も非表示にし、主被写体が検出できない場合と同様に、多点合焦表示枠を表示して、ステップＳ３０８に進む。
ステップＳ３０８において、１つ前のフレームまでにユーザの測距開始指示に応じて、後述するステップＳ３１７において優先被写体設定が一時的に変更されているか否かを判定する。

優先被写体設定が一時的に変更されていると判定された場合（Ｓ３０８でＹｅｓ）、ステップＳ３０９に進む。一方、優先被写体設定が一時的に変更されていないと判定された場合（Ｓ３０８でＮｏ）、ステップＳ３１３に進む。
ステップＳ３０９において、１つ前のフレームまでに後述するステップＳ３１７において、一時的に変更していた優先被写体設定をシステムメモリ５６の退避させていた領域から読み出し元の設定に戻し、ステップＳ３１３に進む。

ステップＳ３１０において、ステップＳ３０３の被写体検出の際に、優先被写体設定時の被写体が検出されたか否かを判定する。つまり、優先被写体設定が「人物」のときには人物が検出されたか、優先被写体設定が「動物」のときには動物が検出されたかを判定し、Ｙｅｓの場合には、ステップＳ３１１に進み、Ｎｏの場合には、ステップＳ３１２に進む。
ステップＳ３１１において、ステップＳ３０３における被写体検出結果に基づき、主被写体領域を選択し、主被写体領域の位置やサイズを更新する。また、表示部２８に表示される自動選択状態の主被写体領域を示す枠の位置やサイズの表示も更新し、ステップＳ３１３に進む。

ステップＳ３１２において、主被写体は見つからなかったとして、主被写体領域の位置やサイズを０にし、表示部２８の自動選択状態の主被写体領域を示す枠を非表示に更新し、ステップＳ３１３に進む。ステップＳ３１０からステップＳ３１２はデジタルカメラ１００による主被写体の自動選択処理であり、優先被写体設定で予め設定されている種類の被写体のみから最適な被写体が選択され、自動選択状態の主被写体領域を示す枠が表示される。

図１０のステップＳ３１３において、ユーザの第１シャッタースイッチ６２押下による測距開始指示されたか否かを判定しＹｅｓの場合、ステップＳ３１４に進み、Ｎｏの場合、ステップＳ３２０に進む。即ち、画面上の測距領域を設定した後、所定の操作部材を操作、することによって被写体の領域の指定を最終的に確定することになる。

ステップＳ３１４において、測距開始位置を示す枠が、ステップＳ３０３で検出された被写体検出領域の内、優先被写体設定で設定されている種類の被写体の被写体検出領域と重なっているか否かを判定する。つまり、優先被写体設定が「人物」のときには人物検出領域と重なっているか、優先被写体設定が「動物」のときには動物検出領域と重なっているかを判定する。

Ｓ３１４でＹｅｓの場合、ステップＳ３１５に進み、Ｓ３１４でＮｏの場合、ステップＳ３１６に進む。
ステップＳ３１５において、測距開始位置を示す枠と重なっており、かつ優先被写体設定で設定されている種類（第１の種類）の被写体の被写体検出領域を、ユーザ選択主被写体領域とし、ステップＳ３２０に進む。
ステップＳ３１６において、測距開始位置を示す枠が、ステップＳ３０３における被写体検出で検出された被写体検出領域の内、非優先被写体（第１の種類ではない被写体）の検出領域と重なっているか否かを判定する。

つまり、優先被写体設定が「人物」のときに動物などの、人物以外の種類の被写体の検出領域と重なっているか、もしくは優先被写体設定が「動物」のときに人物などの、動物以外の種類の被写体の検出領域と重なっているかを判定する。
システム制御部５０は、非優先被写体の被写体検出領域と重なっていると判定された場合（Ｓ３１６でＹｅｓ）、ステップＳ３１７に進む。

つまり、優先被写体設定が「人物」のときに動物などの、人物以外の種類の被写体の検出領域と重なっていると判定された場合にステップＳ３１７に進む。もしくは優先被写体設定が「動物」のときに人物などの、動物以外の種類の被写体の検出領域と重なっていると判定された場合にステップＳ３１７に進む。
一方、非優先被写体の被写体検出領域とは重なっていないと判定された場合（Ｓ３１６でＮｏ）、ステップＳ３１９に進む。

つまり、優先被写体設定に拘わらず、測距開始位置を示す枠が人物や動物などステップＳ３０３における被写体検出で検出された被写体検出領域ではない場合にはステップＳ３１９に進む。あるいは被写体の検出されなかった領域に合わせて測距開始指示されたと判定された場合、ステップＳ３１９に進む。
ステップＳ３１７において、予め設定されていた優先被写体設定（第１の種類）をシステムメモリ５６の別の領域に退避させる。そして、優先被写体設定（第１の種類）を、上記優先被写体設定で設定されていた種類と異なる種類（第２の種類）の被写体に変更しステップＳ３１８に進む。

つまり、優先被写体設定が「人物」のときに測距開始位置を示す枠を動物に合わせて測距開始指示された場合には、「人物」設定を退避させ、一時的に優先被写体設定を「動物」に変更する。または、優先被写体設定が「動物」のときに測距開始位置を示す枠を人物に合わせて測距開始指示された場合には、「動物」設定を退避させ、一時的に優先被写体設定を「人物」に変更する。

ステップＳ３１８において、測距開始位置を示す枠と重なっている非優先被写体の被写体検出領域をユーザ選択主被写体領域として、ステップＳ３２０に進む。つまり、ステップＳ３１７において一時的に変更した優先被写体設定に応じた種類の被写体の検出領域を主被写体領域とし、任意選択状態として、ステップＳ３２０に進む。

ステップＳ３１９において、測距開始位置を示す枠を合わせた領域には、検出された被写体検出領域がなかったとして、被写体が非検出時と同様に、多点合焦表示枠を表示して、ステップＳ３２０に進む。このとき多点合焦表示枠内の画像に対して焦点調整や露出調整が行われることになる。
ステップＳ３２０において、ユーザによりステップＳ３１３において押下された第１シャッタースイッチ６２が押下されたままか否かを判定し、ＹｅｓであればステップＳ３２３に進み、ＮｏであればステップＳ３２１に進む。

ステップＳ３２１において、１つ前のフレームまでにユーザの測距開始指示に応じて、ステップＳ３１７において優先被写体設定が一時的に変更されているか否かを判定しＹｅｓであればステップＳ３２２に進み、ＮｏであればステップＳ３２３に進む。
ステップＳ３２２において、１つ前のフレームまでにステップＳ３１７において、一時的に変更していた優先被写体設定をシステムメモリ５６の退避させていた領域から読み出し元の設定に戻し、ステップＳ３２３に進む。

ステップＳ３２３において、ユーザのシャッターボタン６１や操作部７０の動画撮影ボタン操作で、撮影指示されたか否かを判定し、ＹｅｓであればステップＳ３２４に進み、ＮｏであればステップＳ３０２に戻り、次のフレームの処理を始める。
ステップＳ３２４において、静止画や動画の撮影処理を行い、ステップＳ３２５に進む。

撮影処理では、撮像部２２でキャプチャされた画像データを、画像処理部２４を用いて、現像、圧縮等の処理を施し、記録媒体Ｉ／Ｆ１８を介して記録媒体２００に記録する。
ステップＳ３２５において、ユーザの測距開始指示に応じて、ステップＳ３１７において優先被写体設定が一時的に変更されているか否かを判定し、ＹｅｓであればステップＳ３２６に進み、ＮｏであればステップＳ３０２に戻り、次のフレームの処理を始める。

ステップＳ３２６において、ステップＳ３１７においてシステムメモリ５６の別の領域に退避させていた元の優先被写体設定を破棄し、一時的に変更していた優先被写体設定を、ユーザ設定として記憶する。その後、ステップＳ３０２に戻り、次のフレームの処理を始める。

図１１（Ａ）、（Ｂ）は、本発明の実施例３において表示部２８に表示される画面の例を示した図である。図１１を用いて、本発明の実施例３の処理に応じた表示部２８の表示画面、特に主被写体領域を示す枠に関して説明する。

図１１（Ａ）の４０１は、優先被写体設定が「人物」のときの表示部２８の表示画面であり、ここでは犬が表示されている。優先被写体設定が「人物」であるため、ステップＳ３１０において「人物」が検出されているか判定される。「人物」は検出されないため、ステップＳ３１２において主被写体を示す枠は表示されない。また、測距開始位置を示す枠４０２が表示されている。

図１１（Ｂ）の４０３は、ユーザが第１シャッタースイッチ６２押下により測距開始指示をしたときの表示部２８の表示画面である。図１１（Ａ）の４０１のように、優先被写体設定で設定されている「人物」とは異なる「動物」の被写体検出領域に測距開始位置を示す枠４０２を合わせて第１シャッタースイッチ６２が押下された場合を想定する。その場合、ステップＳ３１７で優先被写体設定が設定されていた「人物」から「動物」に一時的に変更される。さらに、ステップＳ３１８で「動物」の被写体検出領域にユーザ選択主被写体枠４０４が表示される。

以上のように、実施例３においては、実施例１、２と同様に、ユーザの意図した種類の被写体のみを主被写体として選択するよう設定メニュー画面等でユーザがあらかじめ主被写体とする被写体の種類を優先被写体設定として設定できるようになっている。また、非優先被写体を主被写体としたい場合には、測距開始位置を示す枠をその被写体に合わせて、測距開始指示すればよい。そうすることで一時的に優先被写体設定を変更でき、優先被写体設定で設定していた種類の被写体とは異なる種類の被写体を主被写体とすることができる。

このようにすることで、実施例１、２と同様に、設定メニュー画面を表示して設定を切り替えるといった煩わしい操作をすることなく、ライブビュー中に簡単に優先被写体設定を変更し、所望の種類の被写体を主被写体とすることができる。さらに、一時的に変更した優先被写体設定はその種類の被写体が検出されなくなった場合や、第１シャッタースイッチ６２を解除した場合に、元の設定に戻すようにしているので、簡単に優先被写体設定を元に戻すこともできる。

次に本発明の実施例４について説明する。
実施例１、実施例２では、優先被写体設定で設定している種類の被写体とは異なる種類の被写体を主被写体としたい場合に、その被写体を画面タッチ等したときに一時的に優先被写体設定を変更し、主被写体とできるようにした。また、実施例３では、測距開始位置を示す枠を主被写体としたい被写体に合わせて、測距開始指示したときに一時的に優先被写体設定を変更し、主被写体とできるようにした。

これに対して、実施例４では、表示部２８に表示した現在の優先被写体設定を示すアイコンや文字等の表示部材や優先被写体設定を切り替える機能を割り当てた操作部７０の所定のボタンを押下した場合に優先被写体設定を変更する。そして、主被写体とできるようにしている。このようにすることでも、実施例１〜実施例３同様に、設定メニュー画面を表示して設定を切り替えるといった煩わしい操作をすることなく、ライブビュー中に簡単に優先被写体設定を変更し、所望の種類の被写体を主被写体とすることができる。

図１２は、本発明の実施例４の処理の流れを示すフローチャートである。
以下、実施例１の処理と同一の処理に関しては、その説明を省略する。
ユーザが例えばモードスイッチ６０で静止画撮影モードおよび動画撮影モードを選択した場合に、デジタルカメラ１００は撮影モードを開始し、図１２の処理が実行される。図１２の各ステップの処理は、システム制御部５０が、不揮発性メモリ５２から読み出した所定のプログラムをシステムメモリ５６上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。

ステップＳ４０１において、あらかじめユーザにより設定されている優先被写体設定をシステムメモリ５６から読み出し、主被写体とする被写体の種類を決定する。また、表示部２８に優先被写体設定を表すアイコンや文字を表示し、ステップＳ４０２に進む。
ステップＳ４０２、ステップＳ４０３は、実施例１におけるステップＳ１０２、ステップＳ１０３と同一のため、説明を省略する。

ステップＳ４０４において、現在のフレームのステップＳ４０３における被写体検出において、優先被写体設定で設定されている種類の被写体が検出されているか否かを判定する。つまり、優先被写体設定が「人物」のときには人物が検出されているか、「動物」のときには動物が検出されているかを判定し、Ｙｅｓの時はステップＳ４０５に進み、ＮｏのときはステップＳ４０６に進む。

ステップＳ４０５において、ステップＳ４０３における被写体検出結果に基づき、主被写体領域を選択し、主被写体領域の位置やサイズを更新する。また、表示部２８に表示される自動選択状態の主被写体領域を示す枠の位置やサイズの表示も更新し、ステップＳ４０７に進む。

ステップＳ４０６において、優先被写体設定で設定されている種類の主被写体は見つからなかったとして、主被写体の自動選択を解除し、被写体領域の位置やサイズを０にし、表示部２８の自動選択状態の主被写体領域を示す枠を非表示に更新する。
ステップＳ４０４からステップＳ４０６はデジタルカメラ１００による主被写体の自動選択処理であり、優先被写体設定で設定されている種類の被写体のみから最適な被写体が選択され、自動選択状態の主被写体領域を示す枠が表示される。

ステップＳ４０７において、ユーザのタッチパネル操作部７２に対するタッチ操作で、表示部２８に表示した現在の優先被写体設定を示すアイコンや文字がタッチされたか否かを判定する。そして、Ｙｅｓの場合にはステップＳ４０８に進み、Ｎｏの場合にはステップＳ４０９に進む。

ステップＳ４０８において、現在の優先被写体設定を別の種類の被写体に変更する。例えば、優先被写体設定が「人物」のときには優先被写体設定を「動物」に、「動物」のときには「人物」に変更する。優先被写体設定が３種類以上の場合には、アイコンをタッチする度に順番に設定がトグルするようにしてもよいし、ステップＳ４０３において検出された優先被写体設定で設定されている種類と異なる種類の被写体に変更するようにしてもよい。

ステップＳ４０９において、ユーザにより操作部７０の優先被写体設定を切り替える機能を割り当てた所定のボタンが押下されたか否かを判定し、Ｙｅｓの場合はステップＳ４１０に進み、Ｎｏの場合はステップＳ４０２に戻り、次のフレームの処理を始める。

ステップＳ４１０において、現在の優先被写体設定を別の種類の被写体に変更する。例えば、優先被写体設定が「人物」のときには優先被写体設定を「動物」に、「動物」のときには「人物」に変更する。優先被写体設定が３種類以上の場合には、優先被写体設定を切り替える機能を割り当てたボタンを押下する度に順番に設定がトグルするようにしてもよい。または、ステップＳ４０３において検出された優先被写体設定で設定されている種類と異なる種類の被写体に変更するようにしてもよい。

以上のように、実施例４においては、実施例１〜３と同様、ユーザの意図した種類の被写体のみを主被写体として選択するよう設定メニュー画面等でユーザがあらかじめ主被写体とする被写体の種類を優先被写体設定として設定できるようになっている。また、優先被写体設定で設定している種類の被写体とは異なる種類の被写体を主被写体としたい場合には、現在の優先被写体設定を示すアイコンや文字をタッチしたときに優先被写体設定を変更し、主被写体を変更できるようにした。また、優先被写体設定を切り替える機能を割り当てた所定のボタンを押下したときにも優先被写体設定を変更し、主被写体とできるようにした。

このようにすることで、設定メニュー画面を表示して設定を切り替えるといった煩わしい操作をすることなく、ライブビュー中に簡単に優先被写体設定を変更し、所望の種類の被写体を主被写体とすることができる。
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。例えば前述したように、実施例においては画像処理装置として撮像手段を有する撮像装置の例を用いて説明したが、画像処理装置は撮像手段を含まないＰＣ等であっても良い。

なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置に供給するようにしてもよい。そしてその画像処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１３ Ｄ／Ａ変換器
１５ メモリ制御部
１８ 記録媒体Ｉ／Ｆ
２０ シャッター
２２ 撮像部
２３ ＡＦ評価値検出部
２４ 画像処理部
２６ 被写体検出部
２８ 表示部
３２ メモリ
４０ 電源部
４１ 電源制御部
５０ システム制御部
５２ 不揮発性メモリ
５３ システムタイマー
５６ システムメモリ
６０ モードスイッチ
６１ シャッターボタン
６２ 第１シャッタースイッチ
６３ 第２シャッタースイッチ
７０ 操作部
７２ タッチパネル操作部
８０ コネクタ
１００ デジタルカメラ
２００ 記録媒体
３００ レンズユニット
３０１ 撮像レンズ
３０２ 絞り
３０３ レンズ制御部
３０４ コネクタ

Claims (16)

1. 撮影された画像から２種類以上の被写体を検出可能な被写体検出手段と、
   前記被写体検出手段で検出する被写体のうちの優先する被写体の種類を予め第１の種類に設定可能な設定手段と、
   画面上の被写体の領域を指定する領域指定手段と、
   前記設定手段は、前記領域指定手段により指定された領域の被写体の種類が前記第１の種類と異なる第２の種類の場合に、前記第１の種類を前記第２の種類に変更することを特徴とする画像処理装置。
2. 前記領域指定手段は、画面上の被写体の領域をタッチすることによって所定の被写体領域を指定することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域指定手段は、画面上の被写体の領域をポインティングデバイスで指定することによって指定することを特徴とする請求項１に記載の画像処理装置。
4. 前記領域指定手段は、画面上の測距領域を設定することによって被写体の領域を指定することを特徴とする請求項１に記載の画像処理装置。
5. 前記領域指定手段は、画面上の測距領域を設定した後、所定の操作部材を操作することによって被写体の領域の指定を確定することを特徴とする請求項４に記載の画像処理装置。
6. 前記所定の操作部材はシャッターボタンを含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、メニュー選択画面によって、前記優先する被写体の種類を予め前記第１の種類に設定することが可能であることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記領域指定手段により指定された領域の被写体の種類が第２の種類の場合に、前記第１の種類を前記第２の種類に変更した後、前記領域の被写体が前記被写体検出手段により検出されなくなった場合に、前記第２の種類を前記第１の種類に戻すことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記領域指定手段により指定された領域の被写体を色情報または輝度情報に基づき追跡する追跡手段を備えることを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記設定手段は、前記領域指定手段により指定された領域の被写体の種類が第２の種類の場合に、前記第１の種類を前記第２の種類に変更した後、所定の操作部材によって撮影を開始した場合には、前記第２の種類を初期値として設定することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記設定手段によって設定された前記優先する被写体の種類の被写体領域を区別して表示するための表示手段を有することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記設定手段によって設定された前記優先する被写体の種類の被写体領域を優先的に焦点調整または露出調整する調整手段を有することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 請求項１〜１２のいずれか１項に記載の画像処理装置と、
    被写体像を撮影する撮像手段と、を有することを特徴とする撮像装置。
14. 撮影された画像から２種類以上の被写体を検出可能な被写体検出ステップと、
    前記被写体検出ステップで検出する被写体のうちの優先する被写体の種類を予め第１の種類に設定可能な設定ステップと、
    画面上の被写体の領域を指定する領域指定ステップと、
    前記設定ステップは、前記領域指定ステップにより指定された領域の被写体の種類が前記第１の種類と異なる第２の種類の場合に、前記第１の種類を前記第２の種類に変更することを特徴とする画像処理方法。
15. 請求項１〜１２のいずれか１項に記載の前記画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    
    

Images