JP2012015889A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】追尾の対称となる被写体を的確に認識する。
【解決手段】被写体枠設定処理部２４は、画像に写されている被写体を検出する被写体検出器を動作させることにより画像から検出された被写体の所定範囲を囲う被写体枠を設定する。そして、追尾被写体認識部２５は、画像の状況に応じて、または、撮像モードに応じて、被写体枠よりも広い範囲のタッチ許容枠を設定し、ユーザによりタッチされた画像上の指定位置がタッチ検出部２３により検出されると、タッチ許容枠と指定位置とに基づいて、追尾の対象となる被写体を認識する。本発明は、例えば、デジタルカメラに適用できる。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関し、特に、追尾の対称となる被写体を的確に認識することができるようにした画像処理装置および画像処理方法に関する。

従来、デジタルスチルカメラやデジタルビデオカメラなど（以下、適宜、デジタルカメラと称する）には、ユーザが選択した特定の人物の顔や、顔以外の物体などの被写体を追尾する機能が搭載されている。そして、追尾している被写体の位置の状態に応じてデジタルカメラの各種パラメータ（例えば、フォーカスや明るさなど）が最適となるように維持し続けることができる。

ユーザが、デジタルカメラで撮像されている被写体を選択する方法としては、タッチパネルに表示されている被写体をタッチすることにより選択する方法や、予め被写体を画角に合わせるためのガイド枠を利用して選択する方法などがある。

例えば、特許文献１には、ユーザが、顔以外の被写体を追尾させたいときに、その被写体を検出することができる専用のモードとなるように操作して、物体追尾機能を有効にする撮像装置が開示されている。

特開２００６−１０１１８６号公報

ところで、従来のデジタルカメラでは、ユーザが、追尾の対称となる被写体を正確に指定することができなければ、ユーザの意図した被写体を的確に認識することが困難であった。

本発明は、このような状況に鑑みてなされたものであり、追尾の対称となる被写体を的確に認識することができるようにするものである。

本発明の第１の側面の画像処理装置は、画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定する被写体枠設定手段と、前記画像の状況に応じて、前記被写体枠よりも広い範囲の許容枠を設定する許容枠設定手段と、ユーザにより指定された画像上の指定位置を検出する位置検出手段と、前記許容枠設定手段により設定された前記許容枠と前記位置検出手段により検出された前記指定位置とに基づいて、追尾の対象となる被写体を認識する認識手段とを備える。

本発明の第１の側面の画像処理方法は、画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定し、前記画像の状況に応じて、前記被写体枠よりも広い範囲の許容枠を設定し、ユーザにより指定された画像上の指定位置を検出し、前記許容枠と前記指定位置とに基づいて、追尾の対象となる被写体を認識するステップを含む。

本発明の第１の側面においては、画像に写されている被写体を検出する被写体検出器を動作させることにより画像から検出された被写体の所定範囲を囲う被写体枠が設定され、画像の状況に応じて、被写体枠よりも広い範囲の許容枠が設定される。そして、ユーザにより指定された画像上の指定位置が検出され、許容枠と指定位置とに基づいて、追尾の対象となる被写体が認識される。

本発明の第２の側面の画像処理装置は、画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定する被写体枠設定手段と、所定の被写体に適した撮像条件で撮像を行うために設定される撮像モードに応じて、前記被写体枠よりも広い範囲の許容枠を設定する許容枠設定手段と、ユーザにより指定された画像上の指定位置を検出する位置検出手段と、前記許容枠設定手段により設定された前記許容枠と前記位置検出手段により検出された前記指定位置とに基づいて、追尾の対象となる被写体を認識する認識手段とを備える。

本発明の第２の側面の画像処理方法は、画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定し、所定の被写体に適した撮像条件で撮像を行うために設定される撮像モードに応じて、前記被写体枠よりも広い範囲の許容枠を設定し、ユーザにより指定された画像上の指定位置を検出し、前記許容枠と前記指定位置とに基づいて、追尾の対象となる被写体を認識するステップを含む。

本発明の第２の側面においては、画像に写されている被写体を検出する被写体検出器を動作させることにより画像から検出された被写体の所定範囲を囲う被写体枠が設定され、所定の被写体に適した撮像条件で撮像を行うために設定される撮像モードに応じて、被写体枠よりも広い範囲の許容枠が設定される。そして、ユーザにより指定された画像上の指定位置が検出され、許容枠と指定位置とに基づいて、追尾の対象となる被写体が認識される。

本発明の第１および第２の側面によれば、追尾の対称となる被写体を的確に認識することができる。

本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。 撮像モードが人物モードであるときの画面例を示す図である。 撮像モードがペットモードであるときの画面例を示す図である。 撮像モードがペットモードであるときの他の画面例を示す図である。 撮像モードに応じたタッチ許容枠の設定例を示す図である。 被写体の大きさ応じたタッチ許容枠の設定例を示す図である。 被写体の動きに応じたタッチ許容枠の設定例を示す図である。 被写体の動きに応じたタッチ許容枠の設定例を示す図である。 追尾被写体認識部の構成例を示すブロック図である。 被写体の追尾を開始する処理を説明するフローチャートである。 タッチ許容枠設定処理を説明するフローチャートである。 撮像モードに応じて追尾被写体が認識される例を説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。

図１において、デジタルカメラ１１は、レンズ１２、撮像部１３、表示部１４、外部I/F（Interface）１５、および画像処理部１６を備えて構成される。

レンズ１２は、例えば、ズーム機能などを備えた複数枚のレンズ群により構成されており、被写体からの光を集光して、撮像部１３が有する撮像素子の撮像面に、被写体の像を結像する。撮像部１３は、例えば、CCD（Charge Coupled Device）や、CMOS(Complementary Metal Oxide Semiconductor)センサなどで構成され、被写体の像を撮像し、その撮像によって得られる画像を画像処理部１６に出力する。

表示部１４は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）ディスプレイなどで構成され、撮像部１３で撮像され、画像処理部１６において画像処理が施されて出力される画像、例えば、被写体が被写体枠で囲われた画像を表示する。外部I/F１５は、画像処理部１６から出力される画像を、例えば、図示しない外部ディスプレイの出力するための端子などで構成される。

画像処理部１６は、撮像部１３により撮像された画像に対して画像処理を施し、その画像を表示部１４および外部I/F１５に出力する。画像処理部１６は、例えば、画像に写されている被写体（例えば、顔）を検出して、その被写体の所定範囲を囲う被写体枠を画像に合成する画像処理を行う。また、画像処理部１６は、任意の被写体がユーザにより選択されると、その被写体を追尾する被写体追尾処理を行い、追尾の対称となった被写体（以下、適宜、追尾被写体と称する）を撮像するのに最適となるように各種のパラメータを調整する処理を行う。

画像処理部１６は、画像メモリ２１、モード設定部２２、タッチ検出部２３、被写体枠設定処理部２４、追尾被写体認識部２５、検出器切り替え部２６、および被写体追尾処理部２７を備えて構成される。

画像メモリ２１には、撮像部１３により撮像された画像のデータが順次供給され、画像メモリ２１は、供給される画像のデータを順次記憶する。

モード設定部２２は、ユーザにより指定された撮像モードで使用される各種のパラメータを設定する。デジタルカメラ１１は、例えば、人物の撮像に適した撮像条件で撮像が行われる人物モードや、動物の撮像に適した撮像条件で撮像が行われるペットモードなどの各種の撮像モードを備えている。また、モード設定部２２において設定される撮像モードは、被写体枠設定処理部２４および追尾被写体認識部２５が行う処理において参照される。

タッチ検出部２３は、表示部１４の画面に重畳するように実装されているタッチパネル（図示せず）からの信号に基づいて、ユーザが表示部１４の画面をタッチすると、そのタッチされた位置（指定位置）を検出する。そして、タッチ検出部２３は、タッチ位置を示す情報を追尾被写体認識部２５に供給する。

被写体枠設定処理部２４は、画像に写されている被写体を検出する複数の検出器を有しており、それらの検出器により検出された被写体の所定範囲を囲う大きさの被写体枠を設定する被写体枠設定処理を行う。例えば、図１に示すように、被写体枠設定処理部２４は、顔検出器２８−１および動物検出器２８−２を有しており、顔検出器２８−１により検出された人物の顔や、動物検出器２８−２により検出された動物の顔などに対して被写体枠を設定する。また、被写体枠設定処理部２４により設定された被写体枠は、画像に合成されて表示部１４に表示される。

追尾被写体認識部２５は、ユーザがタッチしたタッチ位置を示す情報がタッチ検出部２３から供給されると、被写体枠設定処理部２４により設定されている被写体枠に基づいて追尾被写体を認識する。例えば、追尾被写体認識部２５は、ユーザがタッチしたタッチ位置が被写体枠の内側であれば、その被写体枠が設定されている被写体を追尾被写体として認識する。そして、追尾被写体認識部２５は、追尾被写体を認識する事ができた場合、追尾被写体を特定する情報を検出器切り替え部２６に供給する。

検出器切り替え部２６は、追尾被写体認識部２５から追尾被写体を特定する情報が供給されると、追尾被写体認識部２５を介して、被写体枠設定処理部２４が追尾被写体の検出に用いた検出器を認識する。そして、検出器切り替え部２６は、追尾被写体を特定する情報を被写体追尾処理部２７に供給するとともに、被写体追尾処理部２７が被写体追尾処理で使用する検出器を、追尾被写体の検出に用いた検出器に切り替える処理を行う。

被写体追尾処理部２７は、検出器切り替え部２６により切り替えられた検出器を使用して、追尾被写体を特定する情報で特定される追尾被写体を追尾する被写体追尾処理を開始する。これにより、被写体追尾処理部２７は、追尾被写体に適合した検出器で被写体追尾処理を実行することができる。

また、追尾被写体を特定する情報には、例えば、追尾被写体の位置を示す情報や追尾被写体の色および輝度を示す情報などが含まれている。被写体追尾処理部２７は、画像メモリ２１に次の画像のデータが記憶されると、その前の画像で特定された追尾被写体の位置近辺の所定領域における追尾被写体の色および輝度に近い領域を、次の画像から検出して追尾被写体を特定する。そして、被写体追尾処理部２７は、その画像で特定された追尾被写体の位置、並びに、追尾被写体の色および輝度に基づいて、画像メモリ２１に順次記憶される画像から追尾被写体を特定すること繰り返して行う。このように被写体追尾処理が行われ、被写体追尾処理部２７は、追尾被写体を撮像するのに最適となるように各種のパラメータを調整する。

このように、デジタルカメラ１１では、ユーザが表示部１４の画面をタッチすることにより、追尾の対称となった被写体が認識され、その被写体を追尾する被写体追尾処理が行われる。

ここで、例えば、複数の被写体が写されている画像に対して複数の被写体枠が設定されている場合に、ユーザがタッチしたタッチ位置が、いずれの被写体枠の内側でない場合、追尾被写体認識部２５は、追尾被写体を認識することができない。この場合、追尾被写体認識部２５は、モード設定部２２に設定されている撮像モードを参照して追尾被写体を認識することができる。

図２および図３を参照して、追尾被写体認識部２５が撮像モードを参照して追尾被写体を認識する処理について説明する。

図２には、撮像モードとして人物モードが設定されているときの表示部１４の画面Ｐ１１乃至Ｐ１３が示されており、図３には、撮像モードとしてペットモードが設定されているときの表示部１４の画面Ｐ１４乃至１６が示されている。また、デジタルカメラ１１では、被写体枠設定処理部２４において顔検出器２８−１が常に動作しているものとする。

図２に示すように、撮像モードが人物モードであるとき、表示部１４の画面Ｐ１１乃至Ｐ１３には、人物を示すアイコンとともに「人物モード」と表示される。そして、画面Ｐ１１に示すように被写体として、二人の子供と犬が撮像されると、被写体枠設定処理部２４は、顔検出器２８−１により検出された二人の子供の顔に被写体枠を設定する。これにより、画面Ｐ１２に示すように、二人の子供の顔に対して設定された被写体枠Ｆ１１およびＦ１２が表示される。

ここで、ユーザが表示部１４の画面をタッチした位置が、画面Ｐ１２に示されている指マークの先端のように、被写体枠Ｆ１１の外側近傍であり、かつ、犬の近傍であったとする。この場合、追尾被写体認識部２５は、撮像モードが人物モードであることから、被写体枠Ｆ１１の外側であっても、ユーザが追尾の対称としたい被写体は人物であると推測し、被写体枠Ｆ１１が設定されている子供の顔を追尾被写体として認識する。これにより、画面Ｐ１３に示すように、追尾被写体用の被写体枠Ｆ１１’が表示される。追尾被写体用の被写体枠Ｆ１１’は、追尾の対称として認識される前の被写体枠Ｆ１１から、色や大きさなどが変更されて表示される。

一方、図３に示すように、撮像モードがペットモードであるとき、表示部１４の画面Ｐ１４乃至１６には、動物を示すアイコンとともに「ペットモード」と表示される。画面Ｐ１４には、図２の画面Ｐ１１と同一の構図の画像が表示されており、画面Ｐ１５に示すように、被写体枠Ｆ１１の外側近傍であり、かつ、犬の近傍の箇所（図２の画面Ｐ１２と同一箇所）をユーザがタッチしたとする。

この場合、追尾被写体認識部２５は、撮像モードがペットモードであることから、被写体枠Ｆ１１の外側近傍であっても、ユーザが追尾の対称としたい被写体は子供ではなく動物であると推測し、犬を追尾被写体として認識する。これにより、画面Ｐ１６に示すように、犬の顔の所定領域を囲う追尾被写体用の被写体枠Ｆ１３’が表示される。

なお、撮像モードがペットモードであるときには、顔検出器２８−１と動物検出器２８−２との両方が同時に動作している。このように、デジタルカメラ１１において複数の検出器が同時に動作している場合、それぞれの検出器により検出された被写体に対して被写体枠を表示することができる。

即ち、図４に示すように、撮像モードとしてペットモードが設定されているときの表示部１４の画面Ｐ１５’には、子供の顔と同様に、犬の顔にも被写体枠を表示することができる。

ところで、追尾被写体認識部２５が、ユーザが表示部１４の画面をタッチした位置が、被写体枠の外側近傍であると判断するためには、その近傍を規定する領域を決める必要がある。この領域としては、被写体枠に対して一定の間隔で広い枠を固定的に設定する他、例えば、撮像対象や撮像モードなどに応じて、間隔が変更される枠を設定してもよい。このように、ユーザが表示部１４の画面をタッチした位置が被写体枠の外側であっても、その被写体枠が設定されている被写体をユーザがタッチしたとして許容する枠を、以下、適宜、タッチ許容枠と称する。

例えば、図５には、撮像モードとして人物モードが設定されているときの表示部１４の画面Ｐ１７、および、撮像モードとしてペットモードが設定されているときの表示部１４の画面Ｐ１８が示されている。

画面Ｐ１７およびＰ１８は、人物と犬とが撮像されており、同一の構図である。また、画面Ｐ１７およびＰ１８において、人物の顔に対する被写体枠Ｆ１４と、犬の顔に対する被写体枠Ｆ１５とは、同一の箇所に設定されている。また、画面Ｐ１７およびＰ１８では、被写体枠Ｆ１４に対するタッチ許容枠Ｆ１６と、被写体枠Ｆ１５に対するタッチ許容枠Ｆ１７とが破線で示されている。なお、タッチ許容枠Ｆ１６および１７は、説明の為に図示されており、表示部１４には表示されない。

画面Ｐ１７に示すように、撮像モードが人物モードである場合には、撮像が優先される被写体が人物であるため、その撮像モードに適合する被写体である人物の顔の被写体枠Ｆ１４に設定されるタッチ許容枠Ｆ１６は、犬の顔の被写体枠Ｆ１５に設定されるタッチ許容枠Ｆ１７よりも大きく設定される。

一方、画面Ｐ１８に示すように、撮像モードがペットモードである場合には、撮像が優先される被写体が動物であるため、その撮像モードに適合する被写体である犬の顔の被写体枠Ｆ１５に設定されるタッチ許容枠Ｆ１７は、人物の顔の被写体枠Ｆ１４に設定されるタッチ許容枠Ｆ１６よりも大きく設定される。

このように、デジタルカメラ１１は、撮像モードに応じた大きさのタッチ許容枠を設定することで、ユーザのタッチが被写体から離れていても、ユーザの選択意図を推定して、その意図に沿った被写体を追尾被写体として認識することができる。

また、画面Ｐ１７に示すように、被写体である人物に対しては、被写体枠Ｆ１４に対するタッチ許容枠Ｆ１６の間隔は、被写体枠Ｆ１４に対する上側、右側、および左側の間隔よりも、被写体枠Ｆ１４に対する下側の間隔が広くなるように設定される。これは、例えば、被写体が人物である場合には、被写体枠（顔枠）の下側には、その人物の胴体が写されていることが多いためである。このように、被写体枠Ｆ１４に対するタッチ許容枠Ｆ１６の下側の間隔を広く設けることにより、画像に写されている人物の胴体をタッチしたときにも、その人物を追尾被写体とすることができる。

また、画面Ｐ１７に示すように、被写体が動物である場合には、被写体枠Ｆ１５に対して等間隔となるように、タッチ許容枠Ｆ１７が設定される。このように、デジタルカメラ１１では、被写体の種類に応じたタッチ許容枠の大きさ、具体的には、被写体を検出した検出器の種類に応じたタッチ許容枠の大きさが予め設定されている。

さらに、被写体枠の大きさは、画像に写されている被写体の大きさに応じて調整され、タッチ許容枠の大きさは、被写体枠の大きさに応じて調整される。

即ち、図６に示すように、被写体Ａが被写体Ｂよりも大きく写されている場合、被写体Ａに設定される被写体枠Ｆ１８は、被写体Ｂに設定される被写体枠Ｆ２０よりも大きく設定される。また、被写体Ａに設定されるタッチ許容枠Ｆ１９も、被写体Ｂに設定されるタッチ許容枠Ｆ２１よりも大きく設定される。

また、タッチ許容枠Ｆ１９は、被写体Ａの胴体を含むように、被写体枠Ｆ１８に対するタッチ許容枠Ｆ１９の下側の間隔（マージン）が、上側、右側、および左側の間隔よりも広く設定される。同様に、タッチ許容枠Ｆ２１は、被写体Ｂの胴体を含むように、被写体枠Ｆ２０に対して下側の間隔が広く設定される。

さらに、被写体枠に対するタッチ許容枠の間隔は、被写体の状況（シーン）に応じて、例えば、被写体の動きに応じて調整してもよい。

即ち、図７に示すように、被写体Ａが一人で写されているときに、被写体Ｂが被写体Ａの左側から被写体Ａに近づいてくる動きが検出されると、被写体Ａに設定されているタッチ許容枠Ｆ１９の左側（被写体Ｂ側）の間隔が狭くなるように調整される。その後、被写体Ｂが被写体Ａから離れる動きが検出されると、タッチ許容枠Ｆ１９は、元の間隔に戻るように調整される。なお、図７には表されていないが、被写体Ｂに設定されているタッチ許容枠Ｆ２１の被写体Ａ側の間隔も、被写体Ｂが被写体Ａに近づくと狭くなるように調整され、被写体Ｂが被写体Ａから離れると元の間隔に戻るように調整される。

また、例えば、図８に示すように、被写体Ａが一人で写されているときに、被写体Ｂが被写体Ａの左側から被写体Ａに近づいてくる動きと、被写体Ｃが被写体Ａの右側から被写体Ａに近づいてくる動きとが検出されたとする。この場合、被写体Ａに設定されているタッチ許容枠Ｆ１９の両側の間隔が狭くなるように調整される。その後、被写体ＢおよびＣが被写体Ａから離れる動きが検出されると、タッチ許容枠Ｆ１９は、元の間隔に戻るように調整される。なお、被写体Ｂに設定されているタッチ許容枠Ｆ２１および被写体Ｃに設定されているタッチ許容枠Ｆ２３についても、被写体ＢおよびＣの動きに応じて調整される。

図５乃至８を参照して説明したように、被写体枠よりも広い範囲を囲うようにタッチ許容枠が設定され、撮像モードおよび撮像シーン（被写体の大きさや、種類、動きなど）によって、タッチ許容枠の大きさが調整される。

次に、図９は、タッチ許容枠を設定する追尾被写体認識部２５の構成例を示すブロック図である。

図９において、追尾被写体認識部２５は、記憶部３１、動き検出部３２、タッチ許容枠設定処理部３３、タッチ判定部３４、および認識部３５を備えて構成される。

記憶部３１には、被写体枠設定処理部２４が設定した被写体枠に関する情報が供給され、記憶部３１は、所定の期間、被写体枠に関する情報を記憶する。被写体枠に関する情報には、被写体枠の位置および大きさを示す情報や、被写体を検出した検出器の種類を示す情報が含まれる。

動き検出部３２は、記憶部３１に記憶されている被写体枠に関する情報に基づいて、所定の期間における被写体枠の位置の変化を求めることにより、被写体の動きを検出する。

タッチ許容枠設定処理部３３は、モード設定部２２に設定されている撮像モード、および、記憶部３１に記憶されている被写体枠に関する情報に基づいて、被写体枠に対してタッチ許容枠を設定する。また、タッチ許容枠設定処理部３３は、動き検出部３２により検出された被写体の動きに基づいて、設定したタッチ許容枠の大きさを調整する。

タッチ判定部３４は、タッチ検出部２３からユーザがタッチしたタッチ位置を示す情報が供給されると、タッチ位置が、タッチ許容枠設定処理部３３により設定されているタッチ許容枠の範囲内か否かを判定する。そして、タッチ位置がタッチ許容枠の範囲内であると判定された場合、タッチ判定部３４は、そのタッチ許容枠が設定されている被写体を追尾被写体として決定し、認識部３５に通知する。

なお、タッチ位置がタッチ許容枠の範囲内でないと判定された場合、タッチ判定部３４は、被写体枠設定処理部２４に対して他の検出器を動作させる。例えば、顔検出器２８−１のみが動作しているときに、ユーザが人物以外の被写体、例えば、動物をタッチしたとする。このとき、タッチ位置がタッチ許容枠の範囲内でないと判定されるが、被写体枠設定処理部２４で動物検出器２８−２を動作させることにより、ユーザによりタッチされた動物を検出することができ、その動物を追尾被写体として認識することができる。

認識部３５は、タッチ判定部３４から追尾被写体が通知されると、その追尾被写体を認識して、追尾被写体を特定する情報を出力する。

次に、図１０は、デジタルカメラ１１が被写体の追尾を開始する処理を説明するフローチャートである。

例えば、デジタルカメラ１１が起動して撮像部１３による撮像が開始されると処理が開始され、ステップＳ１１において、被写体枠設定処理部２４は、顔検出器２８−１の動作を開始する。そして、被写体枠設定処理部２４は、画像メモリ２１に記憶されている画像から検出される人物の顔に対して被写体枠（顔枠）を設定する被写体枠設定処理を開始し、処理はステップＳ１２に進む。

ステップＳ１２において、タッチ検出部２３は、表示部１４のタッチパネルからの信号に基づいて、ユーザが表示部１４の画面をタッチしたか否かを判定する。そして、タッチ検出部２３が、ユーザが表示部１４の画面をタッチしたと判定するまで処理が待機され、ユーザが表示部１４の画面をタッチしたと判定されると、処理はステップＳ１３に進む。

ステップＳ１３において、タッチ検出部２３は、ユーザがタッチしたタッチ位置を示す情報（座標）を追尾被写体認識部２５に出力し、追尾被写体認識部２５は、タッチ位置を取得する。

ステップＳ１３の処理後、処理はステップＳ１４に進み、タッチ許容枠設定処理（後述する図１１を参照）が行われ、被写体枠に対してタッチ許容枠が設定される。タッチ許容枠設定処理の処理後、処理はステップＳ１５に進む。

ステップＳ１５において、追尾被写体認識部２５では、ステップＳ１３で取得したタッチ位置に基づいて、タッチ判定部３４が、タッチ位置がタッチ許容枠の範囲内であるか否かを判定する。

ステップＳ１５において、タッチ位置がタッチ許容枠の範囲内でない（範囲外である）と判定された場合、処理はステップＳ１６に進み、タッチ判定部３４は、被写体枠設定処理部２４が有する全ての検出器が動作しているか否かを判定する。

ステップＳ１６において、被写体枠設定処理部２４が有する全ての検出器が動作していないと判定された場合、処理はステップＳ１７に進む。

ステップＳ１７において、タッチ判定部３４は、被写体枠設定処理部２４に対して、動作している検出器以外の他の検出器を動作するように要求する。これに応じて、被写体枠設定処理部２４は他の検出器の動作を開始し、処理はステップＳ１４に戻り、以下、同様の処理が繰り返される。即ち、動作を開始した検出器により被写体の検出が行われ、被写体が新たに検出されると被写体枠が設定されて、その被写体枠に対してタッチ許容枠が新たに設定される。

一方、ステップＳ１６において、被写体枠設定処理部２４が有する全ての検出器が動作していると判定された場合、処理はステップＳ１６に戻り、以下、同様の処理が繰り返される。即ち、この場合、ユーザのタッチに対して追尾被写体を認識することができず、新たなタッチが検出されるのを待機する。なお、この場合、追尾被写体を認識することができなかった旨を表示部１４に表示してもよい。

一方、ステップＳ１５において、タッチ位置がタッチ許容枠の範囲内であると判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、認識部３５は、タッチ位置が範囲内とされたタッチ許容枠の設定されている被写体を追尾被写体として認識し、その被写体に設定されている被写体枠内の色および輝度を取得する。そして、認識部３５は、追尾被写体の位置を示す情報や追尾被写体の色および輝度を示す情報などが含まれる、追尾被写体を特定する情報を検出器切り替え部２６に供給する。

ステップＳ１８の処理後、処理はステップＳ１９に進み、検出器切り替え部２６は、追尾被写体を検出した検出器を認識し、その検出器を被写体追尾処理で使用するように被写体追尾処理部２７に対して検出器を切り替える処理を行う。また、検出器切り替え部２６は、追尾被写体を特定する情報を被写体追尾処理部２７に供給し、処理はステップＳ２０に進む。

ステップＳ２０において、被写体追尾処理部２７は、ステップＳ１８で切り替えられた検出器を使用し、追尾被写体を特定する情報に基づいて、追尾被写体を追尾する被写体追尾処理を開始する。ステップＳ２０の処理後、処理はステップＳ１２に戻り、ユーザが次の被写体をタッチするまで処理が待機され、以下、同様の処理が繰り返される。

以上のように、デジタルカメラ１１では、タッチ許容枠の内側の領域がタッチされたときに、そのタッチ許容枠が設定されている被写体が追尾被写体として認識されるので、ユーザのタッチ位置が被写体枠外であったとしても、被写体を的確に認識することができる。

また、ユーザがタッチした位置がタッチ許容枠の範囲外であった場合、他の検出器を動作させることにより、ユーザが追尾の対称としたい被写体を検出するための検出器が動作していなかったとしても、その被写体を検出することができる。これにより、追尾の対象とする被写体を設定する際に、ユーザの使い勝手を向上させることができる。

即ち、撮像モードが人物モードであり顔検出器２８−１しか動作していない場合に、ユーザが表示部１４に表示されている動物をタッチしたとき、自動的に、動物検出器２８−２の動作が開始されて、その動物が追尾被写体として認識される。このように、ユーザが、撮像モードを動物モードに切り替えるような手間をかけることなく、動物を追尾被写体として被写体追尾処理を開始することができる。

また、このように複数の検出器を動作させて追尾被写体を認識して被写体追尾処理が開始されたとき、検出器切り替え部２６は、追尾被写体を検出に用いられた検出器以外の検出器の動作を停止させることができる。これにより、画像処理部１６において実行される処理を減らすことができ、例えば、電力の使用を抑制することができる。

次に、図１１は、図１０のステップＳ１４におけるタッチ許容枠設定処理を説明するフローチャートである。

ステップＳ３１において、タッチ許容枠設定処理部３３は、タッチ判定部３４がタッチ位置を取得したタイミングで表示部１４に表示されていた被写体枠に関する情報を、記憶部３１から読み出して取得する。

ステップＳ３１の処理後、処理はステップＳ３２に進み、タッチ許容枠設定処理部３３は、モード設定部２２を参照し、現在設定されている撮像モードを取得し、処理はステップＳ３３に進む。

ステップＳ３３において、タッチ許容枠設定処理部３３は、ステップＳ３１で取得した被写体枠に関する情報に基づいて、被写体枠が設定されている被写体の種類を認識する。そして、タッチ許容枠設定処理部３３は、その認識した被写体の種類と、ステップＳ３２で取得した撮像モードとに基づいて、予め登録されている基準となる大きさで、被写体枠に対してタッチ許容枠を設定する。

ここで、タッチ許容枠設定処理部３３には、被写体枠の大きさに対するタッチ許容枠の基準となる大きさが予め登録されている。また、被写体枠に対するタッチ許容枠の大きさは、図５を参照して説明したように、撮像モードごとに被写体の種類に応じて異なっており、タッチ許容枠設定処理部３３には、被写体枠に対するタッチ許容枠の基準となる大きさが撮像モードごとに登録されている。

ステップＳ３３の処理後、処理はステップＳ３４に進み、タッチ許容枠設定処理部３３は、動き検出部３２を参照して、被写体の動きを取得し、ステップＳ３５において、基準となる大きさで設定したタッチ許容枠を調整する必要があるか否かを判定する。

上述の図７および図８を参照して説明したように、被写体どうしが近づくような動きが検出された場合、それぞれの被写体の相手側となるタッチ許容枠の被写体枠に対する間隔が狭くなるように、タッチ許容枠が調整される。また、近接していた被写体どうしが離れるような動きが検出された場合、狭められていた間隔が広がるように、タッチ許容枠が調整される。従って、タッチ許容枠設定処理部３３は、このような被写体の動きが検出された場合、タッチ許容枠を調整する必要があると判定する。

ステップＳ３５において、タッチ許容枠を調整する必要があると判定された場合、処理はステップＳ３６に進み、タッチ許容枠設定処理部３３は、被写体の動きに応じてタッチ許容枠を調整し、処理は終了する。

一方、ステップＳ３５において、タッチ許容枠を調整する必要がないと判定された場合、処理はステップＳ３６をスキップして終了する。

以上のように、タッチ許容枠設定処理部３３は、撮像モードに応じてタッチ許容枠の大きさを設定しているので、それぞれの撮像モードで優先して撮像される被写体を優先的に追尾被写体として認識することができる。

また、タッチ許容枠設定処理部３３は、撮像シーン（即ち、撮像された画像の状況）に応じて、具体的には、画像に写されている被写体の特徴（種類や大きさなど）や、被写体どうしの動きなどに応じて、タッチ許容枠を調整している。これにより、それぞれの撮像シーンに適合する被写体を優先的に追尾被写体として認識することができる。

このように、撮像モードおよび撮像シーンによって適切なタッチ許容枠が設定されるので、ユーザが追尾の対称としたい被写体を的確に認識することができる。

また、被写体が移動している場合には、ユーザがタッチした位置と、被写体が写されている位置とが一致しないことがあり、ユーザの意図とは異なる被写体が追尾被写体として認識されて被写体追尾処理が行われることがある。これに対し、デジタルカメラ１１では、タッチ許容枠の範囲を被写体の動きに応じて変更するので、ユーザの意図とは異なる被写体が追尾被写体として認識されることを回避することができ、ユーザが正しい被写体を選択するために複数回タッチを繰り返すこともない。即ち、容易な操作で被写体を的確に選択することができるので、ユーザの負担を軽減することができる。

なお、デジタルカメラ１１は、上述した人物モードおよびペットモード以外の撮像モードを備えており、被写体枠設定処理部２４および追尾被写体認識部２５は、それらの撮像モードで撮像を優先する被写体に被写体枠およびタッチ許容枠を設定することができる。例えば、デジタルカメラ１１は、子供の撮像に適した撮像条件で撮像が行われる子供優先モードや、大人の撮像に適した撮像条件で撮像が行われる大人優先モードなどを備えている。

図１２には、撮像モードとして子供優先モードが設定されているときの表示部１４の画面Ｐ１９、および、撮像モードとして大人優先モードが設定されているときの表示部１４の画面Ｐ２０が示されている。

画面Ｐ１９およびＰ２０は、二人の子供および一人の大人が写された同一の構図であり、被写体枠Ｆ２４およびＦ２５が子供の顔に表示され、被写体枠Ｆ２６が大人の顔に表示されている。このような画面Ｐ１９およびＰ２０に対して、ユーザが表示部１４の画面をタッチした位置が、画面Ｐ１９およびＰ２０に示されている指マークの先端のように、被写体枠Ｆ２５とＦ２６との間であったとする。

この場合、撮影モードが子供優先モードであれば、被写体枠Ｆ２５が設定されている子供が追尾被写体として認識され、撮影モードが大人優先モードであれば、被写体枠Ｆ２６が設定されている大人が追尾被写体として認識される。このように、デジタルカメラ１１では、ユーザのタッチ位置が被写体枠Ｆ２５とＦ２６との間であっても、撮像モードを参照することによりユーザの意図を推定して、的確に追尾被写体を認識することができる。

また、デジタルカメラ１１は、水中モードや、料理モード、草花モードなどの撮像モードを備えており、それぞれの撮像モードに適した被写体に対して被写体枠が設定され、タッチ許容枠が調整される。即ち、被写体枠設定処理部２４は、図１に示した顔検出器２８−１および動物検出器２８−２以外に、魚検出器や、料理検出器、草花検出器などを備えることができる。動物検出器２８−２として、犬顔検出器や猫顔検出器を有していてもよい。また、デジタルカメラ１１は、撮像モードとして、風景モードや夜景モードなどを備えていてもよい。

なお、これらの撮像モードは、ユーザがデジタルカメラ１１を操作することにより設定される他、デジタルカメラ１１において画像を解析することで、撮像状況に応じて最適な撮像が行われるように自動的に設定されるようにすることができる。

また、本実施の形態においては、顔検出器２８−１が常に動作しているものとして説明したが、このように検出器が定常的に動作していなくてもよく、ユーザがタッチする前に、表示部１４に被写体枠が表示されていない状態であってもよい。即ち、ユーザがタッチしたタイミングで検出器の動作が開始されるようにしてもよい。

なお、本実施の形態においては、ユーザが表示部１４の画面をタッチすることにより追尾したい被写体を選択しているが、その他の手段により、例えば、操作キーを操作することにより被写体を選択してもよい。また、予め被写体を画角に合わせるためのガイド枠を利用して被写体を選択してもよい。

なお、本発明は、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラの他、携帯電話機やパーソナルコンピュータなど、撮像機能を備えた装置に適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ デジタルカメラ， １２ レンズ， １３ 撮像部， １４ 表示部， １５ 外部I/F， １６ 画像処理部， ２１ 画像メモリ， ２２ モード設定部， ２３ タッチ検出部， ２４ 被写体枠設定処理部， ２５ 追尾被写体認識部， ２６ 検出器切り替え部， ２７ 被写体追尾処理部， ２８−１ 顔検出器， ２８−２ 動物検出器， ３１ 記憶部， ３２ 動き検出部， ３３ タッチ許容枠設定処理部， ３４ タッチ判定部， ３５ 認識部

Claims (10)

1. 画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定する被写体枠設定手段と、
   前記画像の状況に応じて、前記被写体枠よりも広い範囲の許容枠を設定する許容枠設定手段と、
   ユーザにより指定された画像上の指定位置を検出する位置検出手段と、
   前記許容枠設定手段により設定された前記許容枠と前記位置検出手段により検出された前記指定位置とに基づいて、追尾の対象となる被写体を認識する認識手段と
   を備える画像処理装置。
2. 前記被写体枠設定手段は、複数種類の前記被写体をそれぞれ検出可能な複数の被写体検出器を有しており、前記認識手段により追尾の対象となる被写体を認識することができなかった場合、動作させていた前記被写体検出器以外の被写体検出器の動作を開始させて他の種類の前記被写体を検出させる
   請求項１に記載の画像処理装置。
3. 前記許容枠設定手段は、前記画像に写されている前記被写体の大きさに応じて、前記被写体枠に対する前記許容枠の大きさを設定する
   請求項１に記載の画像処理装置。
4. 前記許容枠設定手段は、前記画像に写されている前記被写体の種類に応じて、前記被写体枠に対する前記許容枠の間隔を設定する
   請求項１に記載の画像処理装置。
5. 前記許容枠設定手段は、前記画像に写されている前記被写体の動きに応じて、前記被写体枠に対する前記許容枠の間隔を調整する
   請求項１に記載の画像処理装置。
6. 画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定し、
   前記画像の状況に応じて、前記被写体枠よりも広い範囲の許容枠を設定し、
   ユーザにより指定された画像上の指定位置を検出し、
   前記許容枠と前記指定位置とに基づいて、追尾の対象となる被写体を認識する
   ステップを含む画像処理方法。
7. 画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定する被写体枠設定手段と、
   所定の被写体に適した撮像条件で撮像を行うために設定される撮像モードに応じて、前記被写体枠よりも広い範囲の許容枠を設定する許容枠設定手段と、
   ユーザにより指定された画像上の指定位置を検出する位置検出手段と、
   前記許容枠設定手段により設定された前記許容枠と前記位置検出手段により検出された前記指定位置とに基づいて、追尾の対象となる被写体を認識する認識手段と
   を備える画像処理装置。
8. 前記被写体枠設定手段は、複数種類の前記被写体をそれぞれ検出可能な複数の被写体検出器を有しており、前記認識手段により追尾の対象となる被写体を認識することができなかった場合、動作させていた前記被写体検出器以外の被写体検出器の動作を開始させて他の種類の前記被写体を検出させる
   請求項７に記載の画像処理装置。
9. 前記許容枠設定手段は、前記画像に複数種類の前記被写体が写されているとき、現在設定されている撮像モードに適合する被写体の前記許容枠を、その撮像モードに適合しない被写体の前記許容枠よりも大きく設定する
   請求項７に記載の画像処理装置。
10. 画像に写されている被写体を検出する被写体検出器を動作させることにより前記画像から検出された前記被写体の所定範囲を囲う被写体枠を設定し、
    所定の被写体に適した撮像条件で撮像を行うために設定される撮像モードに応じて、前記被写体枠よりも広い範囲の許容枠を設定し、
    ユーザにより指定された画像上の指定位置を検出し、
    前記許容枠と前記指定位置とに基づいて、追尾の対象となる被写体を認識する
    ステップを含む画像処理方法。

Images