JP2015180091A - デジタルカメラ - Google Patents

Abstract

【課題】ズーム処理によって対象オブジェクトのサイズが変化しても、高速かつ高精度に対象オブジェクトを追跡することができるオブジェクト追跡装置を提供する。【解決手段】探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前時点のフレーム画像におけるオブジェクト領域、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、現時点のフレーム画像におけるオブジェクトの探索領域を設定する。正規化部１０は、現時点のフレーム画像に含まれるオブジェクトの探索領域の画像を固定サイズに正規化する。マッチング部１１は、正規化された探索領域の画像の中から、テンプレート画像と類似するオブジェクト領域を検索する。【選択図】図２

Description

本発明は、デジタルカメラに関する。

近年の光学カメラ付機器では、予め登録された顔画像などのオブジェクトを追跡処理し、その位置情報を出力することで、オートフォーカスなどの用途に利用されている。

カメラのズームの変化によってオブジェクトのサイズが変化した場合に、オブジェクトの追跡処理を可能とする技術が特許文献１（特開２００８−２８７６４８号公報）および特許文献２（特開２００１−２４３４７６号公報）に開示されている。

特許文献１では、サイズが変化するオブジェクトを追跡するため、基本となるテンプレート画像を拡大・縮小して倍率を変えた複数のテンプレート画像と、撮影画像とのマッチングを行なう。

特許文献２では、基本となるテンプレート画像を拡大・縮小した複数のテンプレート画像からズーム倍率に応じたテンプレート画像を選択して、撮影画像とのマッチングを行なう。

特開２００８−２８７６４８号公報 特開２００１−２４３４７６号公報

しかしながら、特許文献１では、サイズの変化するオブジェクト追跡に対応するために、複数のテンプレート画像とのマッチングが必要となり、処理負荷が大きくなるという問題点がある。

特許文献２では、ズーム倍率に応じた１つのテンプレート画像でカメラ画像とのマッチングを行なうので、特許文献１よりも高速化が可能であるが、複数の倍率のテンプレート画像を作成して記憶しておく必要がある。また、ズームによって撮影画像が拡大した場合に、画素数が増加したテンプレート画像を用いてマッチングを行なうので、マッチングに時間を要することになる。

それゆえに、本発明の目的は、ズーム処理によって対象オブジェクトのサイズが変化しても、高速かつ高精度に対象オブジェクトを追跡することができるデジタルカメラを提供することである。

本発明の一実施形態のオブジェクト追跡方法は、フレーム画像に含まれるオブジェクトを追跡するオブジェクト追跡方法であって、記憶部が、追跡対象のオブジェクトのテンプレート画像を記憶し、画像入力部が、時系列でフレーム画像を入力し、探索領域設定部が、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前時点のフレーム画像におけるオブジェクト領域、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、現時点のフレーム画像におけるオブジェクトの探索領域を設定し、正規化部が、現時点のフレーム画像に含まれるオブジェクトの探索領域の画像を固定サイズに正規化し、マッチング部が、正規化された探索領域の画像の中から、テンプレート画像と類似するオブジェクト領域を検索することを特徴とする。

本発明の一実施形態によれば、ズーム処理によって対象オブジェクトのサイズが変化しても、高速かつ高精度に対象オブジェクトを追跡することができる。

本発明の実施の形態におけるデジタルカメラの構成例を示すブロック図である。 第１の実施形態のオブジェクト追跡装置の構成を表わす図である。 現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域を説明するための図である。 現時点のフレーム画像が前時点のフレーム画像とズーム倍率が異なる場合の現時点のフレーム画像の探索領域を説明するための図である。 正規化の例を説明するための図である。 第１の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。 第２の実施形態のオブジェクト追跡装置の構成を表わす図である。 （ａ）は、第ｉ番目のフレーム画像を表わす図である。（ｂ）は第（ｉ＋１）番目のフレーム画像を表わす図である。 （ａ）は、第（ｉ＋１）番目のフレーム画像を表わす図である。（ｂ）は第（ｉ＋２）番目のフレーム画像を表わす図である。 第２の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。 図１０のステップＳ４０２の復帰処理の手順を表わすフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
［第１の実施形態］
（デジタルスチルカメラ）
図１は、本発明の実施の形態におけるデジタルカメラの構成例を示すブロック図である。本発明の実施形態では、検出および追跡対象のオブジェクトとして顔を例にして説明するが、本発明の実施形態の手法は、顔に限定されるものではなく、その他のオブジェクトの検出および追跡にも用いることができる。

図１を参照して、このデジタルカメラは半導体装置を有し、半導体装置は、カメラＩ／Ｆ（Interface）１００１と、ＣＰＵ（Central Processing Unit）１００２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１００３と、ＲＯＭ（Read Only Memory）１００４と、ユーザ操作部Ｉ／Ｆ１００５と、ＬＣＤＩ／Ｆ１００７と、カードＩ／Ｆ１００８と、オブジェクト検出装置１００６、オブジェクト追跡装置１００９とを含み、これらがバス１０１０を介して接続されている。オブジェクト検出装置１００６、オブジェクト追跡装置１００９とは画像処理装置１０１１を構成する。

カメラＩ／Ｆ１００１は、カメラセンサに接続されており、カメラセンサによって撮像された画像を受け、ＳＤＲＡＭ１００３やカードＩ／Ｆ１００８を介して接続される図示しないＳＤメモリカードなどにその画像を書き込む。

ＣＰＵ１００２は、ＳＤＲＡＭ１００３やＲＯＭ１００４に記憶されるプログラムを実行することによって、システム全体の制御を行なう。ＣＰＵ１００２は、ＳＤＲＡＭ１００３に格納された顔（オブジェクト）の位置を表わす情報を焦点合わせのためにカメラＩ／Ｆ１００１を通じてカメラの撮像系に送る。また、ＣＰＵ１００２は、オブジェクト検出装置１００６およびオブジェクト追跡装置１００９から送られる顔（オブジェクト）の位置を表わす情報から顔の位置を表わす図形（矩形など）をＬＣＤＩ／Ｆ１００７に送る。

ＲＯＭ１００４は、オブジェクトの検出、オブジェクトの追跡に用いられるデータを記憶する。

ユーザ操作部Ｉ／Ｆ１００５は、図示しないシャッターボタンなどに接続され、シャッターボタンが押されたときに、割り込みなどによってその旨をＣＰＵ１００２に通知する。ＣＰＵ１００２は、割り込み要求を受けると、カメラＩ／Ｆ１００１を制御してカメラセンサによって撮像された画像をＳＤＲＡＭ１００３などに格納する。また、ユーザが図示しないズームスイッチなどを操作して、ズーム倍率を変更した場合、ユーザ操作部Ｉ／Ｆ１００５を介してズーム倍率は、ＣＰＵ１００２に送られる。

ＬＣＤＩ／Ｆ１００７は、図示しないＬＣＤパネルに接続され、ＬＣＤの表示の制御などを行なう。カメラセンサによって撮影された画像をプレビューとしてＬＣＤに表示する。また、ＬＣＤＩ／Ｆ１００７は、ＣＰＵ１００２から送られた顔（オブジェクト）の位置を表わす図形を撮影された画像上に重畳表示する。

カードＩ／Ｆ１００８は、ＳＤメモリカードなどの外部の記録媒体に接続され、記録媒体に対するデータの読み出しや書き込みを行なう。

オブジェクト検出装置１００６は、カメラセンサによって撮影されてカメラＩ／Ｆ１００１から入力される画像から顔（オブジェクト）の検出処理を行なって、顔（オブジェクト）の位置を表わす情報をＳＤＲＡＭ１００３に格納する。オブジェクト検出装置１００６は、検出したオブジェクトの領域をテンプレートとして登録する。

オブジェクト追跡装置１００９は、カメラセンサによって撮影されてカメラＩ／Ｆ１００１から入力される画像においてオブジェクト検出装置１００６で検出された顔（オブジェクト）の追跡処理を行なって、顔（オブジェクト）の位置を表わす情報をＳＤＲＡＭ１００３に格納する。オブジェクト追跡装置１００９は、撮影された画像から、オブジェクト検出装置で得られたテンプレートと類似する領域を検索することによって、オブジェクトの追跡を行なう。オブジェクト追跡装置１００９は、ＣＰＵ１００２から送られる探索範囲倍率Ｋ、ズーム倍率、ズームの中心座標を受ける。オブジェクト追跡装置１００９は、オブジェクト検出装置１００６から追跡対象のオブジェクトのテンプレート画像、オブジェクト領域を受ける。

（構成）
図２は、第１の実施形態のオブジェクト追跡装置の構成を表わす図である。

図２を参照して、このオブジェクト追跡装置１００９は、画像入力部２と、パラメータ入力部３と、オブジェクト領域入力部４と、オブジェクト領域設定部６と、テンプレート入力部５と、テンプレート登録部７と、テンプレート記憶部８と、探索領域設定部９と、正規化部１０と、マッチング部１１とを備える。

画像入力部２は、カメラＩ／Ｆから追跡対象となるオブジェクトを探索するためのフレーム画像を所定のフレームレートで受ける。ユーザによって被写体がズーム（拡大または縮小）された場合には、画像入力部２は、ズームされたフレーム画像を受ける。

パラメータ入力部３は、ＣＰＵ１００２から探索範囲倍率Ｋの入力を受ける。さらに、パラメータ入力部３は、ユーザによって被写体がズームされて、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率から変化した場合には、ＣＰＵ１００２からズーム倍率と、ズームの中心座標とを受ける。

テンプレート入力部５は、オブジェクト検出装置から出力される追跡対象のオブジェクトのテンプレート画像を受ける。

テンプレート記憶部８は、追跡対象のオブジェクトのテンプレート画像を記憶する。
テンプレート登録部７は、テンプレート入力部５に入力されたテンプレート画像を初期テンプレートとしてテンプレート記憶部８に記憶する。テンプレート登録部７は、マッチング部１１によって特定されたオブジェクト領域の画像でテンプレート記憶部８内のテンプレート画像を更新する。

オブジェクト領域入力部４は、オブジェクト検出装置から追跡対象とするオブジェクト領域を表わす情報を受ける。

オブジェクト領域設定部６は、オブジェクト領域入力部４に入力されたオブジェクト領域を初期のオブジェクト領域に設定する。オブジェクト領域設定部６は、マッチング部１１によってテンプレート画像と類似するとして検索されたオブジェクト領域を新たなオブジェクト領域に設定する。

探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と同一の場合には、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも探索範囲倍率Ｋだけ大きな領域（基準領域）を、現時点のフレーム画像におけるオブジェクト領域に設定する。

探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、上述の基準領域を求め、この基準領域を前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する。

正規化部１０は、現時点のフレーム画像におけるオブジェクトの探索領域の画像を固定サイズに正規化して正規化探索画像を生成する。

マッチング部１１は、正規化探索画像の中から、テンプレート記憶部８に記憶されているテンプレート画像と類似する領域を検索して、類似度が所定値以上となる部分を発見した場合に、その部分を現フレームのオブジェクト領域として特定し、その領域を表わす情報をＣＰＵ１００２へ出力する。ここで、類似度とは、たとえば、２つの画像の画素値の絶対差の逆数や相互相関を用いることができる。

マッチング部１１は、類似度が所定値以上となる部分が発見できなかった場合に、オブジェクト検出装置に対してオブジェクトを再度検出するように指示する。

（探索領域の例）
図３は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域を説明するための図である。

図３（ａ）は、前時点のフレーム画像を表わす図である。
フレーム画像２０１において、左上の座標をＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）とする。

前時点のフレームで検出されたオブジェクト領域２０２の位置を以下とする。
中心座標がＭ（Ｘ１、Ｙ１）、左上の座標がＤ（Ｘ１−ａｘ，Ｙ１−ａｙ）、右上の座標がＥ（Ｘ１＋ａｘ，Ｙ１−ａｙ）、左下の座標がＦ（Ｘ１−ａｘ，Ｙ１＋ａｙ）、右下の座標がＧ（Ｘ１＋ａｘ，Ｙ１＋ａｙ）とする。

図３（ｂ）は、現時点のフレーム画像を表わす図である。
フレーム画像２０３において、前時点と同様に、左上の座標がＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）である。現時点のフレーム画像における探索領域２０４の位置は、以下となる。

中心座標はＭ（Ｘ１，Ｙ１）であり、左上の座標がＨ（Ｘ１−ａｘ′，Ｙ１−ａｙ′）、右上の座標がＩ（Ｘ１＋ａｘ′，Ｙ１−ａｙ′）、左下の座標がＪ（Ｘ１−ａｘ′，Ｙ１＋ａｙ′）、右下の座標がＫ（Ｘ１＋ａｘ′，Ｙ１＋ａｙ′）とする。ここで、ａｘ′＝Ｋ×ａｘ、ａｙ′＝Ｋ×ａｙである。Ｋは探索範囲倍率である。

したがって、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合には、現時点のフレームの探索領域は、Ｈ，Ｉ，Ｊ，Ｋを頂点とした矩形領域（基準領域）２０４に設定されることになる。この矩形領域２０４は、前時点のフレーム画像におけるオブジェクト領域２０２を含み、そのオブジェクト領域よりもＫ倍だけ大きな領域である。

図４は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が異なる場合の現時点のフレーム画像の探索領域を説明するための図である。

図４（ａ）は、前時点のフレーム画像を表わす図である。
フレーム画像２０１において、左上の座標をＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）とする。

前時点のフレームで検出されたオブジェクト領域２０２の位置を以下とする。
中心座標がＭ（Ｘ１、Ｙ１）、左上の座標がＤ（Ｘ１−ａｘ，Ｙ１−ａｙ）、右上の座標がＥ（Ｘ１＋ａｘ，Ｙ１−ａｙ）、左下の座標がＦ（Ｘ１−ａｘ，Ｙ１＋ａｙ）、右下の座標がＧ（Ｘ１＋ａｘ，Ｙ１＋ａｙ）とする。

ここで、位置Ｌ（Ｘ０，Ｙ０）をズームの中心座標とし、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比をＺＲとして、カメラがズームされた結果、前時点のフレーム画像におけるＰ、Ｑ、Ｒ、Ｓを頂点とした矩形領域２０５が拡大されて現時点のフレーム画像の全領域とされたとする。ここで、Ｐの位置は（Ｘ０−ＥＸ／２，Ｙ０−ＥＹ／２）、Ｑの位置は（Ｘ０＋ＥＸ／２，Ｙ０−ＥＹ／２）、Ｒの位置は（Ｘ０−ＥＸ／２，Ｙ０＋ＥＹ／２）、Ｓの位置は（Ｘ０＋ＥＸ／２，Ｙ０＋ＥＹ／２）である。ズーム倍率の比ＺＲ＝ＤＸ／ＥＸ＝ＤＹ／ＥＹである。たとえば、前時点のカメラのズーム倍率が２であって、現時点のカメラのズーム倍率が４である場合には、ズーム倍率の比ＺＲは２（＝４／２）となる。ズーム倍率が増加した、すなわち拡大した場合には、ズーム倍率の比ＺＲは１よりも大きくなり、ズーム倍率が減少した、すなわち縮小した場合には、ズーム倍率の比ＺＲは１よりも小さくなる。

図４（ｂ）は、現時点のフレーム画像を表わす図である。
フレーム画像２０６において、前時点と同様に、左上の座標がＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）である。

また、前時点でのズームの中心Ｌが、フレーム画像２０６の中心のカメラ画像の中心を表わす位置Ｌ′に移動する。

前時点のフレームで検出されたオブジェクト領域２０２は、中心がＭ′で、Ｄ′、Ｅ′、Ｆ′、Ｇ′を頂点とした矩形領域２０７に移動およびズームされる。ここで、Ｍ′の位置は（ＸＰ、ＹＰ）である。ただし、ＸＰ＝ＤＸ／２＋ＺＲ×（Ｘ１−Ｘ０）、ＹＰ＝ＤＹ／２＋ＺＲ×（Ｙ１−Ｙ０）である。Ｄ′の位置は（ＸＰ−ａｘ×ＺＲ，ＹＰ−ａｙ×ＺＲ）、Ｅ′の位置は（ＸＰ＋ａｘ×ＺＲ，ＹＰ−ａｙ×ＺＲ）、Ｆ′の位置は（ＸＰ−ａｘ×ＺＲ，ＹＰ＋ａｙ×ＺＲ）、Ｇ′の位置は（ＸＰ＋ａｘ×ＺＲ，ＹＰ＋ａｙ×ＺＲ）である。

探索領域２０８の位置は、中心がＭ′で、Ｈ′、Ｉ′、Ｊ′、Ｋ′を頂点とした矩形領域２０８に設定される。

ここで、Ｍ′の位置は（ＸＰ，ＹＰ）であり、Ｈ′の位置は（ＸＰ−ａｘ′×ＺＲ，ＹＰ−ａｙ′×ＺＲ）であり、Ｉ′の位置は（ＸＰ＋ａｘ′×ＺＲ，ＹＰ−ａｙ′×ＺＲ）であり、Ｊ′の位置は（ＸＰ−ａｘ′×ＺＲ，ＹＰ＋ａｙ′×ＺＲ）であり、Ｋ′の位置は（ＸＰ＋ａｘ′×ＺＲ，ＹＰ＋ａｙ′×ＺＲ）である。ここで、ａｘ′＝Ｋ×ａｘ、ａｙ′＝Ｋ×ａｙである。Ｋは探索範囲倍率である。

したがって、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が相違する場合には、現時点のフレームの探索領域は、Ｈ′、Ｉ′、Ｊ′、Ｋ′を頂点とした矩形領域２０８に設定されることになる。

この矩形領域２０８は、前時点のフレーム画像におけるオブジェクト領域２０２をズームした領域２０７を含み、そのオブジェクト領域２０７よりもＫ倍だけ大きな領域である。また、この矩形領域２０８は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域（図３（ｂ）の領域２０４）を前時点のフレーム画像におけるズームの中心座標Ｌ、ズーム倍率の比ＺＲに基づいて、ズーム（拡大または縮小）した領域である。

（正規化の例）
図５は、正規化の例を説明するための図である。

図５で、正規化部１０は、フレーム画像から探索領域３０３の画像を抽出する。図４（ｂ）のように、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が異なる場合には抽出された画像の横方向の画素数が２×ａｘ′×ＺＲであり、縦方向の画素数が２×ａｙ′×ＺＲである。

正規化部１０は、抽出した画像を固定サイズに拡大または縮小して正規化探索画像３０４を生成する。図５に示すように、固定サイズは、横方向の画素数がＸＳで、縦方向の画素数がＹＳとする。正規化部１０は、拡大する場合には、たとえば補間などの処理を行ない、縮小する場合には、たとえば間引きなどの処理を行なう。

（動作）
図６は、第１の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。

図６を参照して、まず、オブジェクト領域入力部４は、オブジェクト検出装置から追跡対象とするオブジェクト領域を表わす情報を受ける。オブジェクト領域設定部６は、オブジェクト検出装置から出力されるオブジェクト領域を初期のオブジェクト領域に設定する（ステップＳ１０１）。

次に、テンプレート登録部７は、オブジェクト検出装置から出力される対象オブジェクトの画像を初期テンプレートとしてテンプレート記憶部８に記憶する（ステップＳ１０２）。

次に、画像入力部２は、カメラＩ／Ｆから現時点のフレーム画像を受ける（ステップＳ１０３）。

次に、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けた場合には（ステップＳ１０４でＹＥＳ）、探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違するので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな領域（基準領域）を求め、さらにその基準領域を、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する（ステップＳ１０５）。

一方、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けない場合には（ステップＳ１０４でＮＯ）、探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と同一であるので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな基準領域を、現時点のフレーム画像におけるオブジェクト領域に設定する（ステップＳ１０６）。

次に、正規化部１０は、現時点のフレーム画像におけるオブジェクトの探索領域の画像を固定サイズに正規化して正規化探索画像を生成する（ステップＳ１０７）。

次に、マッチング部１１は、正規化探索画像の中から、テンプレート記憶部８に記憶されているテンプレート画像と類似する領域を検索して、類似度が所定値以上となる部分を探す。

マッチング部１１が、類似度が所定値以上となる部分を発見した場合、すなわちマッチングが成功した場合には（ステップＳ１０８でＹＥＳ）、マッチング部１１は、その発見した部分を現フレームのオブジェクト領域として特定し、その領域を表わす情報をＣＰＵ１００２へ出力する（ステップＳ１０９）。

オブジェクト領域設定部６は、マッチング部１１によって特定されたオブジェクト領域を新たなオブジェクト領域に設定する（ステップＳ１１０）。

テンプレート登録部７は、マッチング部１１によって特定されたオブジェクト領域の画像でテンプレート記憶部８内のテンプレート画像を更新する（ステップＳ１１１）。

その後、ステップＳ１０３に戻って、次のフレーム画像の入力からの処理が繰返される。

マッチング部１１が、類似度が所定値以上となる部分を発見しなかった場合、すなわちマッチングが失敗した場合には（ステップＳ１０８でＮＯ）、マッチング部１１は、オブジェクト検出装置に対してオブジェクトを再度検出するように指示する（ステップＳ１１２）。

（効果）
以上のように、本実施の形態では、ズーム倍率とズームの中心座標を用いて、ズーム処理で入力されるフレーム画像の倍率が変わっても、対象オブジェクトの大きさと位置の変化を考慮した探索領域を設定することができる。これによって、複数のテンプレート画像とのマッチングが不要となる。

また、本実施の形態では、探索領域の画像を一定の大きさの正規化画像に縮小して、テンプレートマッチングを行なうので、従来のように、テンプレート画像を拡大してマッチング処理することによって、処理時間が長くなるのを防止できる。

［第２の実施形態］
対象オブジェクトを追跡中に、拡大によって、追跡対象のオブジェクトがフレーム画像の外へフレームアウトすることがある。従来は、一旦、フレームアウトした対象オブジェクトはフレーム画像内に存在しないため、その位置情報は保存されない。その後、対象オブジェクトが再度フレーム画像の中へフレームインした場合でも、追跡処理を開始する基準となる位置（つまり、探索領域の中央のオブジェクト検出領域）の情報がないので、オブジェクトを追跡することができない。それゆえ、従来では、追跡対象のオブジェクトがフレームアウトした場合に、追跡処理を停止して、再度オブジェクトの検出処理をするしかなかった。

図７は、第２の実施形態のオブジェクト追跡装置の構成を表わす図である。
図７のオブジェクト追跡装置５１が、図２のオブジェクト追跡装置１００９と相違する点は以下である。

保持部２８は、探索領域設定部２９によって設定されたオブジェクトの探索領域の一部または全部が、現時点のフレーム画像に含まれない場合に、設定されたオブジェクトの探索領域を保持する。

図８（ａ）が、第ｉ番目のフレーム画像を表わす図である。図８（ｂ）が第（ｉ＋１）番目のフレーム画像を表わす図である。

第ｉ番目のフレーム画像６０１において、ズーム中心をＬ１とし、ズーム倍率の比をＺＲ１として拡大された画像が、第（ｉ＋１）番目のフレーム画像６０３であるとする。ここで、ＺＲ１＞１である。

図８（ｂ）に示すように、Ｍ′を中心とし、Ｈ′、Ｉ′、Ｊ′、Ｋ′を頂点とした探索領域６０５がフレーム画像６０３の外部にはみ出した場合に、保持部２８は、Ｍ′、Ｈ′、Ｉ′、Ｊ′、Ｋ′の座標を保持する。Ｍ′の位置は（ＸＰ，ＹＰ）であり、Ｈ′の位置は（ＸＰ−ａｘ′×ＺＲ１，ＹＰ−ａｙ′×ＺＲ１）であり、Ｉ′の位置は（ＸＰ＋ａｘ′×ＺＲ１，ＹＰ−ａｙ′×ＺＲ１）であり、Ｊ′の位置は（ＸＰ−ａｘ′×ＺＲ１，ＹＰ＋ａｙ′×ＺＲ１）であり、Ｋ′の位置は（ＸＰ＋ａｘ′×ＺＲ１，ＹＰ＋ａｙ′×ＺＲ１）である。ただし、ＸＰ＝ＤＸ／２＋ＺＲ１×（Ｘ１−Ｘ０）、ＹＰ＝ＤＹ／２＋ＺＲ１×（Ｙ１−Ｙ０）である。

探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違する場合には、保持部２８で前時点のフレーム画像におけるオブジェクト探索領域が保持されていれば、その保持されているオブジェクトの探索領域と、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する。

図９（ａ）が、第（ｉ＋１）番目のフレーム画像を表わす図である。図９（ｂ）が第（ｉ＋２）番目のフレーム画像を表わす図である。

第ｉ＋１番目のフレーム画像６０３において、ズーム中心をＬ２とし、ズーム倍率の比をＺＲ２として縮小された画像が、第（ｉ＋２）番目のフレーム画像６１０であるとする。ここで、ＺＲ２＜１である。

探索領域設定部２９は、保持部２８で保持されているＭ′、Ｈ′、Ｉ′、Ｊ′、Ｋ′の位置と、ズームの中心座標Ｌ２（Ｘ０′，Ｙ０′）、ズーム倍率の比ＺＲ２を用いて、Ｍ″を中心とし、Ｈ″、Ｉ″、Ｊ″、Ｋ″を頂点としたオブジェクトの探索領域６１２を求める。

Ｍ″の位置は（ＸＰ′，ＹＰ′）であり、Ｈ″の位置は（ＸＰ′−ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′−ａｙ′×ＺＲ１×ＺＲ２）であり、Ｉ″の位置は（ＸＰ′＋ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′−ａｙ′×ＺＲ１×ＺＲ２）であり、Ｊ″の位置は（ＸＰ′−ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′＋ａｙ′×ＺＲ１×ＺＲ２）であり、Ｋ″の位置は（ＸＰ′＋ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′＋ａｙ′×ＺＲ１×ＺＲ２）である。ただし、ＸＰ′＝ＤＸ／２＋ＺＲ２×（ＸＰ−Ｘ０′）、ＹＰ′＝ＤＹ／２＋ＺＲ２×（ＹＰ−Ｙ０′）である。

（動作）
図１０は、第２の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。

図１０を参照して、まず、オブジェクト領域入力部４は、オブジェクト検出装置から追跡対象とするオブジェクト領域を表わす情報を受ける。オブジェクト領域設定部６は、オブジェクト検出装置から出力されるオブジェクト領域を初期のオブジェクト領域に設定する（ステップＳ１０１）。

次に、テンプレート登録部７は、オブジェクト検出装置から出力される対象オブジェクトの画像を初期テンプレートとしてテンプレート記憶部８に記憶する（ステップＳ１０２）。

次に、画像入力部２は、カメラＩ／Ｆから現時点のフレーム画像を受ける（ステップＳ１０３）。

次に、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けた場合には（ステップＳ１０４でＹＥＳ）、探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違するので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな領域（基準領域）を求め、さらにその基準領域を、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する（ステップＳ１０５）。

設定された探索領域の一部または全部が現時点のフレーム画像の外にはみ出した場合には（ステップＳ４０１でＹＥＳ）、後述の復帰処理が行なわれる（ステップＳ４０２）。

一方、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けない場合には（ステップＳ１０４でＮＯ）、探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と同一であるので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな基準領域を、現時点のフレーム画像におけるオブジェクト領域に設定する（ステップＳ１０６）。

次に、正規化部１０は、現時点のフレーム画像におけるオブジェクトの探索領域の画像を固定サイズに正規化して正規化探索画像を生成する（ステップＳ１０７）。

次に、マッチング部１１は、正規化探索画像の中から、テンプレート記憶部８に記憶されているテンプレート画像と類似する領域を検索して、類似度が所定値以上となる部分を探す。

マッチング部１１が、類似度が所定値以上となる部分を発見した場合、すなわちマッチングが成功した場合には（ステップＳ１０８でＹＥＳ）、マッチング部１１は、その発見した部分を現フレームのオブジェクト領域として特定し、その領域を表わす情報をＣＰＵ１００２へ出力する（ステップＳ１０９）。

オブジェクト領域設定部６は、マッチング部１１によって特定されたオブジェクト領域を新たなオブジェクト領域に設定する（ステップＳ１１０）。

テンプレート登録部７は、マッチング部１１によって特定されたオブジェクト領域の画像でテンプレート記憶部８内のテンプレート画像を更新する（ステップＳ１１１）。

その後、ステップＳ１０３に戻って、次のフレーム画像の入力からの処理が繰返される。

マッチング部１１が、類似度が所定値以上となる部分を発見しなかった場合、すなわちマッチングが失敗した場合には（ステップＳ１０８でＮＯ）、マッチング部１１は、オブジェクト検出装置に対してオブジェクトを再度検出するように指示する（ステップＳ１１２）。

（復帰処理）
図１１は、図１０のステップＳ４０２の復帰処理の手順を表わすフローチャートである。

まず、保持部２８は、設定された探索領域を表わす情報を保持する（ステップＳ５０１）。

画像入力部２は、カメラＩ／Ｆから次の時点のフレーム画像を受ける（ステップＳ５０２）。

パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けた場合には（ステップＳ５０３でＹＥＳ）、探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違するので、保存している前時点のフレーム画像におけるオブジェクト探索領域と、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する（ステップＳ５０４）。

設定された探索領域の一部または全部が現時点のフレーム画像の外にはみ出した場合には（ステップＳ５０５でＹＥＳ）、ステップＳ５０１からの処理を繰返す。

（効果）
以上のように、第２の実施形態によれば、拡大によって、追跡対象のオブジェクトがフレーム画像の外へフレームアウトしたとしても、フレームアウトしたオブジェクトの探索領域を保持して、次のフレームにおける探索領域の設定に用いるので、オブジェクトの追跡を継続することができる。

なお、本実施の形態の図１１のステップＳ５０５でＹＥＳの場合、常に、ステップＳ５０１に戻ることとしたが、図１１の復帰処理が所定時間以上継続した場合、または、ステップＳ５０１〜Ｓ５０５のループが所定回数以上継続した場合に、復帰処理を終了してオブジェクト検出部に再度オブジェクト検出処理をさせることとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２ 画像入力部、３ パラメータ入力部、４ オブジェクト領域入力部、５ テンプレート入力部、６ オブジェクト領域設定部、７ テンプレート登録部、８ テンプレート記憶部、９，２９ 探索領域設定部、１０ 正規化部、１１ マッチング部、２８ 保持部、１０００ デジタルカメラ、１００１ カメラＩ／Ｆ、１００２ ＣＰＵ、１００３ ＳＤＲＡＭ、１００４ ＲＯＭ、１００５ ユーザ操作部Ｉ／Ｆ、１００６ オブジェクト検出装置、１００７ ＬＣＤＩ／Ｆ、１００８ カードＩ／Ｆ、５１，１００９ オブジェクト追跡装置、１０１１ 画像処理装置。

Claims (5)

1. フレーム画像を時系列で取得する画像取得部と、
   ユーザが動作指示を行う操作部と、
   前記フレーム画像からオブジェクトを検出して追跡する画像処理部と、
   ユーザからの動作指示に応じて、前記画像処理部に制御情報を送信する制御部とを有するデジタルカメラであって、
   前記画像処理部は、
   第１フレーム画像から追跡対象オブジェクトを検出し、前記追跡対象オブジェクトを含む矩形領域として第１探索領域を設定するオブジェクト検出部と、
   前記第１フレーム画像に引き続くフレーム画像群から前記追跡対象オブジェクトを追跡するための第２探索領域を設定するオブジェクト探索部とを有し、
   前記第２探索領域は、前記第１探索領域と前記制御情報に基づいて設定されることを特徴とするデジタルカメラ。
2. 前記オブジェクト探索部は、さらに、
   前記第２探索領域を固定サイズに拡大または縮小する正規化部を有することを特徴とする請求項１記載のデジタルカメラ。
3. ユーザが前記操作部よりズーム指示をしていない場合、
   前記制御情報は探索領域倍率を含み、
   前記オブジェクト探索部は、前記探索領域倍率に従って、前記第１探索領域を拡大して前記第２探索領域とすることを特徴とする請求項１または２記載のデジタルカメラ。
4. ユーザが前記操作部よりズーム指示をした場合、
   前記制御情報はさらに、ズーム倍率とズーム中心座標とを含み、
   前記オブジェクト探索部は、前記ズーム倍率と前記ズーム中心座標とに従って、前記第１探索領域を拡大または縮小し、さらに、前記探索領域倍率に従って拡大して前記第２探索領域とすることを特徴とする請求項３記載のデジタルカメラ。
5. 前記第２探索領域に前記追跡対象オブジェクトの一部または全部が含まれない場合、前記フレーム画像群からの探索を継続することを特徴とする請求項３および４記載のデジタルカメラ。

Images