JP2013054429A

JP2013054429A - オブジェクト追跡装置

Info

Publication number: JP2013054429A
Application number: JP2011190583A
Authority: JP
Inventors: Junichi Sugio; 淳一杉尾
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2011-09-01
Filing date: 2011-09-01
Publication date: 2013-03-21
Anticipated expiration: 2031-09-01
Also published as: CN103179335B; JP5746937B2; US9208579B2; US8811669B2; KR20130025346A; US20130058525A1; CN103179335A; US20140328514A1

Abstract

【課題】ズーム処理によって対象オブジェクトのサイズが変化しても、高速かつ高精度に対象オブジェクトを追跡することができるオブジェクト追跡装置を提供する。
【解決手段】探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前時点のフレーム画像におけるオブジェクト領域、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、現時点のフレーム画像におけるオブジェクトの探索領域を設定する。正規化部１０は、現時点のフレーム画像に含まれるオブジェクトの探索領域の画像を固定サイズに正規化する。マッチング部１１は、正規化された探索領域の画像の中から、テンプレート画像と類似するオブジェクト領域を検索する。
【選択図】図２

Description

本発明は、オブジェクト追跡装置に関する。

近年の光学カメラ付機器では、予め登録された顔画像などのオブジェクトを追跡処理し、その位置情報を出力することで、オートフォーカスなどの用途に利用されている。

カメラのズームの変化によってオブジェクトのサイズが変化した場合に、オブジェクトの追跡処理を可能とする技術が特許文献１（特開２００８−２８７６４８号公報）および特許文献２（特開２００１−２４３４７６号公報）に開示されている。

特許文献１では、サイズが変化するオブジェクトを追跡するため、基本となるテンプレート画像を拡大・縮小して倍率を変えた複数のテンプレート画像と、撮影画像とのマッチングを行なう。

特許文献２では、基本となるテンプレート画像を拡大・縮小した複数のテンプレート画像からズーム倍率に応じたテンプレート画像を選択して、撮影画像とのマッチングを行なう。

特開２００８−２８７６４８号公報特開２００１−２４３４７６号公報

しかしながら、特許文献１では、サイズの変化するオブジェクト追跡に対応するために、複数のテンプレート画像とのマッチングが必要となり、処理負荷が大きくなるという問題点がある。

特許文献２では、ズーム倍率に応じた１つのテンプレート画像でカメラ画像とのマッチングを行なうので、特許文献１よりも高速化が可能であるが、複数の倍率のテンプレート画像を作成して記憶しておく必要がある。また、ズームによって撮影画像が拡大した場合に、画素数が増加したテンプレート画像を用いてマッチングを行なうので、マッチングに時間を要することになる。

それゆえに、本発明の目的は、ズーム処理によって対象オブジェクトのサイズが変化しても、高速かつ高精度に対象オブジェクトを追跡することができるオブジェクト追跡装置を提供することである。

本発明の一実施形態のオブジェクト追跡装置は、フレーム画像に含まれるオブジェクトを追跡するオブジェクト追跡装置であって、追跡対象のオブジェクトのテンプレート画像を記憶する記憶部と、フレーム画像が時系列で入力される画像入力部と、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前時点のフレーム画像におけるオブジェクト領域、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、現時点のフレーム画像におけるオブジェクトの探索領域を設定する探索領域設定部と、現時点のフレーム画像に含まれるオブジェクトの探索領域の画像を固定サイズに正規化する正規化部と、正規化された探索領域の画像の中から、テンプレート画像と類似するオブジェクト領域を検索するマッチング部とを備える。

本発明の一実施形態によれば、ズーム処理によって対象オブジェクトのサイズが変化しても、高速かつ高精度に対象オブジェクトを追跡することができる。

本発明の実施の形態におけるデジタルカメラの構成例を示すブロック図である。第１の実施形態のオブジェクト追跡装置の構成を表わす図である。現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域を説明するための図である。現時点のフレーム画像が前時点のフレーム画像とズーム倍率が異なる場合の現時点のフレーム画像の探索領域を説明するための図である。正規化の例を説明するための図である。第１の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。第２の実施形態のオブジェクト追跡装置の構成を表わす図である（ａ）は、第ｉ番目のフレーム画像を表わす図である。（ｂ）は第（ｉ＋１）番目のフレーム画像を表わす図である。（ａ）は、第（ｉ＋１）番目のフレーム画像を表わす図である。（ｂ）は第（ｉ＋２）番目のフレーム画像を表わす図である。第２の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。図１０のステップＳ４０２の復帰処理の手順を表わすフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
［第１の実施形態］
（デジタルスチルカメラ）
図１は、本発明の実施の形態におけるデジタルカメラの構成例を示すブロック図である。本発明の実施形態では、検出および追跡対象のオブジェクトとして顔を例にして説明するが、本発明の実施形態の手法は、顔に限定されるものではなく、その他のオブジェクトの検出および追跡にも用いることができる。

図１を参照して、このデジタルカメラは半導体装置を有し、半導体装置は、カメラＩ／Ｆ（Interface）１００１と、ＣＰＵ（Central Processing Unit）１００２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１００３と、ＲＯＭ（Read Only Memory）１００４と、ユーザ操作部Ｉ／Ｆ１００５と、ＬＣＤＩ／Ｆ１００７と、カードＩ／Ｆ１００８と、オブジェクト検出装置１００６、オブジェクト追跡装置１００９とを含み、これらがバス１０１０を介して接続されている。オブジェクト検出装置１００６、オブジェクト追跡装置１００９とは画像処理装置１０１１を構成する。

カメラＩ／Ｆ１００１は、カメラセンサに接続されており、カメラセンサによって撮像された画像を受け、ＳＤＲＡＭ１００３やカードＩ／Ｆ１００８を介して接続される図示しないＳＤメモリカードなどにその画像を書き込む。

ＣＰＵ１００２は、ＳＤＲＡＭ１００３やＲＯＭ１００４に記憶されるプログラムを実行することによって、システム全体の制御を行なう。ＣＰＵ１００２は、ＳＤＲＡＭ１００３に格納された顔（オブジェクト）の位置を表わす情報を焦点合わせのためにカメラＩ／Ｆ１００１を通じてカメラの撮像系に送る。また、ＣＰＵ１００２は、オブジェクト検出装置１００６およびオブジェクト追跡装置１００９から送られる顔（オブジェクト）の位置を表わす情報から顔の位置を表わす図形（矩形など）をＬＣＤＩ／Ｆ１００７に送る。

ＲＯＭ１００４は、オブジェクトの検出、オブジェクトの追跡に用いられるデータを記憶する。

ユーザ操作部Ｉ／Ｆ１００５は、図示しないシャッターボタンなどに接続され、シャッターボタンが押されたときに、割り込みなどによってその旨をＣＰＵ１００２に通知する。ＣＰＵ１００２は、割り込み要求を受けると、カメラＩ／Ｆ１００１を制御してカメラセンサによって撮像された画像をＳＤＲＡＭ１００３などに格納する。また、ユーザが図示しないズームスイッチなどを操作して、ズーム倍率を変更した場合、ユーザ操作部Ｉ／Ｆ１００５を介してズーム倍率は、ＣＰＵ１００２に送られる。

ＬＣＤＩ／Ｆ１００７は、図示しないＬＣＤパネルに接続され、ＬＣＤの表示の制御などを行なう。カメラセンサによって撮影された画像をプレビューとしてＬＣＤに表示する。また、ＬＣＤＩ／Ｆ１００７は、ＣＰＵ１００２から送られた顔（オブジェクト）の位置を表わす図形を撮影された画像上に重畳表示する。

カードＩ／Ｆ１００８は、ＳＤメモリカードなどの外部の記録媒体に接続され、記録媒体に対するデータの読み出しや書き込みを行なう。

オブジェクト検出装置１００６は、カメラセンサによって撮影されてカメラＩ／Ｆ１００１から入力される画像から顔（オブジェクト）の検出処理を行なって、顔（オブジェクト）の位置を表わす情報をＳＤＲＡＭ１００３に格納する。オブジェクト検出装置１００６は、検出したオブジェクトの領域をテンプレートとして登録する。

オブジェクト追跡装置１００９は、カメラセンサによって撮影されてカメラＩ／Ｆ１００１から入力される画像においてオブジェクト検出装置１００６で検出された顔（オブジェクト）の追跡処理を行なって、顔（オブジェクト）の位置を表わす情報をＳＤＲＡＭ１００３に格納する。オブジェクト追跡装置１００９は、撮影された画像から、オブジェクト検出装置で得られたテンプレートと類似する領域を検索することによって、オブジェクトの追跡を行なう。オブジェクト追跡装置１００９は、ＣＰＵ１００２から送られる探索範囲倍率Ｋ、ズーム倍率、ズームの中心座標を受ける。オブジェクト追跡装置１００９は、オブジェクト検出装置１００６から追跡対象のオブジェクトのテンプレート画像、オブジェクト領域を受ける。

（構成）
図２は、第１の実施形態のオブジェクト追跡装置の構成を表わす図である。

図２を参照して、このオブジェクト追跡装置１００９は、画像入力部２と、パラメータ入力部３と、オブジェクト領域入力部４と、オブジェクト領域設定部６と、テンプレート入力部５と、テンプレート登録部７と、テンプレート記憶部８と、探索領域設定部９と、正規化部１０と、マッチング部１１とを備える。

画像入力部２は、カメラＩ／Ｆから追跡対象となるオブジェクトを探索するためのフレーム画像を所定のフレームレートで受ける。ユーザによって被写体がズーム（拡大または縮小）された場合には、画像入力部２は、ズームされたフレーム画像を受ける。

パラメータ入力部３は、ＣＰＵ１００２から探索範囲倍率Ｋの入力を受ける。さらに、パラメータ入力部３は、ユーザによって被写体がズームされて、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率から変化した場合には、ＣＰＵ１００２からズーム倍率と、ズームの中心座標とを受ける。

テンプレート入力部５は、オブジェクト検出装置から出力される追跡対象のオブジェクトのテンプレート画像を受ける。

テンプレート記憶部８は、追跡対象のオブジェクトのテンプレート画像を記憶する。
テンプレート登録部７は、テンプレート入力部５に入力されたテンプレート画像を初期テンプレートとしてテンプレート記憶部８に記憶する。テンプレート登録部７は、マッチング部１１によって特定されたオブジェクト領域の画像でテンプレート記憶部８内のテンプレート画像を更新する。

オブジェクト領域入力部４は、オブジェクト検出装置から追跡対象とするオブジェクト領域を表わす情報を受ける。

オブジェクト領域設定部６は、オブジェクト領域入力部４に入力されたオブジェクト領域を初期のオブジェクト領域に設定する。オブジェクト領域設定部６は、マッチング部１１によってテンプレート画像と類似するとして検索されたオブジェクト領域を新たなオブジェクト領域に設定する。

探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と同一の場合には、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも探索範囲倍率Ｋだけ大きな領域（基準領域）を、現時点のフレーム画像におけるオブジェクト領域に設定する。

探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、上述の基準領域を求め、この基準領域を前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する。

正規化部１０は、現時点のフレーム画像におけるオブジェクトの探索領域の画像を固定サイズに正規化して正規化探索画像を生成する。

マッチング部１１は、正規化探索画像の中から、テンプレート記憶部８に記憶されているテンプレート画像と類似する領域を検索して、類似度が所定値以上となる部分を発見した場合に、その部分を現フレームのオブジェクト領域として特定し、その領域を表わす情報をＣＰＵ１００２へ出力する。ここで、類似度とは、たとえば、２つの画像の画素値の絶対差の逆数や相互相関を用いることができる。

マッチング部１１は、類似度が所定値以上となる部分が発見できなかった場合に、オブジェクト検出装置に対してオブジェクトを再度検出するように指示する。

（探索領域の例）
図３は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域を説明するための図である。

図３（ａ）は、前時点のフレーム画像を表わす図である。
フレーム画像２０１において、左上の座標をＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）とする。

前時点のフレームで検出されたオブジェクト領域２０２の位置を以下とする。
中心座標がＭ（Ｘ１、Ｙ１）、左上の座標がＤ（Ｘ１−ａｘ，Ｙ１−ａｙ）、右上の座標がＥ（Ｘ１＋ａｘ，Ｙ１−ａｙ）、左下の座標がＦ（Ｘ１−ａｘ，Ｙ１＋ａｙ）、右下の座標がＧ（Ｘ１＋ａｘ，Ｙ１＋ａｙ）とする。

図３（ｂ）は、現時点のフレーム画像を表わす図である。
フレーム画像２０３において、前時点と同様に、左上の座標がＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）である。現時点のフレーム画像における探索領域２０４の位置は、以下となる。

中心座標はＭ（Ｘ１，Ｙ１）であり、左上の座標がＨ（Ｘ１−ａｘ′，Ｙ１−ａｙ′）、右上の座標がＩ（Ｘ１＋ａｘ′，Ｙ１−ａｙ′）、左下の座標がＪ（Ｘ１−ａｘ′，Ｙ１＋ａｙ′）、右下の座標がＫ（Ｘ１＋ａｘ′，Ｙ１＋ａｙ′）とする。ここで、ａｘ′＝Ｋ×ａｘ、ａｙ′＝Ｋ×ａｙである。Ｋは探索範囲倍率である。

したがって、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合には、現時点のフレームの探索領域は、Ｈ，Ｉ，Ｊ，Ｋを頂点とした矩形領域（基準領域）２０４に設定されることになる。この矩形領域２０４は、前時点のフレーム画像におけるオブジェクト領域２０２を含み、そのオブジェクト領域よりもＫ倍だけ大きな領域である。

図４は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が異なる場合の現時点のフレーム画像の探索領域を説明するための図である。

図４（ａ）は、前時点のフレーム画像を表わす図である。
フレーム画像２０１において、左上の座標をＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）とする。

ここで、位置Ｌ（Ｘ０，Ｙ０）をズームの中心座標とし、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比をＺＲとして、カメラがズームされた結果、前時点のフレーム画像におけるＰ、Ｑ、Ｒ、Ｓを頂点とした矩形領域２０５が拡大されて現時点のフレーム画像の全領域とされたとする。ここで、Ｐの位置は（Ｘ０−ＥＸ／２，Ｙ０−ＥＹ／２）、Ｑの位置は（Ｘ０＋ＥＸ／２，Ｙ０−ＥＹ／２）、Ｒの位置は（Ｘ０−ＥＸ／２，Ｙ０＋ＥＹ／２）、Ｓの位置は（Ｘ０＋ＥＸ／２，Ｙ０＋ＥＹ／２）である。ズーム倍率の比ＺＲ＝ＤＸ／ＥＸ＝ＤＹ／ＥＹである。たとえば、前時点のカメラのズーム倍率が２であって、現時点のカメラのズーム倍率が４である場合には、ズーム倍率の比ＺＲは２（＝４／２）となる。ズーム倍率が増加した、すなわち拡大した場合には、ズーム倍率の比ＺＲは１よりも大きくなり、ズーム倍率が減少した、すなわち縮小した場合には、ズーム倍率の比ＺＲは１よりも小さくなる。

図４（ｂ）は、現時点のフレーム画像を表わす図である。
フレーム画像２０６において、前時点と同様に、左上の座標がＯ（０，０）、右上の座標がＡ（ＤＸ，０）、左下の座標がＢ（０，ＤＹ）、右下の座標がＣ（ＤＸ，ＤＹ）である。

また、前時点でのズームの中心Ｌが、フレーム画像２０６の中心のカメラ画像の中心を表わす位置Ｌ′に移動する。

前時点のフレームで検出されたオブジェクト領域２０２は、中心がＭ′で、Ｄ′、Ｅ′、Ｆ′、Ｇ′を頂点とした矩形領域２０７に移動およびズームされる。ここで、Ｍ′の位置は（ＸＰ、ＹＰ）である。ただし、ＸＰ＝ＤＸ／２＋ＺＲ×（Ｘ１−Ｘ０）、ＹＰ＝ＤＹ／２＋ＺＲ×（Ｙ１−Ｙ０）である。Ｄ′の位置は（ＸＰ−ａｘ×ＺＲ，ＹＰ−ａｙ×ＺＲ）、Ｅ′の位置は（ＸＰ＋ａｘ×ＺＲ，ＹＰ−ａｙ×ＺＲ）、Ｆ′の位置は（ＸＰ−ａｘ×ＺＲ，ＹＰ＋ａｙ×ＺＲ）、Ｇ′の位置は（ＸＰ＋ａｘ×ＺＲ，ＹＰ＋ａｙ×ＺＲ）である。

探索領域２０８の位置は、中心がＭ′で、Ｈ′、Ｉ′、Ｊ′、Ｋ′を頂点とした矩形領域２０８に設定される。

ここで、Ｍ′の位置は（ＸＰ，ＹＰ）であり、Ｈ′の位置は（ＸＰ−ａｘ′×ＺＲ，ＹＰ−ａｙ′×ＺＲ）であり、Ｉ′の位置は（ＸＰ＋ａｘ′×ＺＲ，ＹＰ−ａｙ′×ＺＲ）であり、Ｊ′の位置は（ＸＰ−ａｘ′×ＺＲ，ＹＰ＋ａｙ′×ＺＲ）であり、Ｋ′の位置は（ＸＰ＋ａｘ′×ＺＲ，ＹＰ＋ａｙ′×ＺＲ）である。ここで、ａｘ′＝Ｋ×ａｘ、ａｙ′＝Ｋ×ａｙである。Ｋは探索範囲倍率である。

したがって、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が相違する場合には、現時点のフレームの探索領域は、Ｈ′、Ｉ′、Ｊ′、Ｋ′を頂点とした矩形領域２０８に設定されることになる。

この矩形領域２０８は、前時点のフレーム画像におけるオブジェクト領域２０２をズームした領域２０７を含み、そのオブジェクト領域２０７よりもＫ倍だけ大きな領域である。また、この矩形領域２０８は、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が同一の場合の現時点のフレーム画像の探索領域（図３（ｂ）の領域２０４）を前時点のフレーム画像におけるズームの中心座標Ｌ、ズーム倍率の比ＺＲに基づいて、ズーム（拡大または縮小）した領域である。

（正規化の例）
図５は、正規化の例を説明するための図である。

図５で、正規化部１０は、フレーム画像から探索領域３０３の画像を抽出する。図４（ｂ）のように、現時点のフレーム画像が前時点のフレーム画像とズーム倍率が異なる場合には抽出された画像の横方向の画素数が２×ａｘ′×ＺＲであり、縦方向の画素数が２×ａｙ′×ＺＲである。

正規化部１０は、抽出した画像を固定サイズに拡大または縮小して正規化探索画像３０４を生成する。図５に示すように、固定サイズは、横方向の画素数がＸＳで、縦方向の画素数がＹＳとする。正規化部１０は、拡大する場合には、たとえば補間などの処理を行ない、縮小する場合には、たとえば間引きなどの処理を行なう。

（動作）
図６は、第１の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。

図６を参照して、まず、オブジェクト領域入力部４は、オブジェクト検出装置から追跡対象とするオブジェクト領域を表わす情報を受ける。オブジェクト領域設定部６は、オブジェクト検出装置から出力されるオブジェクト領域を初期のオブジェクト領域に設定する（ステップＳ１０１）。

次に、テンプレート登録部７は、オブジェクト検出装置から出力される対象オブジェクトの画像を初期テンプレートとしてテンプレート記憶部８に記憶する（ステップＳ１０２）。

次に、画像入力部２は、カメラＩ／Ｆから現時点のフレーム画像を受ける（ステップＳ１０３）。

次に、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けた場合には（ステップＳ１０４でＹＥＳ）、探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違するので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな領域（基準領域）を求め、さらにその基準領域を、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する（ステップＳ１０５）。

一方、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けない場合には（ステップＳ１０４でＮＯ）、探索領域設定部９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と同一であるので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな基準領域を、現時点のフレーム画像におけるオブジェクト領域に設定する（ステップＳ１０６）。

次に、正規化部１０は、現時点のフレーム画像におけるオブジェクトの探索領域の画像を固定サイズに正規化して正規化探索画像を生成する（ステップＳ１０７）。

次に、マッチング部１１は、正規化探索画像の中から、テンプレート記憶部８に記憶されているテンプレート画像と類似する領域を検索して、類似度が所定値以上となる部分を探す。

マッチング部１１が、類似度が所定値以上となる部分を発見した場合、すなわちマッチングが成功した場合には（ステップＳ１０８でＹＥＳ）、マッチング部１１は、その発見した部分を現フレームのオブジェクト領域として特定し、その領域を表わす情報をＣＰＵ１００２へ出力する（ステップＳ１０９）。

オブジェクト領域設定部６は、マッチング部１１によって特定されたオブジェクト領域を新たなオブジェクト領域に設定する（ステップＳ１１０）。

テンプレート登録部７は、マッチング部１１によって特定されたオブジェクト領域の画像でテンプレート記憶部８内のテンプレート画像を更新する（ステップＳ１１１）。

その後、ステップＳ１０３に戻って、次のフレーム画像の入力からの処理が繰返される。

マッチング部１１が、類似度が所定値以上となる部分を発見しなかった場合、すなわちマッチングが失敗した場合には（ステップＳ１０８でＮＯ）、マッチング部１１は、オブジェクト検出装置に対してオブジェクトを再度検出するように指示する（ステップＳ１１２）。

（効果）
以上のように、本実施の形態では、ズーム倍率とズームの中心座標を用いて、ズーム処理で入力されるフレーム画像の倍率が変わっても、対象オブジェクトの大きさと位置の変化を考慮した探索領域を設定することができる。これによって、複数のテンプレート画像とのマッチングが不要となる。

また、本実施の形態では、探索領域の画像を一定の大きさの正規化画像に縮小して、テンプレートマッチングを行なうので、従来のように、テンプレート画像を拡大してマッチング処理することによって、処理時間が長くなるのを防止できる。

［第２の実施形態］
対象オブジェクトを追跡中に、拡大によって、追跡対象のオブジェクトがフレーム画像の外へフレームアウトすることがある。従来は、一旦、フレームアウトした対象オブジェクトはフレーム画像内に存在しないため、その位置情報は保存されない。その後、対象オブジェクトが再度フレーム画像の中へフレームインした場合でも、追跡処理を開始する基準となる位置（つまり、探索領域の中央のオブジェクト検出領域）の情報がないので、オブジェクトを追跡することができない。それゆえ、従来では、追跡対象のオブジェクトがフレームアウトした場合に、追跡処理を停止して、再度オブジェクトの検出処理をするしかなかった。

図７は、第２の実施形態のオブジェクト追跡装置の構成を表わす図である。
図７のオブジェクト追跡装置５１が、図２のオブジェクト追跡装置１００９と相違する点は以下である。

保持部２８は、探索領域設定部２９によって設定されたオブジェクトの探索領域の一部または全部が、現時点のフレーム画像に含まれない場合に、設定されたオブジェクトの探索領域を保持する。

図８（ａ）が、第ｉ番目のフレーム画像を表わす図である。図８（ｂ）が第（ｉ＋１）番目のフレーム画像を表わす図である。

第ｉ番目のフレーム画像６０１において、ズーム中心をＬ１とし、ズーム倍率の比をＺＲ１として拡大された画像が、第（ｉ＋１）番目のフレーム画像６０３であるとする。ここで、ＺＲ１＞１である。

図８（ｂ）に示すように、Ｍ′を中心とし、Ｈ′、Ｉ′、Ｊ′、Ｋ′を頂点とした探索領域６０５がフレーム画像６０３の外部にはみ出した場合に、保持部２８は、Ｍ′、Ｈ′、Ｉ′、Ｊ′、Ｋ′の座標を保持する。Ｍ′の位置は（ＸＰ，ＹＰ）であり、Ｈ′の位置は（ＸＰ−ａｘ′×ＺＲ１，ＹＰ−ａｙ′×ＺＲ１）であり、Ｉ′の位置は（ＸＰ＋ａｘ′×ＺＲ１，ＹＰ−ａｙ′×ＺＲ１）であり、Ｊ′の位置は（ＸＰ−ａｘ′×ＺＲ１，ＹＰ＋ａｙ′×ＺＲ１）であり、Ｋ′の位置は（ＸＰ＋ａｘ′×ＺＲ１，ＹＰ＋ａｙ′×ＺＲ１）である。ただし、ＸＰ＝ＤＸ／２＋ＺＲ１×（Ｘ１−Ｘ０）、ＹＰ＝ＤＹ／２＋ＺＲ１×（Ｙ１−Ｙ０）である。

探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違する場合には、保持部２８で前時点のフレーム画像におけるオブジェクト探索領域が保持されていれば、その保持されているオブジェクトの探索領域と、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する。

図９（ａ）が、第（ｉ＋１）番目のフレーム画像を表わす図である。図９（ｂ）が第（ｉ＋２）番目のフレーム画像を表わす図である。

第ｉ＋１番目のフレーム画像６０３において、ズーム中心をＬ２とし、ズーム倍率の比をＺＲ２として縮小された画像が、第（ｉ＋２）番目のフレーム画像６１０であるとする。ここで、ＺＲ２＜１である。

探索領域設定部２９は、保持部２８で保持されているＭ′、Ｈ′、Ｉ′、Ｊ′、Ｋ′の位置と、ズームの中心座標Ｌ２（Ｘ０′，Ｙ０′）、ズーム倍率の比ＺＲ２を用いて、Ｍ″を中心とし、Ｈ″、Ｉ″、Ｊ″、Ｋ″を頂点としたオブジェクトの探索領域６１２を求める。

Ｍ″の位置は（ＸＰ′，ＹＰ′）であり、Ｈ″の位置は（ＸＰ′−ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′−ａｙ′×ＺＲ１×ＺＲ２）であり、Ｉ″の位置は（ＸＰ′＋ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′−ａｙ′×ＺＲ１×ＺＲ２）であり、Ｊ″の位置は（ＸＰ′−ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′＋ａｙ′×ＺＲ１×ＺＲ２）であり、Ｋ″の位置は（ＸＰ′＋ａｘ′×ＺＲ１×ＺＲ２，ＹＰ′＋ａｙ′×ＺＲ１×ＺＲ２）である。ただし、ＸＰ′＝ＤＸ／２＋ＺＲ２×（ＸＰ−Ｘ０′）、ＹＰ′＝ＤＹ／２＋ＺＲ２×（ＹＰ−Ｙ０′）である。

（動作）
図１０は、第２の実施形態のオブジェクト追跡処理の動作手順を表わすフローチャートである。

図１０を参照して、まず、オブジェクト領域入力部４は、オブジェクト検出装置から追跡対象とするオブジェクト領域を表わす情報を受ける。オブジェクト領域設定部６は、オブジェクト検出装置から出力されるオブジェクト領域を初期のオブジェクト領域に設定する（ステップＳ１０１）。

次に、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けた場合には（ステップＳ１０４でＹＥＳ）、探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違するので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな領域（基準領域）を求め、さらにその基準領域を、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する（ステップＳ１０５）。

設定された探索領域の一部または全部が現時点のフレーム画像の外にはみ出した場合には（ステップＳ４０１でＹＥＳ）、後述の復帰処理が行なわれる（ステップＳ４０２）。

一方、パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けない場合には（ステップＳ１０４でＮＯ）、探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と同一であるので、前時点のフレーム画像におけるオブジェクト領域を含み、そのオブジェクト領域よりも所定倍数だけ大きな基準領域を、現時点のフレーム画像におけるオブジェクト領域に設定する（ステップＳ１０６）。

（復帰処理）
図１１は、図１０のステップＳ４０２の復帰処理の手順を表わすフローチャートである。

まず、保持部２８は、設定された探索領域を表わす情報を保持する（ステップＳ５０１）。

画像入力部２は、カメラＩ／Ｆから次の時点のフレーム画像を受ける（ステップＳ５０２）。

パラメータ入力部３が、ＣＰＵ１００２からズーム倍率とズームの中心座標とを受けた場合には（ステップＳ５０３でＹＥＳ）、探索領域設定部２９は、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と相違するので、保存している前時点のフレーム画像におけるオブジェクト探索領域と、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、ズーム（拡大または縮小）した領域を現時点のフレーム画像におけるオブジェクトの探索領域に設定する（ステップＳ５０４）。

設定された探索領域の一部または全部が現時点のフレーム画像の外にはみ出した場合には（ステップＳ５０５でＹＥＳ）、ステップＳ５０１からの処理を繰返す。

（効果）
以上のように、第２の実施形態によれば、拡大によって、追跡対象のオブジェクトがフレーム画像の外へフレームアウトしたとしても、フレームアウトしたオブジェクトの探索領域を保持して、次のフレームにおける探索領域の設定に用いるので、オブジェクトの追跡を継続することができる。

なお、本実施の形態の図１１のステップＳ５０５でＹＥＳの場合、常に、ステップＳ５０１に戻ることとしたが、図１１の復帰処理が所定時間以上継続した場合、または、ステップＳ５０１〜Ｓ５０５のループが所定回数以上継続した場合に、復帰処理を終了してオブジェクト検出部に再度オブジェクト検出処理をさせることとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２画像入力部、３パラメータ入力部、４オブジェクト領域入力部、５テンプレート入力部、６オブジェクト領域設定部、７テンプレート登録部、８テンプレート記憶部、９，２９探索領域設定部、１０正規化部、１１マッチング部、２８保持部、１０００デジタルカメラ、１００１カメラＩ／Ｆ、１００２ＣＰＵ、１００３ＳＤＲＡＭ、１００４ＲＯＭ、１００５ユーザ操作部Ｉ／Ｆ、１００６オブジェクト検出装置、１００７ＬＣＤＩ／Ｆ、１００８カードＩ／Ｆ、５１，１００９オブジェクト追跡装置、１０１１画像処理装置。

Claims

フレーム画像に含まれるオブジェクトを追跡するオブジェクト追跡装置であって、
追跡対象のオブジェクトのテンプレート画像を記憶する記憶部と、
フレーム画像が時系列で入力される画像入力部と、
現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前時点のフレーム画像におけるオブジェクト領域、前時点のフレーム画像におけるズームの中心座標、前時点のフレーム画像のズーム倍率と現時点のフレーム画像のズーム倍率との比に基づいて、現時点のフレーム画像における前記オブジェクトの探索領域を設定する探索領域設定部と、
前記現時点のフレーム画像に含まれるオブジェクトの探索領域の画像を固定サイズに正規化する正規化部と、
前記正規化された探索領域の画像の中から、前記テンプレート画像と類似する前記オブジェクト領域を検索するマッチング部とを備えた、オブジェクト追跡装置。
前記探索領域設定部は、前記前時点のフレーム画像におけるオブジェクト領域を含み、かつ前記オブジェクト領域よりも所定倍数だけ大きな基準領域を、前記ズームの中心座標および前記ズーム倍率との比に従ってズームした領域を前記現時点のフレーム画像における前記オブジェクトの探索領域に設定する、請求項１記載のオブジェクト追跡装置。
前記探索領域設定部によって設定された前記オブジェクトの探索領域の一部または全部が、前記現時点のフレーム画像に含まれない場合に、前記設定されたオブジェクトの探索領域を保持する保持部を備え、
前記探索領域設定部は、１時点が経過した後、現時点のフレーム画像のズーム倍率が前時点のフレーム画像のズーム倍率と異なる場合には、前記保持部で保持したオブジェクトの探索領域を用いて、現時点のフレーム画像における前記オブジェクトの探索領域を設定する、請求項１記載のオブジェクト追跡装置。
フレーム画像から対象オブジェクトを検出するオブジェクト検出装置から出力される対象オブジェクトの画像を前記テンプレート画像として前記記憶部に記憶する登録部をさらに備える、請求項１記載のオブジェクト追跡装置。
前記登録部は、前記マッチング部によって前記テンプレート画像と類似するとして検索された前記現時点のオブジェクト領域の画像で前記記憶部内のテンプレート画像を更新する、請求項４記載のオブジェクト追跡装置。
前記マッチング部は、類似する領域が検索できなかった場合に、前記オブジェクト検出装置に対して前記オブジェクトを検出するように指示する、請求項１記載のオブジェクト追跡装置。