JP6649864B2 - 画像処理装置、電子機器、画像処理方法及びプログラム - Google Patents

Description

本発明は、動画像中の対象物を追跡する画像処理装置等に関する。

従来より、動画像の中から目的の対象物を追跡する画像処理装置が知られている（例えば、特許文献１〜特許文献３）。

国際公開第２０１２／１２７６１８号 米国特許出願公開第２０１３／０２２２６２１号明細書 特開２０１２−２０５０３７号公報

上記の特許文献に開示されているような従来の画像処理装置では、動画像の中から対象物をどのように追跡するかについての追跡手法（追跡アルゴリズム）については開示されているが、対象物を追跡した結果をどのように応用するかについては考慮されていないという問題がある。

本発明は上記の課題に鑑みてなされたものであり、その目的とするところは、動画像中の対象物を追跡した上で、その追跡結果の新たな利用方法を提案することにある。

上記課題を解決すべく、以下の手段を採った。なお、後述する発明を実施するための形態の説明及び図面で使用した符号を参考のために括弧書きで付記するが、本発明の構成要素は該付記したものには限定されない。

第１の発明は、
画像処理装置（図１の画像処理装置１）であって、
元動画像を構成するフレーム画像中の対象物に追跡領域を設定する（図４のＡ３）追跡領域設定手段（図１の追跡領域設定部１１）と、
前記追跡領域設定手段によって設定された追跡領域の色情報を取得する（図４のＡ５）色情報取得手段（図１の色情報取得部１２）と、
前記色情報取得手段によって取得された色情報を用いて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定する（図５のＢ３）追跡位置推定手段（図１の追跡位置推定部１４）と、
前記追跡領域設定手段によって設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新する（図５のＢ１９）出力枠設定手段（図１の出力枠設定部１７）と、
前記出力枠設定手段によって更新される出力枠を基準とした動画像を生成する（図４のＡ１１）動画像生成手段（図１の照準動画像生成部１８）と、
前記追跡位置推定手段によって推定された追跡位置の適否を判定する追跡位置適否判定手段と、
前記追跡位置適否判定手段によって前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定する追跡位置再推定手段と、
を備え、
前記追跡位置推定手段は、前記追跡位置再推定手段によって再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し、
前記出力枠設定手段は、前記追跡位置再推定手段によって前記追跡位置が再推定された場合に、前記出力枠の更新を中断し、前記追跡位置推定手段によって推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開し、
前記追跡位置再推定手段は、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
画像処理装置である。
また、他の発明として、
電子機器であって、
元動画像を構成するフレーム画像中の対象物に追跡領域を設定する追跡領域設定手段と、
前記追跡領域設定手段によって設定された追跡領域の色情報を取得する色情報取得手段と、
前記色情報取得手段によって取得された色情報に基づいて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定する追跡位置推定手段と、
前記追跡領域設定手段によって設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新する出力枠設定手段と、
前記出力枠を基準とした動画像を生成する動画像生成手段と、
タッチパネルが一体的に構成された表示手段と、
前記表示手段を表示制御する表示制御手段と、
前記タッチパネルへのユーザー操作により、前記元動画像に表示中の出力枠を移動させる移動操作がなされたか否かを判定する移動操作判定手段と、
前記移動操作判定手段によって出力枠の移動操作がなされたと判定された場合に、出力枠内に存在する物体を検出する物体検出手段と、
を備え、
前記色情報取得手段は、前記物体検出手段によって検出された物体の色情報を取得し、
前記追跡位置推定手段は、前記物体検出手段によって検出された物体が存在する領域を前記追跡領域として、前記追跡位置をフレーム画像毎に推定する、
電子機器を構成してもよい。

また、他の発明として、
画像処理方法であって、
元動画像を構成するフレーム画像中の対象物に追跡領域を設定すること（図４のＡ３）と、
前記設定された追跡領域の色情報を取得すること（図４のＡ５）と、
前記取得された色情報を用いて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定すること（図５のＢ３）と、
前記設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新すること（図５のＢ１９）と、
前記更新される出力枠を基準とした動画像を生成すること（図４のＡ１１）と、
前記推定された追跡位置の適否を判定することと、
前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定することと、
を含み、
前記追跡位置を推定することは、前記再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し、
前記出力枠を設定することは、前記追跡位置が再推定された場合に、前記出力枠の更新を中断し、前記推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開し、
前記追跡位置を再推定することは、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
画像処理方法を構成してもよい。

また、他の発明として、
コンピュータ（各種の装置のプロセッサ）に、画像処理を実行させるためのプログラム（図９の対象物追跡プログラム８１１）であって、
元動画像を構成するフレーム画像中の対象物に追跡領域を設定する追跡領域設定ステップ（図４のＡ３）と、
前記追跡領域設定ステップで設定された追跡領域の色情報を取得する色情報取得ステップ（図４のＡ５）と、
前記色情報取得ステップで取得された色情報を用いて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定する追跡位置推定ステップ（図５のＢ３）と、
前記追跡領域設定ステップで設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新する出力枠設定ステップ（図５のＢ１９）と、
前記出力枠を基準とした動画像を生成する動画像生成ステップ（図４のＡ１１）と、
前記追跡位置推定ステップで推定された追跡位置の適否を判定する追跡位置適否判定ステップと、
前記追跡位置適否判定ステップで前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定する追跡位置再推定ステップと、
を実行させ、
前記追跡位置推定ステップでは、前記追跡位置再推定ステップで再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し、
前記出力枠設定ステップでは、前記追跡位置再推定ステップで前記追跡位置が再推定された場合に、前記出力枠の更新を中断し、前記追跡位置推定ステップで推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開し、
前記追跡位置再推定ステップでは、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
プログラムを構成してもよい。

この第１の発明等によれば、元動画像を構成するフレーム画像中の対象物に設定された追跡領域の色情報を用いて、追跡領域を基準とする追跡位置をフレーム画像毎に推定する。また、設定した追跡領域を含む出力枠を設定するとともに、追跡位置が推定される毎に、推定された追跡位置に基づいて出力枠を更新する。そして、元動画像を用いて、更新される出力枠を基準とした動画像を生成することで、対象物の追跡結果を、対象物に照準した照準動画像として提供することが可能となる。

また、第２の発明として、
第１の発明の画像処理装置であって、
前記追跡領域設定手段は、前記元動画像を構成するフレーム画像中の対象物に複数の追跡領域を設定し（図４のＡ３）、
前記色情報取得手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記色情報を取得し（図４のＡ５）、
前記追跡位置推定手段は、前記色情報取得手段によって取得された前記複数の追跡領域それぞれの色情報を用いて、前記複数の追跡領域それぞれを基準とする追跡位置をフレーム画像毎に推定する（図５のＢ３）、
画像処理装置を構成してもよい。

この第２の発明によれば、元動画像を構成するフレーム画像中の対象物に複数の追跡領域を設定した上で、複数の追跡領域それぞれの色情報を用いて、複数の追跡領域それぞれを基準とする追跡位置をフレーム画像毎に推定することで、対象物の追跡をより確実（ロバスト）に行うことが可能となる。

また、第３の発明として、
第１又は第２の発明の画像処理装置であって、
前記追跡位置推定手段によって推定された追跡位置の適否を判定する（図５のＢ１１）追跡位置適否判定手段（図１の追跡位置適否判定部１５）と、
前記追跡位置適否判定手段によって前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定する（図５のＢ２３）追跡位置再推定手段（図１の追跡位置再推定部１６）と、
を更に備えた、
画像処理装置を構成してもよい。

この第３の発明によれば、推定された追跡位置が適当な位置であるか否かを判定することができる。そして、適当な位置ではないと判定した場合には、追跡位置を再推定することで、適当な位置を取得することが可能となる。

また、第４の発明として、
第３の発明の画像処理装置であって、
前記追跡領域設定手段は、前記元動画像を構成するフレーム画像中の対象物に複数の追跡領域を設定し（図４のＡ３）、
前記色情報取得手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記色情報を取得し（図４のＡ５）、
前記追跡位置推定手段は、前記色情報取得手段によって取得された前記複数の追跡領域それぞれの色情報に基づいて、前記複数の追跡領域それぞれを基準とする追跡位置をフレーム画像毎に推定し（図５のＢ３）
前記追跡位置適否判定手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記追跡位置推定手段によって推定された追跡位置の相対的な位置関係（推定追跡位置間の距離が近距離条件を満たすか否か）に基づいて適否判定を行う、
画像処理装置を構成してもよい。

この第４の発明によれば、複数の追跡領域それぞれについて推定された追跡位置の相対的な位置関係に基づいて適否判定を行うことで、推定された追跡位置の適否を適切に判定することができる。

また、第５の発明として、
第３又は第４の発明の画像処理装置であって、
前記出力枠設定手段は、前記追跡位置再推定手段によって前記追跡位置が再推定された場合に、前記出力枠の更新を中断する（図５のＢ２５）、
画像処理装置を構成してもよい。

この第５の発明によれば、再推定された追跡位置が不適当な位置であった場合に、この不適当な追跡位置に基づいて出力枠が生成され、その結果、追跡物とは関係の無い物体が出力されてしまうことを防止できる。

また、第６の発明として、
第５の発明の画像処理装置であって、
前記追跡位置推定手段は、前記追跡位置再推定手段によって再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し（図５のＢ２３→Ｂ２５→Ｂ２１→Ｂ３）、
前記出力枠設定手段は、前記追跡位置推定手段によって推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開する（図５のＢ５；Ｙｅｓ→Ｂ７；Ｙｅｓ→Ｂ９）、
画像処理装置を構成してもよい。

この第６の発明によれば、再推定された追跡位置に基づいて追跡位置を推定することで適当な追跡位置が推定された場合に、この適当な追跡位置に基づいて出力枠が生成されるため、追跡物を適切に出力することが可能となる。また、仮に再推定された追跡位置に基づいて推定された追跡位置が不適当な位置であった場合には、この不適当な追跡位置に基づいて出力枠が生成されることを防止し、追跡物とは関係のない物体が出力されてしまうことを防止できる。

また、第７の発明として、
第６の発明の画像処理装置であって、
前記追跡位置再推定手段は、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
画像処理装置を構成してもよい。

この第７の発明によれば、更新が再開された際の出力枠を基準として、出力枠の更新が中断したときの追跡位置を遡って再推定することで、出力枠の更新が中断していた期間における追跡位置を補完的に求めることができる。

また、第８の発明として、
第１〜第７の何れかの発明の画像処理装置であって、
前記追跡領域設定手段は、前記元動画像を構成するフレーム画像中の複数の対象物に追跡領域を設定し、
前記複数の対象物に追跡の優先度を設定する優先度設定手段（画像処理装置１の不図示の優先度設定部）を更に備え、
前記出力枠設定手段は、前記優先度設定手段によって設定された優先度に基づいて、更新する出力枠を決定する、
画像処理装置を構成してもよい。

この第８の発明によれば、複数の対象物について追跡を行うことができる。また、複数の対象物に優先度を設定し、設定した優先度に基づいて更新する出力枠を決定することで、優先度の高い対象物に照準した照準動画像を生成することができる。

また、第９の発明として、
第１〜第８の何れかの発明の画像処理装置（図８の画像処理装置１）であって、
前記追跡領域設定手段によって設定された追跡領域の形状情報を取得する形状情報取得手段（図８の形状情報取得部１３）を更に備え、
前記追跡位置推定手段は、前記形状情報取得手段によって取得された形状情報を更に用いて、前記追跡位置をフレーム画像毎に推定する、
画像処理装置を構成してもよい。

この第９の発明によれば、追跡領域の形状情報を追跡位置の推定に用いることで、対象物の形状を考慮した追跡を実現することが可能となる。

また、第１０の発明として、
第１〜第９の何れかの発明の画像処理装置であって、
前記出力枠設定手段によって更新される出力枠位置の変位量に基づいて、前記出力枠の位置を修正する出力枠位置修正手段（画像処理装置１の不図示の出力枠位置修正部）を更に備え、
前記動画像生成手段は、前記出力枠位置修正手段によって位置が修正された出力枠を基準とした動画像を生成する、
画像処理装置を構成してもよい。

この第１０の発明によれば、更新される出力枠の変位に基づいて出力枠の位置を修正することで、生成される照準動画像にがたつきが生じてしまうことを防止できる。

また、第１１の発明として、
第１〜第１０の何れかの発明の画像処理装置（図１、図８の画像処理装置１）と、
タッチパネル（図９のタッチパネル２５０）が一体的に構成された表示手段（図９の表示部３００）と、
前記表示手段を表示制御する表示制御手段（図９の表示制御部１９０）と、
を備え、
前記追跡領域設定手段は、前記タッチパネルに対するユーザー操作に基づいて、前記追跡領域を設定し（図１１のＦ５；Ｙｅｓ→Ｆ７→Ｆ９）、
前記表示制御手段は、前記動画像生成手段によって生成された動画像を前記表示手段に表示させる（図１０のＥ１１）動画像表示制御手段を有する、
電子機器を構成してもよい。

この第１１の発明によれば、ユーザー操作に基づいて設定した追跡領域に基づいて対象物を追跡することが可能となる。また、対象物に照準した照準動画像をユーザーが確認できるようにすることができる。

また、第１２の発明として、
第１１の発明の電子機器であって、
前記表示制御手段は、前記追跡領域設定手段によって設定された追跡領域を特定可能な表示態様（追跡領域を包含する追跡領域枠に色を付して表示）で前記動画像に重畳表示させる（図１０のＥ１１）追跡領域表示制御手段を有する、
電子機器を構成してもよい。

この第１２の発明によれば、設定された追跡領域を照準動画像においてユーザーが確認できるようにすることができる。

また、第１３の発明として、
第１〜第１０の何れかの発明の画像処理装置（図１、図８の画像処理装置１）と、
タッチパネル（図９のタッチパネル２５０）が一体的に構成された表示手段（図９の表示部３００）と、
前記表示手段を表示制御する表示制御手段（図９の表示制御部１９０）と、
を備え、
前記追跡領域設定手段は、前記タッチパネルに対するユーザー操作に基づいて、前記元動画像を構成するフレーム画像中の対象物に複数の追跡領域を設定し（図４のＡ３）、
前記色情報取得手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記色情報を取得し（図４のＡ５）、
前記追跡位置推定手段は、前記色情報取得手段によって取得された前記複数の追跡領域それぞれの色情報に基づいて、前記複数の追跡領域それぞれを基準とする追跡位置をフレーム画像毎に推定し（図５のＢ３）
前記表示制御手段は、前記動画像生成手段によって生成された動画像を前記表示手段に表示させる動画像表示制御手段を有する（図１０のＥ１１）
電子機器を構成してもよい。

この第１３の発明によれば、ユーザー操作に基づいて設定した複数の追跡領域に基づいて対象物を追跡することが可能となる。また、対象物に照準した照準動画像をユーザーが確認できるようにすることができる。

また、第１４の発明として、
第１３の発明の電子機器であって、
前記表示制御手段は、前記追跡領域設定手段によって設定された複数の追跡領域をそれぞれ区別して特定可能な表示態様（複数の追跡領域それぞれを包含する追跡領域枠に色を付して表示）で前記動画像に重畳表示させる追跡領域表示制御手段（図９の表示制御部１９０）を有する、
電子機器を構成してもよい。

この第１４の発明によれば、設定された複数の追跡領域を照準動画像においてユーザーが確認できるようにすることができる。

また、第１５の発明として、
第１１〜第１４の何れかの発明の電子機器であって、
前記表示制御手段は、前記出力枠設定手段によって更新される出力枠を特定可能な表示態様（枠線に色を付して表示）で前記動画像に重畳表示させる第１の出力枠表示制御手段（図９の表示制御部１９０）を有する、
電子機器を構成してもよい。

この第１５の発明によれば、更新される出力枠を照準動画像においてユーザーが確認できるようにすることができる。

また、第１６の発明として、
第１５の発明の電子機器であって、
前記動画像表示制御手段は、前記出力枠を含む所定領域を拡大した動画像を前記表示手段に表示させ、
前記第１の出力枠表示制御手段は、前記拡大された所定領域に適応するように大きさを調整した出力枠を前記動画像に重畳表示させる、
電子機器を構成してもよい。

この第１６の発明によれば、出力枠を含む所定領域（出力対象領域）が拡大された照準動画像をユーザーが閲覧することが可能となる。また、拡大された所定領域（出力対象領域）に適応した大きさで出力枠を照準動画像に重畳表示させることが可能となる。

また、第１７の発明として、
第１１〜第１６の何れかの発明の電子機器であって、
前記表示制御手段は、
前記元動画像を前記表示手段に表示させる元動画像表示制御手段（図９の表示制御部１９０）と、
前記出力枠設定手段によって更新される出力枠を特定可能な表示態様（出力枠の枠線に色を付して表示）で前記元動画像に重畳表示させる第２の出力枠表示制御手段（図９の表示制御部１９０）と、
を有する、
電子機器を構成してもよい。

この第１７の発明によれば、更新される出力枠を元動画像においてユーザーが確認できるようにすることができる。

また、第１８の発明として、
第１７の発明の電子機器であって、
前記タッチパネルへのユーザー操作により、前記元動画像に表示中の出力枠を移動させる移動操作がなされたか否かを判定する（図１４のＨ１）移動操作判定手段（図９の処理部１００）と、
前記移動操作判定手段によって出力枠の移動操作がなされたと判定された場合に、出力枠内に存在する物体を検出する（図１４のＨ５）物体検出手段（図９の処理部１００）と、
を更に備え、
前記色情報取得手段は、前記物体検出手段によって検出された物体の色情報を取得し（図１４のＨ９）、
前記追跡位置推定手段は、前記物体検出手段によって検出された物体が存在する領域を前記追跡領域として、前記追跡位置をフレーム画像毎に推定する（図１４のＨ１１）、
電子機器を構成してもよい。

この第１８の発明によれば、ユーザーが出力枠を移動させる移動操作を行い、出力枠内に存在する物体を検出させ、その色情報に基づいて、対象物の追跡を行わせることができる。

画像処理装置の機能構成の一例を示す図。 追跡領域設定の説明図。 追跡処理に用いる確率分布の説明図。 画像処理の流れの一例を示すフローチャート。 追跡処理の流れの一例を示すフローチャート。 追跡位置再推定処理の流れの一例を示すフローチャート。 出力枠の説明図。 画像処理装置の機能構成の別例を示す図。 スマートフォンの機能構成の一例を示す図。 カメラモード処理の流れの一例を示すフローチャート。 対象物追跡処理の流れの一例を示すフローチャート。 スマートフォンの表示画面の一例を示す図。 第２のカメラモード処理の流れの一例を示すフローチャート。 第２の対象物追跡処理の流れの一例を示すフローチャート。 記録媒体の一例を示す図。

以下、図面を参照して、本発明を適用した好適な実施形態の一例について説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。また、図面の寸法比率は、説明のものと必ずしも一致していない。また、本発明を適用可能な形態が、以下説明する実施形態に限定されるわけではないことは勿論である。

［１．画像処理装置］
本実施形態における画像処理装置は、動画像中の対象物を追跡するものである。本実施形態において対象物の追跡を行う動画像は、定点から撮像（定点撮像）された動画像とするのが好適である。これは、本実施形態における画像処理装置は、主として色情報を用いて対象物の追跡を行うため、手振れによるブラーの発生や光の影響等により対象物の色に変化が生じてしまうと、追跡の精度が低下するためである。

なお、必ずしも定点撮像された動画像でなくとも、本実施形態の手法を用いることで、対象物の追跡を行うことは可能である。動画像中の明るさの変化の影響についてはホワイトバランスの調整、動画像中に発生する手ぶれに対しては手振れ補正といった調整を行うことで、定点観測とほぼ同様の性能で対象物の追跡を実現することができる。

本実施形態に係る画像処理装置は、例えば、スマートフォン等の携帯電話機、デジタルカメラ、タブレット端末、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に具備させることが可能であるが、これらに限られるものではなく、例えば通常のコンピュータシステムに具備させてもよい。

［１−１．機能構成］
図１は、本実施形態における画像処理装置１の機能構成の一例を示すブロック図である。
画像処理装置１は、元動画像取得部１０と、追跡領域設定部１１と、色情報取得部１２と、追跡位置推定部１４と、追跡位置適否判定部１５と、追跡位置再推定部１６と、出力枠設定部１７と、照準動画像生成部１８とを備える。これらは、画像処理装置１の処理部（処理装置）が有する機能部（機能ブロック）であり、処理部は、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

元動画像取得部１０は、元動画像メモリ２０に保存されている元動画像の中から一の元動画像（元動画像のデータ）を取得する。元動画像は複数のフレーム画像から構成される。本明細書では、後述する照準動画像と区別することを目的として、対象物の追跡に用いる動画像を元動画像と表現する。

追跡領域設定部１１は、元動画像取得部１０によって取得された元動画像を構成するフレーム画像中の対象物に追跡領域を設定する。追跡領域設定部１１が設定する追跡領域は、単一の領域とすることも、２以上の領域とすることも可能である。本実施形態では、１つの対象物に２つの追跡領域を設定する場合は、この２つの追跡領域を、それぞれ「第１の追跡領域」、「第２追跡領域」として説明する。

図２は、追跡領域設定の原理を説明するための図である。
図２（１）には、元動画像を構成するフレーム画像の一例を示しており、このフレーム画像には、Ａ、Ｂの２人の人物が写し出されている。人物Ａを対象物として追跡を行う場合、例えば、人物Ａの上半身と下半身の２か所に追跡領域を設定する。本実施形態では、主として対象物の色情報を用いて対象物の追跡を行うが、人物Ａの上半身と下半身の２か所に追跡領域を設定する理由は、人が上半身に着用するシャツと、下半身に着用するズボンとは、異なる色をしている場合が多いためである。例えば、上半身のシャツの一部に第１の追跡領域Ｒ１を設定し、下半身のズボンの一部に第２の追跡領域Ｒ２を設定する。

人物Ａが人物Ｂと一緒にスポーツを行い、それをスマートフォン等の電子機器を用いて動画撮影したとする。そして、スポーツ中における人物Ａの動きを確認するために、人物Ａをクローズアップした動画を確認したい場合がある。これを実現するために、本実施形態では、上記のようにして図２（１）に示すように設定した第１の追跡領域Ｒ１と第２の追跡領域Ｒ２の色情報に基づいて、対象物である人物Ａを追跡する。具体的には、図２（２）に示すように、人物Ａが移動した場合に、図２（１）において設定した第１の追跡領域Ｒ１及び第２の追跡領域Ｒ２を基準とする追跡位置を推定することで、対象物である人物Ａを追跡する。

色情報取得部１２は、追跡領域設定部１１によって設定された追跡領域に含まれる画素の色情報を取得する。具体的には、色情報取得部１２は、追跡領域設定部１１によって設定された追跡領域の統計的な色の出現頻度を算出する。

本実施形態では、画素値がＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）色空間で表現され、Ｈ、Ｓ、Ｖの成分値がそれぞれ８ビットの０〜２５５の範囲であることとして説明する。この場合、色情報取得部１２は、一のフレーム画像における追跡領域に含まれる画素のＨ、Ｓ、Ｖの各成分それぞれについて、追跡領域内での当該成分の出現頻度を示すヒストグラムを生成する。そして、生成したヒストグラムと、別フレーム画像における追跡領域の近傍の所定範囲の領域（以下、「近傍領域」という。）の各画素の画素値（Ｈ、Ｓ、Ｖ）とに基づいて、フレーム画像中のどの座標値において追跡領域と同じ色が存在する確率が高いかを示す確率分布を算出する。別フレーム画像は、例えば一のフレーム画像に連続する次のフレーム画像とすればよい。

追跡領域の近傍領域に含まれる画素に基づいて確率分布を算出することにしているのは、
（１）追跡領域になるべく近い領域から追跡領域と同じ色の領域を探索したい。
（２）追跡処理に要するデータ処理量を削減したい。
の２つの理由があるためである。

図３は、色情報取得部１２によって算出される確率分布の一例を示す図であり、説明の簡明化のために、一次元の確率分布を示している。
この図には、横軸を確率変数ｘとし、縦軸を確率Ｐとする確率分布φ（ｘ）を図示している。確率変数ｘは、例えば、フレーム画像の横方向の座標値ｘに対応する。この確率分布φ（ｘ）は、どの座標値ｘに追跡領域と同じ色が存在する確率が高いかを示す確率分布関数であり、一番高い山の頂点に対応する座標値において追跡領域と同一の色が存在する確率が最も高いことを示している。但し、画像は２次元であるため、実際には、フレーム画像の２次元の座標値（ｘ、ｙ）を成分とする確率分布φ（ｘ、ｙ）が算出される。

本実施形態では、単色モデルと多色モデルと称する２種類の色モデルに基づいて、確率分布φ（ｘ、ｙ）を算出することが可能に構成されている。単色モデルは、追跡領域内の色分布の中で最も出現頻度の高い色を、追跡のための色情報として使用する色モデルである。つまり、単色モデルでは、単一の色情報を追跡に使用して、対象物を追跡するモデルである。但し、本実施形態では、単色モデルで追跡に使用する色のＨ、Ｓ、Ｖ成分それぞれについて一定範囲の幅を設けることとし、このＨ、Ｓ、Ｖ成分に一定範囲の幅を設けた色を追跡に使用する。

それに対し、多色モデルは、追跡領域内で一定の面積を占める特定領域内（例えば矩形領域）の全ての画素の色分布を、追跡のための色情報として使用する色モデルである。つまり、多色モデルでは、複数の色を含む特定領域の色情報を追跡に用いて、対象物を追跡するモデルである。

ここで、本実施形態における単色モデルでは、対象物が有する色のうちの単一の色を追跡に用いるが、上記のように、Ｈ、Ｓ、Ｖ成分に一定範囲の幅を設けた色を追跡に使用することで、光の変化に強くすることができる。Ｈ、Ｓ、Ｖ成分のうち、色の種類に相当するＨ（色相）成分は特に光の影響を受け易い。このため、Ｈ、Ｓ、Ｖ成分に一定範囲の幅を設けることで、光の影響を軽減している。このため、本実施形態における単色モデルは、屋外で撮像された動画像における対象物の追跡に適していると言える。

それに対し、本実施形態における多色モデルでは、対象物が持つ複数の色情報を追跡に用いるため、対象物が複数の色の組み合わせで表現されている場合における対象物の追跡に適している。これは、例えば対象物である人物の服装の色が、単色ではなく複数の色が組み合わされた模様となっている場合である。また、多色モデルは、上記の単色モデルと比較すると光の変化による影響を受け易いという特徴がある。このため、本実施形態における多色モデルは、屋内で撮像された動画像における対象物の追跡に適していると言える。

上記の理由から、動画像がどのような撮像環境で撮像された動画像であるかに応じて適用する色モデルを単色モデルと多色モデルとで切り替えて、対象物の追跡を行うようにすると好適である。その場合は、色情報取得部１２が対象物の追跡領域の色の分布の大小及び輝度変化の大小から、単色モデル、多色モデルの何れかを自動的に選択するように設定する。または、ユーザーが撮像環境及び対象物の追跡領域の色から判断して、図示しない操作部を操作して単色モデル、多色モデルの何れかを選択するように設定する。または、色情報取得部１２が対象物の追跡領域の色の分布の大小及び輝度変化の大小から選択した推奨モデルを表示画面に表示し、それを参照したユーザーが単色モデル、多色モデルの何れかを選択するように設定してもよい。または、表示画面にメニュー画面を表示し、ユーザーがメニュー画面の案内に従って、撮像環境が屋内か屋外か、対象物の追跡領域が単色か多色かを選択することで、単色モデル、多色モデルの何れかが選択されるように設定してもよい。なお、上記の用途で使用する表示画面及びユーザー操作を受け付ける操作部は、図１の画像処理装置１の内部に設けてもよいし、外部に設けて有線又は無線による通信手段で画像処理装置１に接続してもよい。

追跡位置推定部１４は、色情報取得部１２によって算出された確率分布φ（ｘ，ｙ）に基づき、Ｍｅａｎ−Ｓｈｉｆｔ法を利用して、追跡領域を基準とする追跡位置を推定する。また、追跡位置推定部１４は、追跡位置再推定部１６によって再推定された追跡位置に基づいて、追跡領域を基準とする追跡位置を推定する。追跡位置推定部１４によって推定された追跡位置を「推定追跡位置」という。なお、Ｍｅａｎ−Ｓｈｉｆｔ法それ自体は従来公知であり、例えば、本願出願人が先に出願した国際公開第２０１２／１２７６１８号においてＭｅａｎ−Ｓｈｉｆｔ法を利用した対象物の追跡手法が開示されているため、ここでは詳細な説明を省略する。

簡単に説明すると、単色モデルでは、追跡に使用する色（単一の色）と同一の色を有する画素を、対象とするフレーム画像内で最新の（前回の）推定追跡位置の近傍領域から探索する。この際、追跡に使用する色のＨＳＶの各成分それぞれを、近傍領域に含まれる画素のＨＳＶ成分とそれぞれ比較し、その比較結果に基づいて、各画素それぞれについて尤度を算出する。そして、算出した尤度が大きい画素、例えば、算出した尤度が最も大きい画素又は所定の閾値よりも大きい画素の位置を推定追跡位置とする。

それに対し、多色モデルでは、追跡に使用するＨＳＶ色空間内の色分布を追跡領域の色に関する確率分布とみなし、近傍領域に含まれる画素のＨＳＶ成分に該当する、当該確率分布の値を得ることで、各画素それぞれについて尤度を算出する。そして、算出した尤度が大きい画素、例えば、算出した尤度が最も大きい画素又は所定の閾値よりも大きい画素の位置を推定追跡位置とする。

追跡位置適否判定部１５は、追跡位置推定部１４によって求められた推定追跡位置の適否（適当な位置であるか否か）を判定する。具体的には、上記のようにして算出された尤度を用いて、第１の追跡領域を基準として推定された追跡位置（以下、「第１の推定追跡位置」という。）の信頼度と第２の追跡領域を基準として推定された追跡位置（以下、「第２の推定追跡位置」という。）の信頼度とをそれぞれ算出する。

ここで、推定追跡位置の信頼度は、当該推定追跡位置について算出された尤度そのものとしてもよいし、尤度に他の指標値、例えば、追跡領域から取得した色情報の動き量を加味した値としてもよい。そして、追跡位置適否判定部１５は、第１の推定追跡位置の信頼度及び第２の推定追跡位置の信頼度に基づいて、推定追跡位置の適否を判定する。また、追跡位置適否判定部１５は、第１の推定追跡位置と第２の推定追跡位置との相対的な位置関係に基づいて、推定追跡位置の適否を判定する。

追跡推定位置再推定部１６は、追跡位置適否判定部１５によって推定追跡位置が不適当と判定された場合に、追跡位置を再推定する。

出力枠設定部１７は、追跡領域設定部１１によって設定された追跡領域を含む出力枠を設定する。出力枠のサイズは、追跡領域及び対象物を包含する所定サイズとすると好適である。また、出力枠設定部１７は、追跡位置推定部１４によって推定された追跡位置に基づいて、追跡領域を含む出力枠を更新する。ここで、出力枠とは、フレーム画像内に表示され、対象物がそのメイン部分となるように、撮影された動画像から抽出されたサブフレームであり、出力領域と言うこともできる。また、その役割に関連付けて、追跡枠または照準枠と称してもよい。

照準動画像生成部１８は、元動画像メモリ２０に記憶された元動画像を用いて、出力枠設定部１７によって更新される出力枠に照準した動画像（以下、「照準動画像」という。）を生成する。すなわち、照準動画像は、出力枠を基準とした動画像であり、元動画像とは別の動画像として生成される。出力枠に注目した動画像であることから、照準動画像は、出力動画像、対象動画像、追跡動画像と称してもよい。

［１−２．処理の流れ］
図４は、画像処理装置１が実行する画像処理の流れの一例を示すフローチャートである。
最初に、元動画像取得部１０が、元動画像取得処理を実行する（Ａ１）。具体的には、元動画像メモリ２０に保存されている複数の元動画像の中から一の元動画像を取得する。または、図示しない入力部からリアルタイムで入力され、図示しない表示部にリアルタイムで表示される動画像（以下、リアルタイム動画像と称する）を以下の処理に使用してもよい。

次いで、追跡領域設定部１１が、追跡領域設定処理を実行する（Ａ３）。具体的には、Ａ１で取得された動画像を構成するフレーム画像のうち、対象物の追跡を開始するフレーム画像に第１の追跡領域と第２の追跡領域の２つの追跡領域を設定する。

具体的には、動画を再生中に、ユーザーが追跡領域設定を行う旨を入力した時点で動画を静止し、その静止フレーム画像を、対象物の追跡領域を設定し、追跡処理を開始する静止フレーム画像として設定すると好適である。
リアルタイム動画像の場合は、静止フレーム画像において対象物の追跡領域を設定する間に継続して入力されるリアルタイム動画像を元画像メモリ２０に記憶させておく。追跡領域設定の終了後に、静止フレーム画像はリアルタイム動画像に戻る。その際、静止フレーム表示中に元画像メモリ２０に記憶させたリアルタイム動画像に対して追跡処理を行って、追跡処理がリアルタイムの表示に追いつくようにすることが好ましい。なお、静止フレーム画像を表示する時間は、元画像メモリ２０の記憶容量に応じて、例えば５秒間と設定し、設定時間経過後は追跡領域設定を中断してリアルタイム再生に戻るように設定すると好適である。

追跡領域を設定する際は、第１の追跡領域と第２の追跡領域において違う色を設定するようにすることが好ましい。そのために、以下のような表示機能及びガイダンス機能を設けることが有効である。表示機能としては、まず、追跡領域設定部１１は、ユーザーが第１の追跡領域を設定後に、第１の追跡領域の色情報を図示しない表示画面に表示する。次に、ユーザーは、表示された第１の追跡領域の色情報を参考にして、第２の追跡領域を設定する。ここで、色情報の表示は、単色モードの場合は一つの色を、多色モードの場合は複数の色を、例えば文字情報として表示する。または、ユーザーが一見して視認できるように、色情報が青ならば青色のサブウィンドウ画面を表示画面に表示させる。また、第２の追跡領域を設定後に、第１の追跡領域の色情報と第２の追跡領域の色情報の両方を表示させ、第１及び第２の追跡領域の組み合わせが好適であるかどうかをユーザーに確認させるステップを設ける。組み合わせが好適であるとユーザーが判断した場合は、追跡領域設定を終了して、次の処理に移行する。組み合わせが好適ではないとユーザーが判断した場合は、追跡領域設定の再設定を行うようにする。
ガイダンス機能としては、ユーザーが第１の追跡領域を設定した後に、第１の追跡領域の色とは異なる色を持つ領域を第２の追跡領域として設定するように促す報知を行うようにする。また、ユーザーが第１及び第２の追跡領域を設定した後に、追跡領域設定部１１が第１及び第２の追跡領域の組み合わせが好適であるかどうかを判断し、好適でない場合は、追跡領域の再設定を促す報知を行うようにする。

図２（１）に示すように、同一の追跡対象物に対して第１及び第２の追跡領域を設定する場合は、これら２つの追跡領域は近傍にあることは明らかである。そのため、ユーザーが第１の追跡領域を設定した後、追跡領域設定部１１が第２の追跡領域の設定可能範囲を第１の追跡領域の近傍に限定してもよい。ユーザーが第２の追跡領域の設定可能範囲から外れた領域を第２の追跡領域として設定した場合は、追跡領域設定部１１が追跡領域設定エラー報知を行うようにする。また、設定可能範囲を矩形などの図形で静止フレーム画像上に重畳表示すると共に、ユーザーに第２の追跡領域の好適な設定を促す報知を行うようにしてもよい。このようにすることにより、ユーザーが誤って不適切な追跡領域設定を行うことを防止することが可能となる。

また、同一の追跡対象物に対して第１及び第２の追跡領域を設定する場合は、ユーザーが第１の追跡領域を設定した後、追跡領域設定部１１が第１の追跡領域の近傍から第２の追跡領域を自動的に選択することとしてもよい。このような場合は、第１の追跡領域とは異なる（例えば二つの追跡処理を区別可能な程度に十分に異なる）色情報となるような領域を第２の追跡領域として設定することが好ましい。
なお、ユーザーが第１及び第２の追跡領域の両方を設定するか、ユーザーが第１の追跡領域を設定し、追跡領域設定部１１が第２の追跡領域を設定するかは、表示画面にメニューを表示して、ユーザーに予め選択させるようにすればよい。

対象物を公知の人物検出、顔検出方法等によって検出した後、上記の追跡領域設定を行うようにしてもよい。検出された対象物が一つである場合は、追跡領域設定部１１が自動的にその対象物を追跡対象物として設定する。検出された対象物が複数の場合は検出した対象物をそれぞれ含む矩形等の図形（以下、対象物検出枠と称する）を静止フレーム画像上に重畳表示させ、ユーザーが所望の対象物を追跡対象物として選択するようにすればよい。

上記の対象物検出は、静止フレーム画像が設定された直後に自動的に行うようにすると好適である。または、動画を再生中に、ユーザーが追跡領域設定を行う旨を入力した時点から所定の時間周期、例えば５秒毎に、上記の対象物検出及び対象物検出枠の表示を自動的に行うように設定してもよい。このように、所定の時間周期で動画像上に対象物検出枠を重畳表示することで、ユーザーに対して動画像中のどの位置に追跡領域の候補があるかを報知することができる。

対象物検出の結果を利用して、追跡領域の設定及び単色モデル、多色モデルの選択を、対象物の種類に応じて自動的に行うようにしてもよい。例えば、検出された対象物が人物であれば、第１の追跡領域をその人物の上半身の位置に、第２の追跡領域をその人物の下半身の位置となるように、２つの追跡領域を追跡領域設定部１１が自動的に選択する。また、例えば検出された対象物が人物であれば多色モデルで追跡領域は二つと設定し、検出された対象物が自動車であれば単色モデルで追跡領域は一つと設定する。ユーザーが上記のように自動的選択されたを変更したい場合は、画像処理装置１が追跡処理を実行する前に変更できるようにすると好適である。

その後、色情報取得部１２が、色情報取得処理を実行する（Ａ５）。具体的には、Ａ３で設定された第１の追跡領域及び第２の追跡領域の２つの追跡領域それぞれについて、当該追跡領域に含まれる画素のＨ、Ｓ、Ｖ成分及び座標値に基づいて、単色モデル又は多色モデルに基づき確率分布φ（ｘ，ｙ）を算出する。

次いで、出力枠設定部１７が、初期出力枠設定処理を実行する（Ａ７）。具体的には、例えば、Ａ３で設定された第１の追跡領域と第２の追跡領域とを包含する所定サイズの出力枠を設定する。出力枠のサイズは、第１の追跡領域と第２の追跡領域及び対象物を包含するサイズとすると好適である。また、第１の追跡領域と第２の追跡領域は、出力枠の中心付近に包含されることが好適である。そのため、第１の追跡領域の中心位置と第２の追跡領域の中心位置とを結ぶ線分の中点に対応する座標値が、所定サイズの出力枠の中心または中心から所定の範囲内となるように初期出力枠を設定するようにしてもよい。その後、追跡処理の実行を開始する（Ａ９）。

図５は、追跡処理の流れの一例を示すフローチャートである。
最初に、画像処理装置１は、現在のフレーム画像の次のフレーム画像（次のフレーム画像のデータ）を取得し、取得したフレーム画像を対象フレーム画像とする（Ｂ１）。

次いで、追跡位置推定部１４が、追跡位置推定処理を実行する（Ｂ３）。具体的には、Ｂ１で取得した対象フレーム画像について、第１の追跡領域及び第２の追跡領域それぞれについて、確率分布φ（ｘ，ｙ）に基づくＭｅａｎ−Ｓｈｉｆｔ法を利用して、追跡位置を推定する。

その後、出力枠設定部１７は、出力枠更新フラグが「ＯＦＦ」であるか否かを判定する（Ｂ５）。出力枠更新フラグは、出力枠を更新するか否かを示すフラグであり、初期設定では「ＯＮ」に設定されており、後述する追跡位置再推定処理が実行された場合に「ＯＦＦ」に設定される。

出力枠更新フラグが「ＯＦＦ」であると判定したならば（Ｂ５；Ｙｅｓ）、出力枠設定部１７は、追跡位置推定処理で求められた第１の推定追跡位置と第２の推定追跡位置との中点に対応する位置（以下、「中点位置」という。）を算出し、算出した中点位置が出力枠に含まれるか否かを判定する（Ｂ７）。ここで、この判定は算出した中点位置が出力枠を基準とした所定範囲内、例えば、出力枠から所定距離の範囲内又は出力枠の中心から所定距離の範囲内に含まれるかどうかで判定してもよい。即ち、算出した中点位置は出力枠の外側であっても、出力枠の更新が可能な程度に出力枠の近くに位置していればよい。

算出した中点位置が出力枠に含まれると判定したならば（Ｂ７；Ｙｅｓ）、出力枠設定部１７は、出力枠更新フラグを「ＯＮ」に設定する（Ｂ９）。一方、Ｂ５において出力枠更新フラグが「ＯＦＦ」ではないと判定した場合（Ｂ５；Ｎｏ）、又は、Ｂ７において中点位置が出力枠に含まれないと判定したならば（Ｂ７；Ｎｏ）、追跡位置適否判定処理（Ｂ１１）へと処理を移す。

その後、追跡位置適否判定部１５が、追跡位置適否判定処理を実行する（Ｂ１１）。具体的には、第１の適否判定条件として、前述した第１の推定追跡位置の信頼度と第２の推定追跡位置の信頼度とがそれぞれ所定の閾値信頼度以上（又は閾値信頼度超）となる高信頼度条件を満たすか否かを判定する。また、第２の適否判定条件として、第１の推定追跡位置と第２の推定追跡位置との間の距離が所定の閾値距離以下（又は閾値距離未満）となる近距離条件を満たすか否かを判定する。第１の適否判定条件と第２の適否判定条件の両方が成立した場合には、推定追跡位置は適当であると判定し、少なくとも何れか一方の適否判定条件が成立しない場合には、推定追跡位置は不適当であると判定する。

図２で説明したように、例えば、人物の上半身と下半身との２か所に追跡領域を設定した場合、人物が移動しても上半身と下半身との相対的な位置関係は変化しないため、第１の追跡領域と第２の追跡領域との相対的な位置関係も変化しないはずである。そこで、第２の適否判定条件では、第１の推定追跡位置と第２の推定追跡位置との間の距離が近距離条件を満たすか否かを判定することにしている。

なお、上記のように、第１の適否判定条件と第２の適否判定条件との２つの適否判定条件に基づいて推定追跡位置の適否判定を行うのではなく、何れか一方の適否判定条件のみに基づいて推定追跡位置の適否判定を行うようにしてもよい。例えば、第２の適否判定条件のみに基づいて推定追跡位置の適否判定を行うようにしてもよい。

また、第１の適否判定条件として第１の推定追跡位置の信頼度と第２の推定追跡位置の信頼度の合計値が所定の閾値以上となるか否かによって適否判定を行うようにしてもよい。さらに、信頼度に重みを設定することも効果的である。例えば、第２の追跡位置の信頼度よりも第１の追跡位置の信頼度に重みを付け、２つの信頼度の合計値が閾値以上となるか否かによって適否判定を行うようにすると好適である。重みの設定は、ユーザーが第１または第２の追跡位置の信頼度の何れかに、より重みを付けるかを選択するようにしてもよいし、追跡位置適否判定部１５が自動的に行うようにしてもよい。自動的に行う場合は、例えば対象物が人物の場合は、下半身に設定した第２追跡領域よりも上半身に設定した第１追跡領域をより重要とする設定を予め行っておき、その設定情報を基に、追跡位置適否判定部１５が、第２の追跡位置の信頼度よりも第１の追跡位置の信頼度に重みを付けるように設定すればよい。このようにすることにより、第１及び第２の推定追跡位置の信頼度を含んだ総合的な追跡位置適否判定を行うことが可能となる。

追跡位置適否判定処理の判定結果が適当であった場合には（Ｂ１３；適当）、追跡位置推定部１４は、Ｂ３で新たに推定された推定追跡位置の座標値で、記憶されている推定追跡位置の座標値を更新する（Ｂ１５）。

その後、出力枠設定部１７は、出力枠更新フラグが「ＯＮ」であるか否かを判定し（Ｂ１７）、「ＯＮ」であると判定したならば（Ｂ１７；Ｙｅｓ）、Ｂ１５で更新された追跡領域の座標値に基づいて、現在設定されている出力枠を更新する（Ｂ１９）。具体的には、例えば、直近の所定数（例えば過去１５個）のフレーム画像について推定された追跡位置を平均演算した位置を中心位置とする所定サイズの出力枠の表示位置を算出し、算出した出力枠で、現在設定されている出力枠を更新する。出力枠のサイズ設定について、詳しくは後述するが、ユーザーが所定の範囲内で任意に設定可能としてもよい。

次いで、画像処理装置１は、現在のフレーム画像の次のフレーム画像（次のフレーム画像のデータ）を取得し、取得したフレーム画像を対象フレーム画像として（Ｂ２１）、追跡位置推定処理（Ｂ３）に処理を戻す。

一方、追跡位置適否判定処理の判定結果が不適当であった場合には（Ｂ１３；不適当）、追跡位置再推定部１６が、追跡位置再推定処理を実行する（Ｂ２３）。

図６は、追跡位置再推定処理の流れの一例を示すフローチャートである。
追跡位置再推定部１６は、第１の追跡領域の色情報と、第２の追跡領域の色情報とに基づいて、対象フレーム画像について、第１の追跡領域及び第２の追跡領域それぞれについて、全範囲探索を実行して、第１の追跡位置と第２の追跡位置とを再推定する（Ｃ１）。具体的には、対象フレーム画像について追跡領域の色に類似する色を有する領域を、対象フレーム画像の中から探索する。

次いで、追跡位置再推定部１６は、Ｃ１の全範囲探索によって再推定された追跡位置（以下、「再推定追跡位置」という。）について、第１の追跡領域を基準として再推定された追跡位置（以下、「第１の再推定追跡位置」という。）と、第２の追跡領域を基準として再推定された追跡位置（以下、「第２の再推定追跡位置」という。）とが近距離条件を満たす追跡位置が見つかったか否かを判定する（Ｃ３）。

近距離条件を満たす追跡位置が見つからなかったと判定したならば（Ｃ３；Ｎｏ）、追跡位置再推定部１６は、対象フレーム画像の次のフレーム画像（次のフレーム画像のデータ）を取得し、取得したフレーム画像を対象フレーム画像として（Ｃ５）、Ｃ１に処理を戻す。

一方、近距離条件を満たす追跡位置が見つかったと判定したならば（Ｃ３；Ｙｅｓ）、追跡位置再推定部１６は、再推定追跡位置の座標値で、現在記憶されている推定追跡位置の座標値を更新する（Ｃ７）。そして、追跡位置再推定部１６は、追跡位置再推定処理を終了する。

なお、本実施形態においては、説明を簡便にするために全範囲探索を行うと説明しているが、探索の範囲は必ずしも対象フレーム画像の全範囲である必要はない。すなわち、追跡位置推定処理（Ｂ３）において最初に設定した第１の追跡位置または第２の追跡位置の近傍から探索を実行して再推定を行い、近距離条件を満たす追跡位置が見つかった時点で探索を終了すればよい。具体的には、まず、最初に設定した第１の追跡位置または第２の追跡位置の近傍の所定範囲内を探索し、近距離条件を満たす追跡位置が見つかったか否かを判定する（Ｃ３）。近距離条件を満たす追跡位置が見つからなかったと判定したならば（Ｃ３；Ｎｏ）、その後さらに探索範囲を広げて探索を行い、近距離条件を満たす追跡位置が見つかったか否かを判定する（Ｃ３）。近距離条件を満たす追跡位置が見つかったと判定された時点で（Ｃ３；Ｙｅｓ）、探索を終了し、追跡位置再推定部１６は、再推定追跡位置の座標値で、現在記憶されている推定追跡位置の座標値を更新する（Ｃ７）。
また、ユーザーが探索範囲を指定し、追跡位置再推定部１６が指定された探索範囲の探索を行うようにしてもよい。

図５に戻り、追跡位置再推定処理を実行したならば、出力枠設定部１７が、出力枠更新フラグを「ＯＦＦ」に設定する（Ｂ２５）。そして、Ｂ２１に処理を移す。

追跡位置適否判定処理の判定結果は不適当であるということは（Ｂ１３；不適当）、追跡位置の推定が正しく行われなかったことを意味する。本明細書では、このように追跡位置の推定が正しく行われなかったことを「ロスト」と称する。

ロストが発生するのは、主に対象物以外の物体が対象物と重なり、当該物体が対象物の手前側に位置することとなった結果、手前側の物体によって背後の対象物が隠れて見えなくなる、いわゆる「オクルージョン」が発生する場合である。本実施形態では、対象物の色情報に基づいて追跡を行うため、手前側に位置することとなった物体の色が対象物の色と類似している場合、手前側の物体を対象物と誤認し、追跡対象が当該物体に移ってしまう場合がある。

そこで、この場合には、追跡位置再推定処理を実行して（Ｂ２３）、追跡位置を再推定する。ここで、追跡位置再推定処理では、追跡領域の色情報に基づく全範囲探索を行って追跡位置を再推定するが、このようにして再推定される追跡位置は、必ずしも対象物が存在する位置となっているとは限らない。このため、出力枠更新フラグを「ＯＦＦ」に設定することで（Ｂ２５）、出力枠が更新されないようにする（Ｂ１９）。つまり、出力枠の更新を中断し、その位置に出力枠を固定する。

しかし、追跡位置を再推定した後、順次に次のフレーム画像を読み出して追跡位置推定処理で追跡位置を推定した際に（Ｂ３）、対象物が移動したことなどに起因して、新たに推定された追跡位置が、ロスト前の最後の出力枠に再度含まれることになる場合がある（Ｂ７；Ｙｅｓ）。そこで、この場合には、出力枠更新フラグを「ＯＮ」に設定することで（Ｂ９）、出力枠が再び更新されるようにする。つまり、固定していた出力枠の更新を再開する。なお、上述したように、追跡位置が出力枠に含まれるかどうかの判定（Ｂ７）は、中点位置が出力枠を基準とした所定範囲内、例えば出力枠から所定距離の範囲内又は出力枠の中心から所定距離の範囲内に含まれるかどうかで判定してもよい。

また、上記の説明では、追跡位置適否判定処理の判定結果が不適当であった場合には（Ｂ１３；不適当）、追跡位置再推定部１６が、追跡位置再推定処理を実行する（Ｂ２３）として説明したが、以下のような処理を実行してもよい。追跡位置適否判定処理の判定結果が不適当であった場合（Ｂ１３；不適当）、画像処理装置１が、現在のフレーム画像の次のフレーム画像（次のフレーム画像のデータ）を取得し、取得したフレーム画像を対象フレーム画像として（Ｂ２１）、追跡位置推定処理（Ｂ３）に処理を戻すようにする。次のフレーム画像についての追跡位置適否判定処理の判定結果が不適当であった場合には（Ｂ１３；不適当）、判定結果が適当となるまで（Ｂ１３；適当）、画像処理装置１は、さらに次のフレーム画像を取得し、取得したフレーム画像を対象フレーム画像として（Ｂ２１）、追跡位置推定処理（Ｂ３）に処理を戻す処理を繰り返すようにしてもよい。また、追跡位置適否判定処理の判定結果が適当となるまでの間は、現在のフレーム画像の表示を続けるようにする。さらに、この繰り返し処理が所定の回数以上となった場合、追跡位置をロストしたと判定し、追跡位置再推定部１６が、追跡位置再推定処理を実行する（Ｂ２３）ようにすると好適である。

図４に戻り、追跡処理の実行を開始した後、照準動画像生成部１８が、照準動画像生成処理を実行する（Ａ１１）。具体的には、元動画像を構成するフレーム画像から、追跡処理で設定・更新された出力枠が中心付近に位置するように出力枠を含む出力対象領域（例えば規定サイズの矩形領域）を切り取ったサブフレーム画像を生成する処理を、元動画像を構成するフレーム画像それぞれについて実行し、これら一連のサブフレーム画像で構成される動画像を照準動画像として生成する。そして、画像処理装置１は、画像処理を終了する。

図７は、出力枠の説明図である。これらの図には、図２と同様に、人物Ａ及び人物Ｂを含む動画像を構成するフレーム画像を示している。

図７（１）に示すように、追跡領域設定処理において、人物Ａの上半身に第１の追跡領域Ｒ１が、下半身に第２の追跡領域Ｒ２がそれぞれ設定されることで（図４のＡ３）、第１の追跡領域Ｒ１の色情報と第２の追跡領域Ｒ２の色情報とがそれぞれ取得され（図４のＡ５）、第１の追跡領域Ｒ１と第２の追跡領域Ｒ２と人物Ａとを包含するような矩形で示される初期出力枠Ｆ０が設定される（図４のＡ７）。

なお、出力枠のサイズについては、ユーザーが所定の範囲内で所望のサイズに設定可能とすると好適である。また、出力枠を所定のサイズで表示した後、ユーザーが所定の範囲内で所望のサイズに変更できるようにしてもよい。

出力枠を所定のサイズで表示する場合は、例えば、第１の推定追跡位置と第２の推定追跡位置間の距離に対応したサイズとすればよい。その場合は、例えば、第１の推定追跡位置と第２の推定追跡位置間の距離の４倍の長さを出力枠の縦の長さとし、２倍の長さを横の長さに設定する。また、出力枠のサイズ設定値を元動画像に関連付けて元画像メモリ２０に記憶しておき、同じ元画像を使用する場合は、過去に使用した出力枠のサイズ設定値をデフォルト値として使用するようにしてもよい。

その後、次のフレーム画像について追跡位置推定処理が実行され、第１の推定追跡位置Ｐ１と第２の推定追跡位置Ｐ２とが求められる（図５のＢ３）。その結果、第１の推定追跡位置Ｐ１の信頼度と第２の推定追跡位置Ｐ２の信頼度とが高信頼度条件を満たし、且つ、第１の推定追跡位置Ｐ１と第２の推定追跡位置Ｐ２との間の距離ｄが近距離条件を満たす場合には、追跡位置適否判定処理において適否判定条件が成立したと判定され、推定追跡位置は適当であると判定される（図５のＢ１３；適当）。この場合は、新たな推定追跡位置の座標値で前回の推定追跡位置の座標値が更新される（図５のＢ１５）。そして、更新された推定追跡位置の座標値に基づいて、図７（２）に示すように、初期出力枠Ｆ０が新たな出力枠Ｆ１に更新される（図５のＢ１７；Ｙｅｓ→Ｂ１９）。

その後、図７（３）に示すように、さらに次のフレーム画像について追跡位置推定処理が実行され、第１の推定追跡位置Ｐ１と第２の推定追跡位置Ｐ２とが求められる（図５のＢ３）。この場合、人物Ｂが人物Ａの手前側に移動することによって人物Ａが背後に隠れて見えなくなるオクルージョンが発生し、例えば、人物Ｂの下半身に第２の推定追跡位置Ｐ２が求められてしまったとする。そして、その結果、第１の推定追跡位置Ｐ１と第２の推定追跡位置Ｐ２との間の距離ｄが近距離条件を満たさなくなったとする。この場合は、追跡位置適否判定処理において適否判定条件が成立しないと判定されるため、推定追跡位置は不適当であり、人物Ａをロストした状態と判定される（図５のＢ１３；不適当）。この場合、追跡位置再推定処理が実行されるが（図５のＢ２３）、出力枠更新フラグが「ＯＦＦ」に設定されることで（図５のＢ２５）、図７（３）に示すように、出力枠Ｆ１の更新が中断され、出力枠Ｆ１はその位置で固定される。すなわち、出力枠Ｆ１の位置は、図７（２）に示した位置と同じ位置で維持されるため、図７（３）の出力枠Ｆ１には人物Ａは表示されない状態となる。

ここで、追跡対象物ロスト後の表示を以下のようにしてもよい。すなわち、ロストした時点で出力枠Ｆ１を固定するのではなく、ロストした時点から所定の時間の間は、ロストする直前の動きを継続して、徐々に動きが遅くなってから止まるような表示とする。さらに、動きが遅くなるとともに、出力枠Ｆ１のサイズを徐々に大きくするようにし、最終的にはフレーム画像全体に出力枠Ｆ１を表示するようにしてもよい。出力枠Ｆ１のサイズ拡大中に、再度追跡位置適否判定処理において適否判定条件が成立した場合は、出力枠Ｆ１のサイズを拡大前の元のサイズに戻す。その際、急激にサイズを戻すのではなく、所定の時間をかけて徐々に戻すようにすると好適である。また、拡大については、ロストした時点でフレーム画像全体に出力枠Ｆ１を表示するようにしてもよい。

その後は、図７（４）に示すように、出力枠Ｆ１は更新されず、追跡位置再推定処理で再推定された再推定追跡位置に基づいて、追跡位置推定処理が実行されることになる（図５のＢ２３→Ｂ２５→Ｂ３）。そして、図７（５）に示すように、追跡位置推定処理で得られた第１の推定追跡位置Ｐ１と第２の推定追跡位置Ｐ２との中点位置Ｐｃが出力枠Ｆ１に含まれることとなった場合には（図５のＢ５；Ｙｅｓ→Ｂ７；Ｙｅｓ）、出力枠更新フラグが「ＯＮ」に設定されることで（図５のＢ９）、出力枠Ｆ１の固定が解除され、出力枠Ｆ１の更新が再開される。

その後、追跡位置推定処理で求められた第１の推定追跡位置Ｐ１の信頼度と第２の推定追跡位置Ｐ２の信頼度とが高信頼度条件を満たし、且つ、第１の推定追跡位置Ｐ１と第２の推定追跡位置Ｐ２との間の距離ｄが近距離条件を満たす場合には、推定追跡位置は適当であると判定される（図１５のＢ１３；適当）。この場合、今回推定された追跡位置の座標値で、推定追跡位置の座標値が更新される（図５のＢ１５）。そして、図７（６）に示すように、出力枠Ｆ１が新たな出力枠Ｆ２に更新される（図５のＢ１９）。
以降は、この繰り返しである。

［１−３．作用効果］
画像処理装置１は、元動画像を構成するフレーム画像において追跡領域を設定する追跡領域設定部１１と、追跡領域設定部１１によって設定された追跡領域の色情報を取得する色情報取得部１２と、色情報取得部１２によって取得された色情報を用いて、追跡領域を基準とする追跡位置をフレーム画像毎に順次に推定する追跡位置推定部１４と、追跡領域設定部１１によって設定された追跡領域を含む出力枠を設定し、追跡位置推定部１４によって追跡位置が順次に推定される毎に、推定された追跡位置に基づいて出力枠を更新する出力枠設定部１７と、元動画像を用いて、出力枠設定部１７によって順次に更新される出力枠に照準した照準動画像を生成する照準動画像生成部１８と、を備える。

これによれば、対象物の追跡結果を、対象物に照準した照準動画像として提供することが可能となる。

［１−４．変形例］
［１−４−１．形状追跡］
図８は、上記の画像処理装置１の機能構成の別の一例を示している。この画像処理装置１は、図１で説明した機能部の他に、形状情報取得部１３を備えて構成される。

形状情報取得部１３は、追跡領域設定部１１によって設定された追跡領域の形状情報を取得する。形状情報は、追跡領域の形状をモデル化したものであり、例えば、追跡領域を所定の縮尺で縮小した画像の画素値のデータで構成される。

この場合、追跡位置推定部１４は、追跡位置推定処理において、対象フレーム画像について、１つ前のフレーム画像について推定追跡位置に基づいて更新された追跡領域の近傍所定範囲から、パターンマッチング等の手法を用いて、追跡領域の形状に最も類似する形状を有する領域（以下、「形状類似領域」という。）を推定する。

次いで、追跡位置推定部１４は、形状類似領域の中心位置の座標値（ｘ´、ｙ´）を特定する。そして、追跡位置推定部１４は、色情報取得部１２によって取得された色モデルに基づき算出されるフレーム画像の画素値（ｘ、ｙ）を成分とする確率分布φ（ｘ、ｙ）と、形状類似領域の中心位置の座標値（ｘ´、ｙ´）とを用いて、次式（１）に従って、追跡領域の推定に用いる第２の確率分布φ´（ｘ、ｙ）を算出する。
φ´（ｘ、ｙ）＝Ｇ（ｘ、ｙ；ｘ´、ｙ´、σ）＊φ（ｘ、ｙ）・・（１）

ここで、“Ｇ（ｘ、ｙ；ｘ´、ｙ´、σ）”は、平均を（ｘ´、ｙ´）、分散を“σ^２”とする２次元の正規分布を示すガウス関数である。また、“＊”は、畳み込み演算（コンボリューション）を示す。つまり、第２の確率分布φ´（ｘ、ｙ）は、色モデルに基づく確率分布に、形状モデルに基づくガウス分布を畳み込み演算することで算出される。

この場合、追跡位置推定部１４は、第２の確率分布φ´（ｘ、ｙ）に基づき、Ｍｅａｎ−Ｓｈｉｆｔ法を利用して、追跡位置を推定する。この場合、式（１）で示される第２の確率分布φ´（ｘ、ｙ）における分散σ^２の値を小さく設定して追跡位置を推定することで、追跡領域の形状を強く反映させた追跡領域の推定を行うことができる。つまり、対象物の形状を重視した追跡領域の推定を行うことが可能となる。

上記の色情報と形状情報とを併用した追跡領域の推定は、どの方向から見ても色及び形状が変化しにくい対象物を追跡する際に特に有用である。例えば、ある人物がボール競技（バスケットボール等）を行っている場面を撮像した動画像について対象物の追跡を行う場合に、ボールの色や形状はどの方向から見ても変化しないため、例えばフレーム画像においてボールが写し出された領域を追跡領域として設定して、ボールを対象物として追跡する追跡処理を実行するようにしてもよい。この場合、ボールの色が一色であるならば、色モデルとして、多色モデルではなく、単色モデルを用いて追跡処理を実行するようにすると好適である。

上記の他にも、移動する剛体（例えば自動車）に追跡領域を設定して、この剛体を追跡物として、追跡処理を実行するようにしてもよい。

［１−４−２．優先度の設定］
１つの対象物に複数の追跡領域を設定するのではなく、複数の対象物に追跡領域を設定するようにしてもよい。例えば、上記のように、ある人物がボール競技を行っている場面を撮像した元動画像について対象物の追跡を行う場合に、人物の一部分とボールの一部分とに第１の追跡領域及び第２の追跡領域をそれぞれ設定し、人物とボールとを対象物として、追跡処理を実行するようにしてもよい。

この場合、人物に設定された第１の追跡領域とボールに設定された第２の追跡領域とが、それぞれの色情報に基づいて追跡されるが、人物とボールとの位置関係は随時変化するものと考えられる。つまり、人物とボールとは、互いに近づいたり、互いに遠のいたりする。このため、人物の位置とボールの位置とが大きく離れたような場合には、人物について求められた第１の推定追跡位置と、ボールについて求められた第２の推定追跡位置との間の距離があまりに大きくなってしまうため、ユーザーが注目したいシーン（ボール周りのプレイ等）を接写状態で閲覧することができなくなるおそれがある。

そこで、画像処理装置１の機能部として、優先度設定部を構成してもよい。
優先度設定部は、対象物に追跡の優先度を設定する。そして、出力枠設定部１７が、優先度設定部によって設定された優先度に基づいて、更新する出力枠を決定する。この場合、追跡の優先度の他に、複数の対象物間の最大許容距離を設定するようにしてもよい。上記の例では、人物とボールに追跡の優先度を設定し、また、人物とボールとの間の最大許容距離を設定する。そして、人物について推定された追跡位置とボールについて推定された追跡位置との間の距離が最大許容距離を超えていない場合には、両方の対象物を包含するように出力枠を更新し、最大許容距離を超えている場合には、優先度の高い方の対象物を包含するように出力枠を更新する。

なお、追跡領域を設定する対象物が何れも形状が変化するものである場合には、色情報のみを用いた追跡処理を適用し、追跡領域を設定する対象物が何れも形状が変化しないものである場合には、形状情報のみを用いた追跡処理を適用し、追跡領域を設定する対象物の何れかに形状が変化する対象物が存在する場合には、色情報と形状情報とを併用した追跡処理を適用するといったように、対象物の性質に応じて、適用する追跡処理を切り替えるようにしてもよい。

また、対象物の形状が変化する場合であっても、例えば、毎フレーム毎に対象物の形状情報を更新するようにすることで、形状情報を用いた追跡処理を適用することも可能である。

［１−４−３．適否判定条件］
上記の追跡位置適否判定処理における適否判定条件として、例えば、第１の推定追跡位置と第２の推定追跡位置との上下の関係が逆転しないことを定めておいてもよい。例えば、前述したように、人物の上半身と下半身との２か所に追跡領域を設定して追跡処理を実行する場合、人物が移動しても、上半身と下半身とが逆となるケースは少ないと考えられる。

そこで、上半身に設定された追跡領域について推定された第１の推定追跡位置と、下半身に設定された追跡領域について推定された第２の推定追跡位置との上下の関係を判定する。そして、上下の関係が逆転していない場合に、追跡位置の推定結果は適当であると判定するようにしてもよい。

なお、場合によっては、人物の上半身と下半身との上下の関係が逆転する場合も有り得る。例えば、人物が体操競技を行う場合において、床競技や鉄棒競技では、上半身と下半身との上下の関係が逆転する場合がある。このため、この場合には、上記の適否判定条件を適用しない方がよい。従って、どのような場面において対象物の追跡を行うかに応じて、適否判定条件を適宜設定変更可能にすると好適である。

［１−４−４．例外処理］
追跡位置を推定する場合の例外処理として、以下に説明するような例外処理を適用することとしてもよい。

（Ａ）推定追跡位置の何れか一方の信頼度が高信頼度条件を満たさない場合
第１の推定追跡位置と第２の推定追跡位置との２つの推定追跡位置の何れか一方の信頼度が高信頼度条件を満たさない場合には、信頼度が高信頼度条件を満たさない方の推定追跡位置がロスト状態となったと判定し、信頼度が高信頼度条件を満たす方の推定追跡位置を正しい追跡位置として、当該追跡位置のみについて追跡を継続するようにするようにしてもよい。これは、第１の推定追跡位置と第２の推定追跡位置の何れか一方がロスト状態となった場合に一律に推定追跡位置を不適当として追跡位置再推定処理を実行することにしてしまうと、それまでの追跡が無駄になってしまうためである。

（Ｂ）推定追跡位置が近距離条件を満たさない場合
第１の推定追跡位置と第２の推定追跡位置との間の距離が近距離条件を満たさない場合には、以下の２つの追跡位置探索処理を実行する。
（１）第２の推定追跡位置を含む第２の追跡領域の上側に一定範囲の探索領域を設定し、この探索領域内で、第１の推定追跡位置を探索する第１の追跡位置探索処理を実行する。
（２）第１の推定追跡位置を含む第１の追跡領域の下側に一定範囲の探索領域を設定し、この探索領域内で、第２の推定追跡位置を探索する第２の追跡位置探索処理を実行する。

上記の２つの処理を実行することにより、追跡位置推定処理で推定された第１の推定追跡位置及び第２の推定追跡位置と、追跡位置探索処理で探索された第１の探索追跡位置及び第２の探索追跡位置との、合計４つの追跡位置が得られる。

そして、これら４つの追跡位置について、＜第１の推定追跡位置、第２の探索追跡位置＞、＜第１の探索追跡位置、第２の推定追跡位置＞の２つの組合せの中から、確率分布に基づき算出される信頼度が最も低いものが含まれていない組合せを選択し、選択した組合せに含まれる追跡位置をそれぞれ新たな第１の推定追跡位置及び第２の推定追跡位置として、追跡を継続する。

［１−４−５．追跡位置の再推定］
リアルタイムに元動画像が入力され、且つ、リアルタイムに出力が求められる場合でなければ、追跡処理を後処理として実行することが可能である。そこで、追跡位置再推定部１６が、出力枠の更新が再開されたタイミングから更新が中断されたタイミングまで遡って、追跡位置を再推定するようにしてもよい。

具体的には、追跡位置再推定部１６は、ロストが発生した際の追跡位置の推定に利用していた色情報を用いて、Ｍｅａｎ−Ｓｈｉｆｔ法を利用した追跡処理を実行して、出力枠の更新が中断されてから再開されるまでの期間における追跡位置を、時間を遡って再推定する。これを図７を用いて説明すると、追跡が再開されたフレームである図７（５）から、その前のフレームである図７（４）、さらに前のロストが発生したフレームである図７（３）の順に時間を遡って追跡位置の再推定を行うことを意味する。

また、時間を遡って追跡位置を再推定することで、人物や自動車などの対象物が過去においてどのような挙動をしていたかを閲覧することが可能となる。その場合は、対象物及び追跡領域の設定を行い、さらに閲覧対象とする過去の時間を、元画像メモリ２０の記憶容量に応じて例えば現在から過去１分間に設定する。それらの情報を基に、追跡位置再推定部１６は上記の方法で追跡処理を実行して、現在から過去１分間の期間における追跡位置を再推定する。再推定が完了すれば、過去一分前から現在までの対象物の動きを動画表示することが可能である。この方法によれば、現在表示されているフレームにおいて対象物及び追跡領域の設定を行うため、過去一分前のフレームを表示して対象物及び追跡領域を設定するよりも、ユーザーにとって効率がよく、使いやすいという利点がある。

［１−４−６．出力枠の位置の修正］
Ｍｅａｎ−Ｓｈｉｆｔ法を利用した追跡処理を行うと、どうしても推定追跡位置が細かく変動するノイズが残ってしまう傾向がある。このようにして求められた推定追跡位置に基づいて出力枠を更新した場合、生成される照準動画像においてがたつきが生ずる要因となる。

そこで、画像処理装置１の機能部として、出力枠位置修正部を構成してもよい。
出力枠位置修正部は、フレーム画像間の出力枠の座標の変化に基づいて、フレーム画像間の出力枠の動き量を算出する。そして、出力枠修正部は、直近の過去所定分（例えば過去３０フレーム分）の出力枠の動き量を平均処理し、この平均処理で得られた平均動き量に基づいて、フレーム画像毎に更新された出力枠の位置を修正する。このようにして位置が修正された出力枠に照準した照準動画像を照準動画像生成部１８が生成することで、がたつきのない照準動画像を提供することが可能となる。

［２．実施例］
次に、上記の画像処理装置１を備える電子機器の一例として、スマートフォン２の実施例について説明する。但し、本発明を適用可能な実施例が、以下説明する実施例に限定されるわけでないことは勿論である。

［２−１．機能構成］
図９は、スマートフォン２の機能構成の一例を示すブロック図である。
スマートフォン２は、処理部１００と、操作部２００と、表示部３００と、音出力部４００と、撮像部５００と、通信部６００と、時計部７００と、記憶部８００とを備える。

処理部１００は、記憶部８００に記憶されているシステムプログラム等の各種プログラムに従ってスマートフォン２の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

処理部１００は、主要な機能部として、追跡領域設定部１１０と、色情報取得部１２０と、形状情報取得部１３０と、追跡位置推定部１４０と、追跡位置適否判定部１５０と、追跡位置再推定部１６０と、出力枠設定部１７０と、照準動画像生成部１８０と、表示制御部１９０とを有する。追跡領域設定部１１０〜照準動画像生成部１８０は、図８の画像処理装置１の機能部である追跡領域設定部１１〜照準動画像生成部１８にそれぞれ対応している。

操作部２００は、操作ボタンや操作スイッチ、マウスといった、ユーザーがスマートフォン２に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部２００は、表示部３００と一体的に構成されたタッチパネル２５０を有し、このタッチパネル２５０はユーザーとスマートフォン２との間の入力インターフェースとして機能する。操作部２００からは、ユーザー操作に従った操作信号が処理部１００に出力される。

表示部３００は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、処理部１００から出力される表示信号に基づいた各種の表示を行う。表示部３００は、タッチパネル２５０と一体的に構成されてタッチスクリーンを形成している。表示部３００には、撮像画像や修正画像等の各種の画像が表示される。

音出力部４００は、スピーカ等を有して構成される音出力装置であり、処理部１００から出力される音出力信号に基づいた各種の音出力を行う。

撮像部５００は、任意のシーンの画像を撮影可能に構成された撮像装置であり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子を有して構成される。撮像部５００は、光信号を電気信号に変換し、デジタル化した撮像画像のデータを処理部１００に出力する。

通信部６００は、装置内部で利用される情報を外部の情報処理装置及び画像表示装置との間で送受するための通信装置である。通信部６００の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。

時計部７００は、スマートフォン２の内部時計であり、例えば水晶振動子及び発振回路である水晶発振器を有して構成される。時計部７００の計時時刻は、処理部１００に随時出力される。

記憶部８００は、ＲＯＭやフラッシュＲＯＭ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。記憶部８００は、処理部１００がスマートフォン２を制御するためのシステムプログラムや、各種の画像処理を行うためのプログラムやデータを記憶する。

本実施例において、記憶部８００には、処理部１００によって読み出され、カメラモード処理として実行されるカメラモード処理プログラム８１０が記憶されている。カメラモード処理プログラム８１０は、処理部１００により読み出され、対象物追跡処理として実行される対象物追跡プログラム８１１をサブルーチンとして含む。

また、記憶部８００には、撮像部５００から処理部１００に入力された動画像のデータが格納される元動画像データベース８３０が記憶される。

［２−２．処理の流れ］
図１０は、処理部１００が、記憶部８００に記憶されているカメラモード処理プログラム８１０に従って実行するカメラモード処理の流れの一例を示すフローチャートである。このカメラモード処理は、ユーザーによりカメラのアプリケーションが起動されることにより実行される処理である。

最初に、処理部１００は、ユーザーにより操作部２００を介して選択されたモードが追跡モードであるか否かを判定する（Ｅ１）。追跡モードは、ユーザーがある地点にスマートフォン２を固定して動画像を撮像する動画像撮像モードで撮像された元動画像を対象として、対象物の追跡を行って、出力枠に照準した照準動画像を表示部３００に表示させるモードである。

追跡モードであると判定したならば（Ｅ１；Ｙｅｓ）、処理部１００は、追跡用設定画面を表示部３００に表示させる制御を行う（Ｅ３）。具体的には、追跡用設定画面として、「色モデル」と「色モデル＋形状モデル」とのいずれの設定で追跡を行うかをユーザーに選択させる画面とを表示させる。

次いで、処理部１００は、追跡用設定処理を実行する（Ｅ５）。具体的には、追跡用設定画面における操作部２００へのユーザーの選択操作に従って、追跡を行うための設定を行う。

その後、処理部１００は、対象物の追跡を実行するか否かを判定する（Ｅ７）。具体的には、操作部２００へのユーザーの実行操作を検出したか否かに基づいて、対象物の追跡を実行するか否かを判定する。

対象物の追跡を実行すると判定したならば（Ｅ７；Ｙｅｓ）、処理部１００は、記憶部８００に記憶されている対象物追跡プログラム８１１に従って、対象物追跡処理を実行する（Ｅ９）。

図１１は、対象物追跡処理の流れの一例を示すフローチャートである。
最初に、表示制御部１９０は、記憶部８００に記憶されている元動画像データベース８３０に記憶されている元動画像の一覧を表示部３００に表示させ、ユーザーに対象物の追跡を実行させる元動画像を選択させる元動画像選択処理を実行する（Ｆ１）。

次いで、表示制御部１９０は、ユーザーにより選択された元動画像のデータをデコードし、元動画像を構成するフレーム画像を表示部３００に順次に表示させる（Ｆ３）。

その後、処理部１００は、タッチパネル２５０の対するタップ操作を検出したか否かを判定し（Ｆ５）、検出したと判定したならば（Ｆ５；Ｙｅｓ）、表示中のフレーム画像の中から、タップ操作でタップされたタップ位置を特定する（Ｆ７）。

次いで、追跡領域設定部１１０が、追跡領域設定処理を実行する（Ｆ９）。具体的には、Ｆ７で特定したタップ位置の座標値を含む一群の領域を追跡領域として設定する（Ｆ１１）。ここで設定される追跡領域は、１回目のタップ操作で設定される追跡領域であるため、第１の追跡領域となる。

次いで、処理部１００は、Ｅ５で設定された追跡用設定を判定し（Ｆ１１）、追跡用設定が「色モデル」であると判定したならば（Ｆ１１；色モデル）、色情報取得部１２０が、色情報取得処理を実行する（Ｆ１３）。一方、追跡用設定が「色モデル＋形状モデル」であると判定したならば（Ｆ１１；色モデル＋形状モデル）、色情報取得部１２０が、色情報取得処理を実行する（Ｆ１５）。そして、形状情報取得部１３０が、形状情報取得処理を実行する（Ｆ１７）。

Ｆ１３又はＦ１７の後、処理部１００は、２つの追跡領域が設定されたか否かを判定し（Ｆ１９）、設定されていないと判定したならば（Ｆ１９；Ｎｏ）、Ｆ５に処理を戻す。この場合、ユーザーにより２回目のタップ操作がなされると、Ｆ９において追跡領域が設定される。ここで設定される追跡領域は、２回目のタップ操作で設定される追跡領域であるため、第２の追跡領域となる。

２つの追跡領域が設定されたと判定したならば（Ｆ１９；Ｙｅｓ）、出力枠設定部１７０が、初期出力枠設定処理を実行する（Ｆ２１）。また、処理部１００が、追跡処理の実行を開始する（Ｆ２３）。また、照準動画像生成処理部１８０が、照準動画像生成処理を実行する（Ｆ２５）。これらの処理は、画像処理装置１の処理で説明した通りである。そして、処理部１００は、対象物追跡処理を終了する。

図１０に戻り、対象物追跡処理を実行したならば、表示制御部１９０が、動画像表示処理を実行する（Ｅ１１）。具体的には、照準動画像生成処理で生成された照準動画像を表示部３００に表示させる。

または、照準動画像生成処理で生成された照準動画像を通信部６００を介して、有線又は無線接続で外部の表示端末装置に表示させてもよい。または、照準動画像を通信部６００を介して、ネットワーク経由で外部の表示端末装置に出力させてもよい。この場合、スマートフォン２の表示部３００には、フレーム中に出力枠が表示されている形式、すなわち、図７に示すようなフレーム動画像が表示され、外部の表示端末装置には、照準動画像が表示される。

この際、表示制御部１９０は、照準動画像を構成するフレーム画像毎の追跡領域の変化をユーザーが把握可能とするために、追跡領域を包含する追跡領域枠を照準動画像中に重畳表示させる。

ここで、追跡領域には、第１の追跡領域と第２の追跡領域との２つの追跡領域が存在するため、それぞれの追跡領域をユーザーが把握可能とするために、第１の追跡領域を包含する第１の追跡領域枠と、第２の追跡領域を包含する第２の追跡領域枠とを照準動画像中に重畳表示させる。この際、追跡領域枠の枠線に所定の色（例えば青色）を付して表示する。

なお、第１の追跡領域枠と第２の追跡領域枠とをユーザーが区別することができるように、第１の追跡領域枠の枠線と第２の追跡領域枠の枠線とにそれぞれ異なる色（例えば、一方を青色、他方を黄色）を付して表示させるようにしてもよい。また、追跡領域枠の枠線に色を付して表示するのではなく、枠線を実線や点線で表示するようにしてもよい。

また、表示制御部１９０は、照準動画像を構成するフレーム画像毎の出力枠の変化をユーザーが把握可能とするために、照準動画像に出力枠を重畳表示させる。この際、上記の追跡領域枠と出力枠とをユーザーが区別することができるように、追跡領域枠の枠線に付した色とは異なる色（例えば赤色）を付して出力枠の枠線を表示する。

なお、この場合も、出力枠の枠線に色を付して表示するのではなく、枠線を実線や点線で表示するようにしてもよい。

その後、処理部１００は、追跡モードを終了するか否かを判定し（Ｅ１３）、終了しないと判定したならば（Ｅ１３；Ｎｏ）、Ｅ７に処理を戻す。また、追跡モードを終了すると判定したならば（Ｅ１３；Ｙｅｓ）、処理部１００は、処理を終了するか否かを判定し（Ｅ１９）、処理を継続すると判定したならば（Ｅ１９；Ｎｏ）、Ｅ１に処理を戻す。また、処理を終了すると判定したならば（Ｅ１９；Ｙｅｓ）、処理部１００は、対象物追跡処理を終了する。

一方、Ｅ１において追跡モードが選択されなかったと判定したならば（Ｅ１；Ｎｏ）、処理部１００は、動画像撮像モードが選択されたか否かを判定し（Ｅ１５）、選択されたと判定したならば（Ｅ１５；Ｙｅｓ）、動画像撮像処理を実行する（Ｅ１７）。具体的には、ユーザー操作に従って、撮像部５００に動画像の撮像を実行させ、撮像された動画像を記憶部８００の元動画像データベース８３０に記憶させる。そして、処理部１００は、Ｅ１９へと処理を移す。

この場合、Ｅ１１の照準動画像表示処理において、例えば、表示部３００の画面全体に照準動画像を表示部３００に表示させるようにしてもよい。つまり、出力枠を含む出力対象領域（例えば規定サイズの矩形領域）を表示部３００の画面サイズに拡大したサブフレーム画像で構成される照準動画像を表示部３００に表示させるようにしてもよい。この場合は、出力対象領域の大きさに適応するように出力枠の大きさを調整する必要があるため、出力対象領域と同じ拡大率で出力枠を拡大した上で、対応する位置に出力枠を重畳表示させるようにすればよい。
追跡領域枠の表示についても同様である。

また、ユーザー操作に従って、拡縮を変えて照準動画像を表示部３００に表示させることを可能としてもよい。具体的には、例えば、拡縮を変更するための拡縮用ゲージをユーザーがスライド操作可能な操作バーとともに表示部３００に表示させ、ユーザーによって拡縮用ゲージの操作バーをスライドする操作がなされた場合に、そのスライド操作に応じた拡大率で出力対象領域を拡大したサブフレーム画像で構成される照準動画像を表示部３００に表示させるようにしてもよい。

［２−３．表示画面］
図１２は、スマートフォン２の表示部３００に表示される表示画面の一例を示す図である。

図１２（１）には、Ａ、Ｂ、Ｃの３人の人物が写し出された元動画像の一場面を表示した表示画面を図示している。この表示画面において、ユーザーが、タッチパネル２５０に対して人物Ａの胴体部（上半身）をタップすることにより、第１の追跡領域Ｒ１が設定される。また、ユーザーがタッチパネル２５０に対して人物Ａの脚部（下半身）をタップすることにより、第２の追跡領域Ｒ２が設定される。このようにして設定された第１の追跡領域Ｒ１及び第２の追跡領域Ｒ２に基づいて人物Ａを追跡する追跡処理が実行され、照準動画像生成処理が実行されることで、対象物である人物Ａに照準された照準動画像が生成される。

図１２（２）には、照準動画像の一場面を表示した表示画面を図示している。この表示画面には、図１２（１）に示した第１の追跡領域Ｒ１を包含する矩形の追跡領域枠Ｆｒ１と、第２の追跡領域Ｒ２を包含する矩形の追跡領域枠Ｆｒ２とが表示されている。この第１の追跡領域枠Ｆｒ１と第２の追跡領域枠Ｆｒ２の枠線は、例えばそれぞれ青色で示されている。また、この表示画面には、矩形の出力枠Ｆが表示されている。この出力枠Ｆの枠線は、例えば赤色で示されている。

［２−４．作用効果］
スマートフォン２は、タッチパネル２５０が一体的に構成された表示部３００と、表示部３００を表示制御する表示制御部１９０とを備える。そして、追跡領域設定部１１０は、タッチパネル２５０に対するタップ操作に基づいて追跡領域を設定し、表示制御部１９０は、照準動画像生成部１８０によって生成された照準動画像を表示部３００に表示させる。

これによれば、ユーザーのタップ操作に基づいて設定した追跡領域に基づいて、対象物を追跡することが可能となる。また、対象物に照準した照準動画像をユーザーが確認できるようにすることができる。

［３．第２実施例］
第２実施例は、第１実施例のスマートフォン２において、ユーザーに表示中の動画像において出力枠を移動させる操作を行わせることを可能とし、この出力枠の移動操作に従って、半自動で対象物を設定することを可能にする実施例である。

［３−１．処理の流れ］
図１３は、スマートフォン２の処理部１００が、カメラモード処理に代えて実行する第２のカメラモード処理の流れの一例を示すフローチャートである。なお、カメラモード処理と同一のステップについては同一の符号を付して、再度の説明を省略する。

Ｅ１１において照準動画像表示処理を実行した後、処理部１００は、ユーザーにより元動画像に表示を切り替える操作がなされたか否かを判定する（Ｇ１３）。

切り替える操作がなされたと判定したならば（Ｇ１３；Ｙｅｓ）、表示制御部１９０が、元動画像表示処理を実行する（Ｇ１５）。具体的には、元画像選択処理で選択された元動画像を表示部３００に表示させる。この際、表示制御部１９０は、元動画像を構成するフレーム画像毎の追跡領域の変化をユーザーが把握可能とするために、追跡領域を包含する追跡領域枠Ｆを元動画像中に重畳表示させる。この場合も、照準動画像と同様に、追跡領域枠Ｆには、枠線に所定の色（例えば青色）を付して表示する。

また、表示制御部１９０は、元動画像を構成するフレーム画像毎の出力枠の変化をユーザーが把握可能とするために、元動画像に出力枠を重畳表示させる。この場合も、上記の追跡領域枠と出力枠とをユーザーが区別することができるように、追跡領域枠の枠線に付した色とは異なる色（例えば赤色）を付して出力枠を表示する。

その後、処理部１００は、タッチパネル操作を検出したか否かを判定し（Ｇ１７）、検出したと判定したならば（Ｇ１７；Ｙｅｓ）、第２の対象物追跡処理を実行する（Ｇ１９）。

図１４は、第２の対象物追跡処理の流れの一例を示すフローチャートである。
最初に、処理部１００は、検出したタッチパネル操作が、元動画像に表示中の出力枠を任意の位置に移動させる操作（以下、「出力枠移動操作」という。）であるか否かを判定する（Ｈ１）。具体的には、出力枠の表示位置が所定時間（例えば１秒間）タッチされた後、続けてドラッグ操作がなされたことを検出した場合に、出力枠移動操作がなされたと判定する。

出力枠移動操作がなされたと判定したならば（Ｈ１；Ｙｅｓ）、処理部１００は、出力枠移動操作が完了したか否かを判定する（Ｈ３）。具体的には、ドラッグ操作が停止し、タッチパネル２５０への入力がなくなったことを検出した場合に、出力枠移動操作が完了したと判定する。

出力枠移動操作が完了したと判定したならば（Ｈ３；Ｙｅｓ）、処理部１００は、移動された出力枠内に存在する物体を検出する物体検出処理を実行する（Ｈ５）。物体検出処理は、人物やその他の物体をモデル化したモデルデータを用いたパターンマッチング等の従来公知の手法を用いて実現することができる。

次いで、追跡領域設定部１１０が、追跡領域設定処理を実行する（Ｈ７）。具体的には、Ｈ５で検出された物体を構成する各画素の色情報に基づいて、当該物体を構成する領域の中から、均一する色で構成される２つの領域を探索し、探索した２つの領域をそれぞれ第１の追跡領域及び第２の追跡領域として設定する。

その後、色情報取得部１２０が、色情報取得処理を実行する（Ｈ９）。具体的には、Ｈ７で設定された２つの追跡領域について、上記の実施形態と同様に、色情報を取得する。そして、処理部１００は、追跡処理の実行を開始し（Ｈ１１）、照準動画像生成部１８０が、照準動画像生成処理を実行する（Ｈ１３）。そして、処理部１００は、第２の対象物追跡処理を終了する。

なお、上記の説明では、出力枠移動操作が完了したと判定したならば（Ｈ３；Ｙｅｓ）、処理部１００は、移動された出力枠内に存在する物体を検出する物体検出処理を実行する（Ｈ５）としたが、本実施例はこれに限られるものではない。例えば、出力枠移動操作が検出された時点（Ｈ１；Ｙｅｓ）から物体検出処理（Ｈ５）を開始し、対象物が検出された時点で、次の追跡領域設定処理の実行（Ｈ７）以降の処理を実行するようにしてもよい。この場合、追跡処理開始（Ｈ７）は、出力枠移動操作完了の判定（Ｈ３；Ｙｅｓ）後に開始されるように設定してもよい。

また、物体検出処理（Ｈ５）によって対象物が検出された時点で、出力枠の枠線の色を変化させることで、ユーザーに対して対象物が検出されたことを報知するようにしてもよい。また、処理部１００による追跡処理の実行時と、ユーザー操作による出力枠移動時において、出力枠の表示態様を異ならせるとよい。その場合は、例えば、処理部１００による追跡処理の実行時は出力枠の枠線を実線表示とし、ユーザー操作による出力枠移動時は出力枠の枠線を破線表示とすればよい。また、出力枠の枠線の色を異ならせるようにしてもよい。

図１３に戻り、第２の対象物追跡処理を実行した後、処理部１００は、元動画像の表示を終了する操作がなされたか否かを判定し（Ｇ２１）、なされなかったと判定したならば（Ｇ２１；Ｎｏ）、Ｇ１７に処理を戻す。

また、元動画像の表示を終了する操作がなされたと判定したならば（Ｇ２１；Ｙｅｓ）、処理部１００は、照準動画像に表示を切り替える操作がなされたか否かを判定し（Ｇ２３）、なされたと判定したならば（Ｇ２３；Ｙｅｓ）、Ｅ１１に処理を戻す。また、照準動画像に表示を切り替える操作がなされなかったと判定したならば（Ｇ２３；Ｎｏ）、処理部１００は、Ｅ１３へと処理を移す。

なお、上記の処理において、物体検出処理において追跡対象とする物体を検出する際に、元動画像上で予め設定された複数の追跡対象物のうち、出力枠内に存在する一又は複数の物体を検出するようにしてもよい。例えば、スポーツが行われている場面を撮像する場合において、予め撮像された動画像や静止画像の中から注目選手等の動被写体を、ユーザーが手動で抽出したり、全自動／半自動で抽出し、この抽出した動被写体の色情報を登録しておく。そして、物体検出処理では、このようにして登録された動被写体を検出するようにする。この場合、動被写体の色情報を予め登録しておけば、Ｈ９の色情報取得処理を実行する必要はなく、Ｈ５の物体検出処理を実行するだけで済む。

［３−２．変形例］
上記の第２実施例において、追跡位置推定部１４０がバックグラウンドで追跡位置を推定している間に出力枠移動操作がなされたと判定した場合に、実行中の追跡位置の推定よりも出力枠移動操作を優先して、追跡位置を推定するようにしてもよい。つまり、自動で推定される追跡位置に基づき更新される出力枠の位置よりも、手動で移動される出力枠の位置を優先して、追跡位置を推定するようにしてもよい。

この場合、出力枠移動操作が完了したと判定したならば、移動された出力枠に推定追跡位置が含まれたタイミングで、それ以降、推定追跡位置に追従するように出力枠を更新するようにすればよい。このようにすることで、追跡されている対象物が正しくないと判断した場合に、ユーザーは出力枠を正しい対象物の位置に移動させて追跡位置を推定させることが可能となり、セミオートによる対象物の追跡を実現することができる。

［４．第３実施例］
対象物のロストが発生して出力枠の更新が中断された場合、対象フレーム画像の全範囲探索を行って追跡を継続したとしても、対象物とは異なる物体を誤って追跡してしまう場合がある。この場合には、追跡位置が出力枠内に入らない状態が継続する、又は、追跡位置が出力枠に入ったとしても、誤った対象を追跡し続けてしまう場合がある。しかし、リアルタイムに元動画像が入力され、且つ、リアルタイムに出力が求められる場合でなければ、追跡処理を撮像及び元画像の保存後に実行することが可能であることを利用して、以下のようにして、追跡位置を再推定するようにしてもよい。

例えば、前述したオクルージョンによるロストが発生した後、オクルージョンが解消して対象物が画面に再度現れたタイミングで、対象物が出力枠に含まれるように出力枠を移動させる出力枠移動操作がユーザーによってなされたとする（図１４のＨ１；Ｙｅｓ）。この場合、出力枠移動操作が完了した時点で（図１４のＨ３；Ｙｅｓ）、図１４のＨ５〜Ｈ１３の処理が実行されるが、図１４のＨ９の色情報取得処理で取得された色情報に基づいて、出力枠移動操作によって対象物が指定されたタイミングから遡って、時間軸上で逆方向に追跡位置を再推定する。そして、再推定した追跡位置に基づいて、ロストが発生してからユーザーによって対象物が指定されるまでの期間における出力枠の位置を補完的に推定する。

この場合、ロストが発生したフレーム画像付近で、時間軸上で順方向に再推定した追跡位置と逆方向に再推定した追跡位置とが近い領域に収束する可能性が高まる。これに対し、前述した全範囲探索を行って追跡位置を再推定する場合には、対象フレーム画像の全範囲を対象として追跡位置を再推定するため、対象物から離れた場所の色が類似する領域を対象物と誤認識する可能性がある。このため、上記の処理を行うことで、全範囲探索によって追跡位置を再推定する場合と比べて、追跡の精度を向上させることができる。

［５．他の実施形態］
本発明を適用可能な実施形態は、上記の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは勿論である。以下、他の実施形態について説明する。

［５−１．電子機器］
本発明に係る画像処理装置１は、スマートフォンやカメラ、デジタルカメラ、タブレット端末、ＰＤＡ、パソコン等の各種の電子機器に具備させて利用することができる。

［５−２．元動画像］
上記の実施形態で説明した対象物追跡処理は、予め撮像された保存された元動画像について実行することとしてもよいし、リアルタイムに撮像される元動画像について実行することとしてもよい。例えば、サッカー競技を固定カメラで撮像した動画像について、注目の選手を対象物として対象物追跡処理を行い、この注目の選手に照準した照準動画像を生成して、放送することなどが考えられる。

また、複数のカメラで撮像した動画像を合成することで得られる合成動画像を元動画像として、対象物追跡処理を実行するようにしてもよい。

また、魚眼レンズを用いて撮像した動画像を元動画像として、対象物追跡処理を実行するようにしてもよい。魚眼レンズを用いて撮像した動画像では、端部に近いほど歪みが大きくなるが、本願発明の手法では色情報に基づいて対象物の追跡を行うため、歪みの影響はほぼ排除することができる。

また、スマートフォン２とは異なる別途のカメラで撮像した動画像をスマートフォンに送信するようにし、スマートフォン２が、受信した動画像を元動画像として上記の対象物追跡処理を行うようにすることも可能である。この場合、別途のカメラで撮像された元動画像をユーザーがスマートフォンで閲覧した上で、前述した出力枠の移動操作等を行って、対象物に照準した照準動画像をスマートフォンで確認することが可能となる。また、この場合において、ロストが発生した場合に、照準動画像から元動画像に表示を切り替えるなどしてもよい。

また、別途のカメラで撮像した動画像を元動画像として当該カメラが上記の対象物追跡処理を行い、元動画像や照準動画像を当該カメラの表示部に表示させるようにしてもよい。この場合、元動画像をユーザーがカメラで閲覧した上で、前述した出力枠の移動操作等を行って、対象物に照準した照準動画像をカメラで確認することが可能となる。また、出力枠のデータを元動画像や照準動画像のデータをともにエンコードして保存したり、エンコードしたデータを外部装置に送信し、外部装置側でこれらのデータをデコードすることで、外部装置において元動画像や照準動画像をユーザーが確認することを可能としてもよい。また、本実施形態において対象物の追跡を行う動画像は、定点撮像された動画像とするのが好適であると説明したが、動画像を撮像するカメラを固定せずに移動可能とし、例えば、フレーム内の出力枠の位置がフレーム端にならないように、カメラを移動させるようにしてもよい。

［５−３．追跡領域］
上記の実施形態では、対象物を追跡するために、対象物に２つの追跡領域を設定することとして説明したが、これはあくまでも一例に過ぎない。対象物に単一の追跡領域を設定するようにしてもよいし、対象物に３以上の追跡領域を設定するようにしてもよい。

例えば、対象物に単一の追跡領域を設定する場合には、設定した単一の追跡領域を基準とする追跡位置を推定するようにすればよい。この場合、追跡位置推定処理で求められた推定追跡位置の適否判定は、当該推定追跡位置について算出された信頼度が高信頼度条件を満たすか否かに基づいて判定するようにすればよい。

上記の説明では、同一の追跡対象物に対して第１及び第２の追跡領域の２つからなる一組の追跡領域を設定したが、複数の組を設定してもよい。即ち、上記のように最初に第１及び第２の追跡領域の２つからなる一組の追跡領域を設定した後、第３及び第４の追跡領域から成る別の一組の追跡領域をフレーム画像上でユーザーが設定する。続いて、同様に、異なる追跡領域の組み合わせから成る別の一組の追跡領域を更に設定することで、複数の組の追跡領域が設定できる。または、最初に第１及び第２の追跡領域の２つからなる一組の追跡領域を設定した後、追跡領域設定部１１が最初の一組の追跡領域の近傍の色情報をもとにして、最初の一組とは異なる追跡領域の組み合わせからなる別の一組の追跡領域を自動的に設定するようにすればよい。このようにすることにより、最初の一組の追跡領域を用いた追跡がロストした場合、改めて追跡領域設定を行う手順を踏むことなく、別の一組の追跡領域を用いた対象物の再追跡が可能となる。また、複数の組の追跡領域を追跡し、所定期間ごとに各追跡領域の推定追跡位置の信頼度を判定することで各組の使用優先度を判定し、使用優先度の高い組を自動的に選択するように設定してもよい。

［５−４．色空間］
上記の実施形態では、フレーム画像の画素値がＨＳＶ色空間で表現されており、このＨＳＶ色空間で表現された画素値に基づいて色情報を取得することとして説明したが、これはあくまでも一例に過ぎない。例えば、フレーム画像の画素値をＹＵＶ色空間で表現することとし、このＹＵＶ空間で表現された画素値に基づいて色情報を取得するようにしてもよいし、フレーム画像の画素値をＲＧＢ色空間で表現することとし、このＲＧＢ空間で表現された画素値に基づいて色情報を取得するようにしてもよい。

［５−５．追跡領域情報の表示］
上記の実施例では、照準動画像や元動画像に、色を付した追跡領域枠を表示させることによってユーザーが追跡領域を認識できるようにしたが、これはあくまでも一例に過ぎない。必ずしも追跡領域枠を表示させる必要はなく、設定した追跡領域そのものを表示させるようにしてもよいし、追跡領域に対応する位置、例えば中心位置に印となるアイコン等を表示させるようにしてもよい。

また、追跡領域から取得した追跡に使用する色（色情報取得部１２によって取得された色）を、表示部３００に表示してもよく、例えば照準動画像の端部に表示させるようにしてもよい。このようにすることで、ユーザーは、どの色が追跡に用いられるのかを一見して容易に認識することができる。また、意図しない色が表示された場合には、ユーザーは指定した位置がずれていると判断して、位置を指定し直すことができる。

また、推定追跡位置の信頼度の度合いに応じて、出力枠の枠線の色を変化させるようにしてもよい。例えば、追跡位置適否判定部１５が、複数の信頼度の閾値を設定し、信頼度の度合いを判定できるようにする。そして、例えば、追跡位置適否判定部１５が、当該推定位置の信頼度が、ある信頼度の閾値は超えているものの、あまり信頼度が高くない状態であると判定した場合、又はそのような信頼度が高くない状態が所定期間続いていると判定した場合は、ユーザーに対して、異なる色を含む追跡領域を再設定するように促す報知を行うようにする。または、追跡位置適否判定部１５が、当該追跡領域の近傍から、異なる色を含む追跡領域を再設定するようにしてもよい。

［５−６．出力枠の表示］
また、上記の実施例では、照準動画像や元動画像に、色を付した出力枠を表示させることによってユーザーが出力枠を認識できるようにしたが、これはあくまでも一例に過ぎない。必ずしも出力枠を表示させる必要はなく、出力枠の中心位置や、その時点で追跡している対象物を表示させるようにしてもよい。

［５−７．記録媒体］
上記の実施形態では、画像処理に係る各種のプログラムやデータが、画像処理装置１の記憶部や、スマートフォン２の記憶部８００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやフラッシュＲＯＭ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。

図１５は、この場合における記録媒体の一例を示す図である。
スマートフォン２には、メモリカード９を挿入するためのカードスロット９１０が設けられており、カードスロット９１０に挿入されたメモリカード９に記憶された情報を読み取る又はメモリカード９に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）９２０が設けられている。カードリーダライタ９２０は、処理部１００の制御に従って、記憶部８００に記録されたプログラムやデータをメモリカード９に書き込む動作を行う。メモリカード９に記録されたプログラムやデータは、スマートフォン２以外の外部装置（例えばパソコン）で読み取ることで、当該外部装置において上記の実施形態における照準動画像の生成を実現することが可能に構成されている。

１ 画像処理装置
２ スマートフォン
９ メモリカード
１０ 元動画像取得部
１１ 追跡領域設定部
１２ 色情報取得部
１３ 形状情報取得部
１４ 追跡位置推定部
１５ 追跡位置適否判定部
１６ 追跡位置再推定部
１７ 出力枠設定部
１８ 照準動画像生成部
２０ 元動画像メモリ
１００ 処理部
２００ 操作部
２５０ タッチパネル
３００ 表示部
４００ 音出力部
５００ 撮像部
６００ 通信部
７００ 時計部
８００ 記憶部
９１０ カードスロット
９２０ カードリーダライタ

Claims (17)

1. 画像処理装置であって、
   元動画像を構成するフレーム画像中の対象物に追跡領域を設定する追跡領域設定手段と、
   前記追跡領域設定手段によって設定された追跡領域の色情報を取得する色情報取得手段と、
   前記色情報取得手段によって取得された色情報に基づいて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定する追跡位置推定手段と、
   前記追跡領域設定手段によって設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新する出力枠設定手段と、
   前記出力枠を基準とした動画像を生成する動画像生成手段と、
   前記追跡位置推定手段によって推定された追跡位置の適否を判定する追跡位置適否判定手段と、
   前記追跡位置適否判定手段によって前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定する追跡位置再推定手段と、
   を備え、
   前記追跡位置推定手段は、前記追跡位置再推定手段によって再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し、
   前記出力枠設定手段は、前記追跡位置再推定手段によって前記追跡位置が再推定された場合に、前記出力枠の更新を中断し、前記追跡位置推定手段によって推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開し、
   前記追跡位置再推定手段は、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
   画像処理装置。
2. 前記追跡領域設定手段は、前記元動画像を構成するフレーム画像中の対象物に複数の追跡領域を設定し、
   前記色情報取得手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記色情報を取得し、
   前記追跡位置推定手段は、前記色情報取得手段によって取得された前記複数の追跡領域それぞれの色情報に基づいて、前記複数の追跡領域それぞれを基準とする追跡位置をフレーム画像毎に推定する、
   請求項１に記載の画像処理装置。
3. 前記追跡位置適否判定手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記追跡位置推定手段によって推定された追跡位置の相対的な位置関係に基づいて適否判定を行う、
   請求項２に記載の画像処理装置。
4. 前記追跡領域設定手段は、前記元動画像を構成するフレーム画像中の複数の対象物に追跡領域を設定し、
   前記複数の対象物に追跡の優先度を設定する優先度設定手段を更に備え、
   前記出力枠設定手段は、前記優先度設定手段によって設定された優先度に基づいて、更新する出力枠を決定する、
   請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記追跡領域設定手段によって設定された追跡領域の形状情報を取得する形状情報取得手段を更に備え、
   前記追跡位置推定手段は、前記形状情報取得手段によって取得された形状情報を更に用いて、前記追跡位置をフレーム画像毎に推定する、
   請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記出力枠設定手段によって更新される出力枠位置の変位量に基づいて、前記出力枠の位置を修正する出力枠位置修正手段を更に備え、
   前記動画像生成手段は、前記出力枠位置修正手段によって位置が修正された出力枠を基準とした動画像を生成する、
   請求項１〜５の何れか一項に記載の画像処理装置。
7. 請求項１〜６の何れか一項に記載の画像処理装置と、
   タッチパネルが一体的に構成された表示手段と、
   前記表示手段を表示制御する表示制御手段と、
   を備え、
   前記追跡領域設定手段は、前記タッチパネルに対するユーザー操作に基づいて、前記追跡領域を設定し、
   前記表示制御手段は、前記動画像生成手段によって生成された動画像を前記表示手段に表示させる動画像表示制御手段を有する、
   電子機器。
8. 前記表示制御手段は、前記追跡領域設定手段によって設定された追跡領域を特定可能な表示態様で前記動画像に重畳表示させる追跡領域表示制御手段を有する、
   請求項７に記載の電子機器。
9. 請求項１〜６の何れか一項に記載の画像処理装置と、
   タッチパネルが一体的に構成された表示手段と、
   前記表示手段を表示制御する表示制御手段と、
   を備え、
   前記追跡領域設定手段は、前記タッチパネルに対するユーザー操作に基づいて、前記元動画像を構成するフレーム画像中の対象物に複数の追跡領域を設定し、
   前記色情報取得手段は、前記追跡領域設定手段によって設定された複数の追跡領域それぞれについて前記色情報を取得し、
   前記追跡位置推定手段は、前記色情報取得手段によって取得された前記複数の追跡領域それぞれの色情報に基づいて、前記複数の追跡領域それぞれを基準とする追跡位置をフレーム画像毎に推定し、
   前記表示制御手段は、前記動画像生成手段によって生成された動画像を前記表示手段に表示させる動画像表示制御手段を有する、
   電子機器。
10. 前記表示制御手段は、前記追跡領域設定手段によって設定された複数の追跡領域をそれぞれ区別して特定可能な表示態様で前記動画像に重畳表示させる追跡領域表示制御手段を有する、
    請求項９に記載の電子機器。
11. 前記表示制御手段は、前記出力枠設定手段によって更新される出力枠を特定可能な表示態様で前記動画像に重畳表示させる第１の出力枠表示制御手段を有する、
    請求項７〜１０の何れか一項に記載の電子機器。
12. 前記動画像表示制御手段は、前記出力枠を含む所定領域を拡大した動画像を前記表示手段に表示させ、
    前記第１の出力枠表示制御手段は、前記拡大された所定領域に適応するように大きさを調整した出力枠を前記動画像に重畳表示させる、
    請求項１１に記載の電子機器。
13. 前記表示制御手段は、
    前記元動画像を前記表示手段に表示させる元動画像表示制御手段と、
    前記出力枠設定手段によって更新される出力枠を特定可能な表示態様で前記元動画像に重畳表示させる第２の出力枠表示制御手段と、
    を有する、
    請求項７〜１２の何れか一項に記載の電子機器。
14. 前記タッチパネルへのユーザー操作により、前記元動画像に表示中の出力枠を移動させる移動操作がなされたか否かを判定する移動操作判定手段と、
    前記移動操作判定手段によって出力枠の移動操作がなされたと判定された場合に、出力枠内に存在する物体を検出する物体検出手段と、
    を更に備え、
    前記色情報取得手段は、前記物体検出手段によって検出された物体の色情報を取得し、
    前記追跡位置推定手段は、前記物体検出手段によって検出された物体が存在する領域を前記追跡領域として、前記追跡位置をフレーム画像毎に推定する、
    請求項１３に記載の電子機器。
15. 電子機器であって、
    元動画像を構成するフレーム画像中の対象物に追跡領域を設定する追跡領域設定手段と、
    前記追跡領域設定手段によって設定された追跡領域の色情報を取得する色情報取得手段と、
    前記色情報取得手段によって取得された色情報に基づいて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定する追跡位置推定手段と、
    前記追跡領域設定手段によって設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新する出力枠設定手段と、
    前記出力枠を基準とした動画像を生成する動画像生成手段と、
    タッチパネルが一体的に構成された表示手段と、
    前記表示手段を表示制御する表示制御手段と、
    前記タッチパネルへのユーザー操作により、前記元動画像に表示中の出力枠を移動させる移動操作がなされたか否かを判定する移動操作判定手段と、
    前記移動操作判定手段によって出力枠の移動操作がなされたと判定された場合に、出力枠内に存在する物体を検出する物体検出手段と、
    を備え、
    前記色情報取得手段は、前記物体検出手段によって検出された物体の色情報を取得し、
    前記追跡位置推定手段は、前記物体検出手段によって検出された物体が存在する領域を前記追跡領域として、前記追跡位置をフレーム画像毎に推定する、
    電子機器。
16. 画像処理方法であって、
    元動画像を構成するフレーム画像中の対象物に追跡領域を設定することと、
    前記設定された追跡領域の色情報を取得することと、
    前記取得された色情報を用いて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定することと、
    前記設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新することと、
    前記出力枠を基準とした動画像を生成することと、
    前記推定された追跡位置の適否を判定することと、
    前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定することと、
    を含み、
    前記追跡位置を推定することは、前記再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し、
    前記出力枠を設定することは、前記追跡位置が再推定された場合に、前記出力枠の更新を中断し、前記推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開し、
    前記追跡位置を再推定することは、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
    画像処理方法。
17. コンピュータに、画像処理を実行させるためのプログラムであって、
    元動画像を構成するフレーム画像中の対象物に追跡領域を設定する追跡領域設定ステップと、
    前記追跡領域設定ステップで設定された追跡領域の色情報を取得する色情報取得ステップと、
    前記色情報取得ステップで取得された色情報を用いて、前記追跡領域を基準とする追跡位置をフレーム画像毎に推定する追跡位置推定ステップと、
    前記追跡領域設定ステップで設定された追跡領域を含む出力枠を設定し、推定された追跡位置に基づいて前記出力枠を更新する出力枠設定ステップと、
    前記出力枠を基準とした動画像を生成する動画像生成ステップと、
    前記追跡位置推定ステップで推定された追跡位置の適否を判定する追跡位置適否判定ステップと、
    前記追跡位置適否判定ステップで前記推定された追跡位置が不適当と判定された場合に、前記追跡位置を再推定する追跡位置再推定ステップと、
    を実行させ、
    前記追跡位置推定ステップでは、前記追跡位置再推定ステップで再推定された追跡位置に基づいて前記追跡位置をフレーム画像毎に推定し、
    前記出力枠設定ステップでは、前記追跡位置再推定ステップで前記追跡位置が再推定された場合に、前記出力枠の更新を中断し、前記追跡位置推定ステップで推定された追跡位置が前記出力枠を基準とした所定範囲に含まれることとなった場合に、前記出力枠の更新を再開し、
    前記追跡位置再推定ステップでは、更新が再開された際の前記出力枠を基準として、前記出力枠の更新が中断されてから再開されるまでの期間における追跡位置を遡って再推定する、
    プログラム。

Images