JP2009217425A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】動画像内の追尾対象をより正確に追尾することができるようにする。
【解決手段】不連続性検出部１０３は、入力された動画像の時間的に連続するフィールドの各画像が時間的に不連続であるか否かを判定する。補間処理部１３１は、入力された動画像が時間的に不連続な画像を含まないと判定された場合、前第１フィールドおよび現第１フィールドにおける追尾点の位置の中間点を、現第２フィールドの追尾点の位置として特定する。また、入力された動画像が時間的に不連続な画像を含むと判定された場合、補間処理部１３１は、前第１フィールドと現第１フィールドのうち、現第２フィールドと同じ時刻の画像のフィールドの追尾点の位置を、現第２フィールドの追尾点の位置とする。本発明は、例えば、追尾処理装置に適用することができる。
【選択図】図６

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、動画像内の追尾対象をより正確に追尾することができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、画像の内容を解析し、その検出結果を画像処理等に利用することが考えられている。例えば、ビデオカメラによる撮影画像のような動画像において、各フレーム画像の中で所望の部分を追尾点として特定し、その追尾点を追尾するように、画像を拡大したり、ビデオカメラ動作を制御したりすることが考えられている（例えば、特許文献１参照）。

動画像中に含まれるユーザが指定した対象を追尾する手法は、様々な方法が提案されている。例えば、ブロックマッチング処理により追尾する方法がある。

ブロックマッチングは、現在のフィールド（またはフレーム）画像と、１フィールド（または１フレーム）隣の画像を用い、それらブロックの差分値（評価値）から動きベクトルを求める手法として知られている。さらに追尾を実現するには、最初にユーザが指示した位置を起点として、フィールド（またはフレーム）毎に算出される動きベクトルを積算している。

図１は、このような追尾処理を、インタレース方式の動画像に対して行う場合の様子を模式的に示したものである。図１に示されるように、この動画像においてフレーム画像であるフレーム１１は、第１フィールド１１−１および第２フィールド１１−２の２つのフィールド画像により構成される。同様に、フレーム１１に続くフレーム１２は、第１フィールド１２−１および第２フィールド１２−２により構成され、フレーム１２に続くフレーム１３は、第１フィールド１３−１および第２フィールド１３−２により構成される。

このような動画像における追尾処理のブロックマッチングは、一般的に、連続するフィールド間（例えば、第１フィールド１１−１と第２フィールド１１−２）で行われるのではなく、隣り合うフレームの同一フィールド同士（例えば、第１フィールド１１−１と第１フィールド１２−１）で行われる。さらに、処理コスト削減等のために、各フレームのいずれか一方のフィールドのみブロックマッチングが行われ、他方のフィールドについては、前後に隣接するフィールドの値を用いて補間する（例えば前後のフィールドの平均値を適用する）ようになされている。つまり、第１フィールドまたは第２フィールドのいずれか一方が、ブロックマッチングするフィールドとして予め設定され、そのフィールドについては、連続するフレーム間の同一フィールド同士でブロックマッチングが行われ、その結果を用いて動きベクトルが算出されるが、他方のフィールドについては、時間的に前後に隣接するフィールドにおいて求められた動きベクトルの平均値等が補間されるようになされている。

例えば、あるフレームの第１フィールドにおける追尾点の位置をＰ（ｔ−１）、ブロックマッチングによって算出された動きをＶとすると、そのフレームの第２フィールドでの位置Ｐ'（ｔ−１）および次のフレームの第１フィールドでの位置Ｐ（ｔ）は、次の式（１）および式（２）のようになる。

Ｐ（ｔ）＝Ｐ（ｔ−１）＋Ｖ ・・・（１）
Ｐ’（ｔ−１）＝Ｐ（ｔ−１）＋Ｖ／２
＝｛Ｐ（ｔ−１）＋Ｐ（ｔ）｝／２ ・・・（２）

なお、一般的には、プログレッシブ方式の動画像の場合も同様に、ブロックマッチングは１フレーム飛ばしで行われる場合が多い。

ところで、例えば映画のような、２４フレーム毎秒のプログレッシブ方式の動画像（以下、２４ｐ画像と称する）を、例えばテレビジョン放送などで利用される６０フィールド毎秒のインタレース方式の動画像（以下、６０ｉ画像と称する）に変換することは、１枚のフレーム画像を２枚のフィールド画像または３枚のフィールド画像に分割することから、一般に２−３プルダウンと呼ばれている。

図２に２−３プルダウンの様子の例を示す。図２に示されるように、２４ｐ画像のある時刻のフレーム画像であるフレーム２１は、２つのフィールド画像にフィールド分割され、第１フィールドが６０ｉ画像のフレーム３１の第１フィールド３１−１とされ、第２フィールドが第２フィールド３１−２とされる。また、フレーム２１の次のフレーム２２は、同様に２つのフィールド画像にフィールド分割され、第１フィールドが６０ｉ画像の、フレーム３１の次のフレーム３２の第１フィールド３２−１と、フレーム３２の次のフレーム３３の第１フィールド３３−１とされ、第２フィールドがフレーム３２の第２フィールド３２−２とされる。

さらに、フレーム２２の次のフレーム２３は、同様に２つのフィールド画像にフィールド分割され、第１フィールドが６０ｉ画像の、フレーム３３の次のフレーム３４の第１フィールド３４−１とされ、第２フィールドがフレーム３３の第２フィールド３３−２とされる。また、フレーム２３の次のフレーム２４は、同様に２つのフィールド画像にフィールド分割され、第１フィールドがフレーム３４の次のフレーム３５の第１フィールド３５−１とされ、第２フィールドが６０ｉ画像の、フレーム３４の第２フィールド３４−２と、フレーム３５の第２フィールド３５−２とされる。

以上のように、２−３プルダウンにより、２４ｐ画像の各フレーム画像は、６０ｉ画像の２フィールドまたは３フィールドに変換される。

同様に、３０フレーム毎秒のプログレッシブ方式の動画像（以下、３０ｐ画像と称する）を、６０ｉ画像に変換することは、１枚のフレーム画像を２枚のフィールド画像に分割することから、一般に２−２プルダウンと呼ばれている。

図３は、２−２プルダウンの様子の例を示す図である。図３に示されるように、３０ｐ画像のある時刻のフレーム画像であるフレーム４１は、２つのフィールド画像にフィールド分割され、それぞれ６０ｉ画像のフレーム５１の第１フィールド５１−１、第２フィールド５１−２とされる。同様に、３０ｐ画像のフレーム４１に続くフレーム４２、フレーム４３、およびフレーム４４も、それぞれフィールド分割され、６０ｉ画像のフレーム５２の第１フィールド画像５２−１および第２フィールド画像５２−２、フレーム５３の第１フィールド画像５３−１および第２フィールド画像５３−２、並びに、フレーム５４の第１フィールド画像５４−１および第２フィールド画像５４−２に変換される。

このような変換処理は他にも様々なものがあり、例えば、フィールド分割せずに、２−３または２−２と並べて６０フレーム毎秒のプログレッシブ方式の動画像（以下、６０ｐ画像と称する）に変換するものもある。

いずれの変換の場合も、生成された動画像の各フィールド画像（またはフレーム画像）は、元の動画像の時間的に連続するフレーム画像を、（フィールド分割して）並び替えたものであり、時間的に不連続なものとなっている。

例えば、図１の例において、第１フィールド１１−１と第２フィールド１１−２の画像は互いに異なる時刻の画像であるが、図２の第１フィールド３１−１と第２フィールド３１−２は、同一のフレーム画像２１より生成されているので、互いに同時刻の画像である。このように、プルダウンにより生成された動画像において、連続するフィールド画像（またはフレーム画像）は、必ずしも時間的に連続していない。

特開２００５−３０３９８３号公報

しかしながら、このような時間的に不連続な画像についてブロックマッチングを行う場合、補間処理による追尾結果が本来の追尾対象よりずれてしまう恐れがあった。

図４は、２−３プルダウンにより生成された画像において追尾処理を行う場合について説明する図である。図４は、中央付近の点線を挟んで上段と下段に分けられ、上段の左側から右側、下段の左側から右側に進む順を時系列としている。上段および下段のそれぞれの上側に示されるフレーム６１乃至フレーム６５が２−３プルダウン前の時間的に連続するフレーム画像（例えば２４ｐ画像）を示している。例えば、フレーム６１が時刻ｔのフレーム画像であり、同様に、フレーム６２が時刻（ｔ＋１）のフレーム画像であり、フレーム６５が時刻（ｔ＋４）のフレーム画像である。

上段および下段のそれぞれの下側に示されるフィールド７１−１乃至フィールド７６−１が２−３プルダウン後の時間的に連続するフィールド画像（例えば６０ｉ画像）を示している。矢印は、２−３プルダウンによるフレームとフィールドの相対関係を示している。例えば、６０ｉ画像のフレーム７１の第１フィールドであるフィールド７１−１と、フレーム７１の第２フィールドであるフィールド７１−２は、２４ｐ画像のフレーム６１が変換されて生成されたものである。

同様に、６０ｉ画像のフレーム７２の第１フィールドであるフィールド７２−１、フレーム７２の第２フィールドであるフィールド７２−２、およびフレーム７３の第１フィールドであるフィールド７３−１は、２４ｐ画像のフレーム６２が変換されて生成されたものである。また、６０ｉ画像のフレーム７３の第２フィールドであるフィールド７３−２と、フレーム７４の第１フィールドであるフィールド７４−１は、２４ｐ画像のフレーム６３が変換されて生成されたものである。さらに、６０ｉ画像のフレーム７４の第２フィールドであるフィールド７４−２、フレーム７５の第１フィールドであるフィールド７５−１、およびフレーム７５の第２フィールドであるフィールド７５−２は、２４ｐ画像のフレーム６４が変換されて生成されたものである。そして６０ｉ画像のフレーム７６の第１フィールドであるフィールド７６−１は、２４ｐ画像のフレーム６５が変換されて生成されたものである。

各フレームおよびフィールドに示される星型の画像である追尾対象８１は、追尾処理により追尾する画像である。Ｐ（ｔ）は、フレーム６１における（時刻ｔにおける）追尾対象の位置を示しており、Ｐ（ｔ＋１）は、フレーム６２における（時刻ｔ＋１における）追尾対象の位置を示しており、Ｐ（ｔ＋２）は、フレーム６３における（時刻ｔ＋２における）追尾対象の位置を示しており、Ｐ（ｔ＋３）は、フレーム６４における（時刻ｔ＋３における）追尾対象の位置を示しており、Ｐ（ｔ＋４）は、フレーム６５における（時刻ｔ＋４における）追尾対象の位置を示している。

また、フィールド７１−１乃至フィールド７６−１に黒丸で示される追尾点８２は、追尾処理の処理結果（その時点における追尾先）を示している。なお、ここでは、各フレームの第１フィールドについてブロックマッチングを用いて追尾を行い、第２フィールドについては、前後に連続する第１フィールドの追尾点の平均値を用いて補間することにより追尾を行うものとする。

このような図４の例において、各フレームの第１フィールドであるフィールド７１−１、フィールド７２−１、フィールド７３−１、フィールド７４−１、フィールド７５−１、およびフィールド７６−１においては、ブロックマッチングにより追尾先が求められるため、追尾対象８１と追尾点８２の位置は基本的に一致する。

これに対して第２フィールドの追尾点８２は、補間処理により求められている。従って、例えば、フィールド７１−２において、追尾対象８１の位置は、フィールド７１−１と同様にＰ（ｔ）であるにも関わらず、追尾点８２の位置は、フィールド７１−１における追尾点８２の位置Ｐ（ｔ）と、フィールド７２−１における追尾点８２の位置Ｐ（ｔ＋１）の平均値、すなわち、｛Ｐ（ｔ）＋Ｐ（ｔ＋１）｝／２になる。従って、図４に示されるように、フィールド７１−２においては、追尾点８２の位置が追尾対象８１からずれてしまっている。同様の原理から、フィールド７３−２、フィールド７４−２、およびフィールド７５−２においては、追尾点８２と追尾対象８１の位置にずれが生じてしまう。

以上のように、連続するフィールドまたはフレームが、時間的に不連続な画像により構成される動画像においては、追尾処理の精度が低下する恐れがあった。

例えば、図５に示されるように、図４の各フィールドにおいて、求められた追尾点８２を中心とする部分画像を拡大して表示するような場合、その追尾点８２を中心点とする拡大画像において、追尾対象８１の位置がフィールド毎に変化し、安定的に定まらない恐れがあった。

図５に示される拡大画像９１−１は、図４のフィールド７１−１より、追尾点８２を中心とする所定の範囲の領域を抽出し、拡大したものである。同様に、拡大画像９１−２は、図４のフィールド７１−２より、追尾点８２を中心とする所定の範囲の領域を抽出し、拡大したものである。拡大画像９２−１乃至拡大画像９６−１も同様に、それぞれ、図４のフィールド７２−１乃至フィールド７６−１より抽出し、拡大したものである。つまり、図５において、拡大画像９１−１、拡大画像９１−２、拡大画像９２−１、拡大画像９２−２、拡大画像９３−１、拡大画像９３−２、拡大画像９４−１、拡大画像９４−２、拡大画像９５−１、拡大画像９５−２、および拡大画像９６−１は、この順に連続するフィールド画像である。

このような各画像よりなる動画像を実時間で見ると、上述したような追尾対象８１と追尾点８２の位置のずれにより、追尾対象８１の位置が細かく振動して見え、ユーザにとって不快な画像となる恐れがあった。

本発明はこのような問題を解決するためのものであり、時間的に連続するフィールド画像またはフレーム画像の内容が時間的に不連続である動画像の場合においても、追尾対象をより正確に追尾することができるようにするものである。

本発明の一側面は、時間的に連続する複数の画像の内容が時間的に不連続である動画像において、追尾対象である追尾点の画像を追尾する情報処理装置であって、前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチング手段と、前記ブロックマッチング手段により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間手段と、前記ブロックマッチング手段または前記補間手段により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出手段とを備える情報処理装置である。

前記動画像は、１枚のフレーム画像を２枚のフィールド画像または３枚のフィールド画像に分割する２−３プルダウン変換された動画像であることができる。

前記動画像は、１枚のフレーム画像を２枚のフィールド画像に分割する２−２プルダウン変換された動画像であることができる。

前記動きベクトル算出手段は、前記補間手段により特定された処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出手段と、前記ブロックマッチング手段により特定された処理対象の画像における前記追尾点の位置、および、前記補間手段により特定された前記処理対象の画像より前の画像における前記追尾点の位置に基づいて、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出手段とを備えることができる。

前記動きベクトル算出手段により算出された前記動きベクトルを積算する動きベクトル積算手段をさらに備えることができる。

前記動きベクトル積算手段により算出された前記動きベクトルの積算結果を、前記ブロックマッチング手段、前記補間手段、および前記動きベクトル算出手段に供給し、それぞれの前記追尾点の位置に関する設定を更新させる設定制御手段をさらに備えることができる。

本発明の一側面は、また、時間的に連続する複数の画像の内容が時間的に不連続である動画像において、追尾対象である追尾点の画像を追尾する情報処理装置の情報処理方法であって、前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定し、前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とする補間処理を行い、特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求めるステップを含む情報処理方法である。

本発明の一側面は、さらに、時間的に連続する複数の画像の内容が時間的に不連続である動画像において、追尾対象である追尾点の画像を追尾するプログラムにおいて、前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチングステップと、前記ブロックマッチングステップの処理により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間ステップと、前記ブロックマッチングステップの処理、または、前記補間ステップの処理により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出ステップとをコンピュータに実行させるプログラムである。

本発明の他の側面は、動画像において、追尾対象である追尾点の画像を追尾する情報処理装置であって、前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチング手段と、前記動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出する不連続性検出手段と、前記不連続性検出手段により時間的な不連続性が検出された場合、前記ブロックマッチング手段により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とし、前記不連続性検出手段により時間的な不連続性が検出されなかった場合、前記ブロックマッチング手段により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前の画像における前記追尾点の位置と、前記動画像において処理対象の画像の後の画像における前記追尾点の位置との中間点を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間手段と、前記ブロックマッチング手段または前記補間手段により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出手段とを備える情報処理装置である。

前記不連続性検出手段により時間的な不連続性が検出された動画像は、１枚のフレーム画像を２枚のフィールド画像または３枚のフィールド画像に分割する２−３プルダウン変換された動画像であることができる。

前記不連続性検出手段により時間的な不連続性が検出された動画像は、１枚のフレーム画像を２枚のフィールド画像に分割する２−２プルダウン変換された動画像であることができる。

前記動きベクトル算出手段は、前記補間手段により特定された処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出手段と、前記ブロックマッチング手段により特定された処理対象の画像における前記追尾点の位置、および、前記補間手段により特定された前記処理対象の画像より前の画像における前記追尾点の位置に基づいて、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出手段とを備えることができる。

前記動きベクトル算出手段により算出された前記動きベクトルを積算する動きベクトル積算手段をさらに備えることができる。

前記動きベクトル積算手段により算出された前記動きベクトルの積算結果を、前記ブロックマッチング手段、前記補間手段、および前記動きベクトル算出手段に供給し、それぞれの前記追尾点の位置に関する設定を更新させる設定制御手段をさらに備えることができる。

本発明の他の側面は、また、動画像において、追尾対象である追尾点の画像を追尾する情報処理装置の情報処理方法であって、前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定し、前記動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出し、時間的な不連続性が検出された場合、前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とし、時間的な不連続性が検出されなかった場合、前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前の画像における前記追尾点の位置と、前記動画像において処理対象の画像の後の画像における前記追尾点の位置との中間点を、前記処理対象の画像における前記追尾点の位置とする補間処理を行い、特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求めるステップを含む情報処理方法である。

本発明の他の側面は、さらに、動画像において、追尾対象である追尾点の画像を追尾するプログラムにおいて、前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチングステップと、前記動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出する不連続性検出ステップと、前記不連続性検出ステップの処理により時間的な不連続性が検出された場合、前記ブロックマッチングステップの処理により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とし、前記不連続性検出ステップの処理により時間的な不連続性が検出されなかった場合、前記ブロックマッチングステップの処理により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前の画像における前記追尾点の位置と、前記動画像において処理対象の画像の後の画像における前記追尾点の位置との中間点を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間ステップと、前記ブロックマッチングステップの処理、または、前記補間ステップの処理により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出ステップとをコンピュータに実行させるプログラムである。

本発明の一側面においては、時間的に連続する複数の画像の内容が時間的に不連続である動画像の一部の画像について、処理対象の画像と、処理対象の画像より時間的に前の画像とを比較するブロックマッチングが行われ、処理対象の画像における追尾点の位置が特定され、ブロックマッチングが行われない画像について、動画像において処理対象の画像の前または後の画像であって、内容が処理対象の画像と同時刻の画像における追尾点の位置が、処理対象の画像における追尾点の位置とされ、特定された処理対象の画像における追尾点の位置に基づいて、処理対象の画像より時間的に前の画像から処理対象の画像への追尾点の動きベクトルが求められる。

本発明の他の側面においては、動画像の一部の画像について、処理対象の画像と、処理対象の画像より時間的に前の画像とを比較するブロックマッチングが行われ、処理対象の画像における追尾点の位置が特定され、動画像の時間的に連続する複数の画像の内容について、時間的な不連続性が検出され、時間的な不連続性が検出された場合、ブロックマッチングが行われない画像について、動画像において処理対象の画像の前または後の画像であって、内容が処理対象の画像と同時刻の画像における追尾点の位置が、処理対象の画像における追尾点の位置とされ、時間的な不連続性が検出されなかった場合、ブロックマッチングが行われない画像について、動画像において処理対象の画像の前の画像における追尾点の位置と、動画像において処理対象の画像の後の画像における追尾点の位置との中間点が、処理対象の画像における追尾点の位置とされる補間処理が行われ、特定された処理対象の画像における追尾点の位置に基づいて、処理対象の画像より時間的に前の画像から処理対象の画像への追尾点の動きベクトルが求められる。

本発明によれば、情報を処理することができる。特に、時間的に連続するフィールド画像またはフレーム画像の内容が時間的に不連続である動画像の場合においても、追尾対象をより正確に追尾することができる。

図６は、本発明を適用した追尾処理装置の主な構成例を示すブロック図である。図６に示される追尾処理装置１００は、入力された動画像データの画像内に含まれる追尾対象をフィールド（またはフレーム）毎に追尾し、その動きベクトルを求め、追尾結果として出力する装置である。

なお、以下において、説明の便宜上、処理対象の動画像はインタレース方式であり、追尾処理装置１００には、フィールド単位で入力され、フィールド毎に処理されるものとする。もちろん、入力画像をプログレッシブ方式とし、フレーム単位で追尾処理装置１００に入力され、処理されるようにしてもよい。その場合も、以下に説明する各処理は、フィールドをフレームに置き換えるだけ（以下の説明におけるフレームは、時間的に連続する２フレームということになる）で、基本的にインタレース方式の場合と同様に行われる、したがって、以下の説明は、特に、インタレース方式の動画像とプログレッシブ方式の動画像とで分けて説明しない限り、プログレッシブ方式の動画像を処理する場合についても適用可能であるものとする。

追尾処理装置１００は、第１フィールドの画像が入力される度に、追尾処理を行う。つまり、ある第１フレームの第２フィールドと、その次の第２フレームの第１フィールドが入力されると、追尾処理装置１００は、追尾処理を行う。そして、第２フレームの第２フィールドが入力され、さらに、第３フレームの第１フィールドが入力されると、次の追尾処理が開始される。

このような追尾処理において、今回入力される第１フィールドを現第１フィールドと称し、今回入力される第２フィールドを現第２フィールドと称する。つまり、現第２フィールドは、現第１フィールドのフレームの時間的に１つ前のフレームの画像である。また、現第２フィールドと同じフレームの第１フィールド（既に入力されている第１フィールド）を前第１フィールドと称する。

また、画像内に含まれる追尾対象を追尾点とし、その追尾点を含む所定の領域を追尾ブロックとする。このブロックは、フィールド画像の一部の領域を構成する部分画像である。このブロックの画像サイズおよび形状は、予め定められていればどのようなサイズおよび形状であってもよいが、例えば３２画素×３２画素のような矩形の領域である場合が多い。

また、以下においては、第１フィールドの追尾処理は、ブロックマッチングにより行われ、第２にフィールドの追尾処理は、補間処理により行われるものとして説明する。もちろん、第２フィールドの追尾処理をブロックマッチングにより行い、第１フィールドの追尾処理を補間処理により行うようにしてもよい。

ここで、ブロックマッチングの手法は一般的に多数存在するが、追尾点の位置の動きベクトルを求めることができるものであれば基本的にどれを用いてもよいが、以下においては、前第１フィールドの注目ブロックと現第１フィールドの比較対象ブロックを比較し、互いの画像の類似度を求め、注目ブロックに最も類似する比較対象ブロックを求める処理をブロックマッチングと称する。

なお、このブロックマッチングにおいて、注目ブロックは比較元のブロックのことを示し、比較対象ブロックは、比較先のブロック（注目ブロックに対する類似度が算出されるブロック）を示す。また、ブロックには、基準となる点（基準点）が１つ設定される。ブロックとその基準点の位置関係は予め定められており、どのブロックにおいても共通とされる。以下において、注目ブロックの基準点を注目点と称し、比較対象ブロックの基準点を比較点とする。また、以下においては、基準点は、対応するブロックの中心点であるものとする。

図６に示されるように、追尾処理装置１００は、画像保持部１０１、第１フィールド追尾処理部１０２、不連続性検出部１０３、第２フィールド追尾処理部１０４、動きベクトル積算部１０５、および設定制御部１０６を有する。

画像保持部１０１は、例えば半導体メモリ等の記憶媒体により構成され、追尾処理装置１００に入力される入力動画像の各フィールド画像を必要数分保持する。

第１フィールド追尾処理部１０２は、第１フィールドにおいて追尾点の位置を特定する追尾処理を行う。第１フィールド追尾処理部１０２は、前第１フィールドと現第１フィールドの画像を取得し、ブロックマッチングを行う。

つまり、第１フィールド追尾処理部１０２は、ブロックマッチングにより、既に求められている前第１フィールドにおける追尾ブロックに対する類似度が最も高い比較対象ブロックを現第１フィールドにおいて特定し、その比較対象ブロックの比較点を、現第１フィールドにおける追尾点として特定し、さらに、現第２フィールドにおいて追尾点が特定された後、現第２フィールドと現第１フィールドとの間の、追尾点の位置の動きを表す動きベクトルを求める。第１フィールド追尾処理部１０２は、求めた動きベクトルを動きベクトル積算部１０５に供給する。

このような第１フィールド追尾処理部１０２は、図１に示されるように、ブロックマッチング部１１１および動きベクトル算出部１１２を有する。

ブロックマッチング部１１１は、画像保持部１０１より前第１フィールドおよび現第１フィールドの画像をそれぞれ取得し、設定制御部１０６より供給された追尾結果に関する情報に基づいて、前第１フィールドにおける追尾ブロックを注目ブロックとして（追尾点を注目点として）入力された動画像の一部の画像（第１フィールド）について、処理対象の画像（現第１フィールド）と、処理対象の画像より時間的に前の画像（前第１フィールド）とを比較するブロックマッチングを行う。

一般に、ブロックマッチング処理は画像処理において広く利用される技術であるので、例えば、装置内の他の画像処理においてブロックマッチング処理が行われているような場合、そのアルゴリズムを流用することもできる。なお、例えば、他の装置や他の処理部において行われる処理において、同様のブロックマッチング処理が行われる場合、ブロックマッチング部１１１が、その処理結果を利用することも可能である。

ブロックマッチング部１１１は、注目点に最もマッチした比較点（比較対象ブロック）についての情報（現第１フィールドにおける追尾点の位置情報）を動きベクトル算出部１１２および第２フィールド追尾処理部１０４に供給する。

動きベクトル算出部１１２は、第２フィールド追尾処理部１０４の動きベクトル算出部１３２により、前第１フィールドから現第２フィールドへの追尾点の動きベクトルが求められた後で、その動きベクトル算出部１３２より、前第１フィールドから現第２フィールドへの追尾点の動きベクトルを取得し、ブロックマッチング処理部１１１より供給された、現第１フィールドの比較点（比較対象ブロック）の情報を用いて、現第２フィールドから現第１フィールドへの追尾点の動きベクトルを算出し、その動きベクトルの情報を動きベクトル積算部１０５に供給する。

不連続性検出部１０３は、画像保持部１０１より連続する複数のフィールド画像を取得すると、それらに基づいて、例えば特開２００７−８２０４０号公報に記載されている方法を用い、入力された動画像の時間的に連続するフィールドの各画像が時間的に不連続であるか否かを判定し、動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出する。不連続性検出部１０３は、評価値特徴量算出部１２１および状態推定部１２２を有する。

評価値特徴量算出部１２１は、入力された動画像の時間的に連続する複数のフィールドの画像の時間的な連続性の判定に関する情報、例えば、評価値、閾値、および特徴量等の所定の情報を求め、それらの情報を状態推定部１２２に供給する。

状態推定部１２２は、評価値特徴量算出部１２１より供給された情報に基づいて、入力された動画像が時間的に不連続な画像を含むか否か、入力された動画像が変換されたものであるか否か、どの様な変換が行われたか、および、現第２フィールドがその変換パターンにおけるどの状態（フィールド）にあたるかを推定する。例えば、状態推定部１２２は、評価値特徴量算出部１２１より供給された情報に基づいて、入力された動画像が、時間的に不連続な画像を含み、２４ｐ画像を２−３プルダウンして得られた６０ｉ画像であり、現第２フィールドが、図２に示される２−３プルダウンの変換パターンの第２フィールド３３−２に該当するということを推定する。状態推定部１２２は、その推定結果を第２フィールド追尾処理部１０４の補間処理部１３１に供給する。

第２フィールド追尾処理部１０４は、状態推定部１２２より供給された情報に基づいて、周囲のフィールドの動きベクトルを用いた補間処理により現第２フィールドにおける追尾点の動きベクトルを求める。

第２フィールド追尾処理部１０４は、補間処理部１３１および動きベクトル算出部１３２を有する。補間処理部１３１は、状態推定部１２２より供給された情報に応じた方法で、時間的に前または後に連続するフィールドの追尾点の位置を参考にして追尾点を決定する。

例えば、入力された動画像が時間的に不連続な画像を含まないと判定された場合（つまり、時間的な不連続性が検出されなかった場合）、補間処理部１３１は、設定制御部１０６より供給された追尾ベクトルの積算値の情報（前第１フィールドにおける追尾点の位置情報）、および、ブロックマッチング１１１より供給された現第１フィールドにおける追尾点の位置情報に基づいて、前第１フィールドおよび現第１フィールドにおける追尾点の位置の中間点を、現第２フィールドの追尾点の位置として特定する。

また、入力された動画像が時間的に不連続な画像を含むと判定された場合（つまり、時間的な不連続性が検出された場合）、補間処理部１３１は、状態推定部１２２より供給された、現第２フィールドが変換パターンのどのフィールドにあたるかを示す情報に基づいて、前第１フィールドと現第１フィールドのうち、現第２フィールドと同じ時刻の画像の方を選択し、設定制御部１０６より供給された前第１フィールドにおける追尾点の位置情報、または、ブロックマッチング部１１１より供給された現第１フィールドにおける追尾点の位置情報に基づいて、そのフィールドの追尾点の位置を、現第２フィールドの追尾点の位置とする。

動きベクトル算出部１３２は、設定制御部１０６より供給された追尾ベクトルの積算値の情報（前第１フィールドにおける追尾点の位置情報）、および、以上のように特定された現第２フィールドの追尾点の位置に基づいて、前第１フィールドから現第２フィールドへの追尾点の動きベクトルを算出する。動きベクトル算出部１３２は、以上のように算出した動きベクトルを動きベクトル積算部１０５に供給するとともに、動きベクトル算出部１１２に供給する。

なお、動きベクトル算出部１１２は、動きベクトル算出部１３２の処理結果（動きベクトル）を利用するように説明したが、補間処理部１３１の処理結果（現第２フィールドの追尾点の位置）を取得し、それを用いて現第２フィールドから現第１フィールドへの追尾点の動きベクトルを算出するようにしてもよい。また、動きベクトル算出部１１２と動きベクトル１３２を１つの処理部としてもよい。

動きベクトル積算部１０５は、第１フィールド追尾処理部１０２または第２フィールド追尾処理部１０４よりフィールド毎に供給される動きベクトルを積算（それまでに算出された動きベクトルの積算結果に加算）し、その積算結果を追尾結果として追尾処理装置１００の外部に出力するとともに、設定制御部１０６に供給する。また、動きベクトル積算部１０５は、その積算結果を次の動きベクトルの積算に利用するために保持する。

設定制御部１０６は、動きベクトル積算部１０５より供給される追尾結果に基づいて、追尾点（および追尾ブロック）の位置情報を第１フィールド追尾処理部１０２および第２フィールド追尾処理部１０４に供給する。

次に、図７のフローチャートを参照して、図６の追尾処理装置１００により実行される追尾処理の流れの例を説明する。

第２フィールド画像と、その次のフレームの第１フィールド画像が入力されると、追尾処理装置１００は、追尾処理を開始する。画像保持部１０１は、ステップＳ１において、入力されたフィールド画像（入力画像）のデータを保持する。ステップＳ２において、第１フィールド追尾処理部１０２のブロックマッチング部１１１は、ブロックマッチング追尾処理を行う。このブロックマッチング追尾処理の詳細については後述する。

ステップＳ３において、不連続性検出部１０３は、追尾処理装置１００に入力された入力画像について不連続性の検出を行う。この不連続性検出処理の詳細については後述する。不連続性検出処理が終了すると、第２フィールド追尾処理部１０４は、ステップＳ４において、ステップＳ３の処理により得られた検出結果に応じて、補間処理を行う。この補間処理の詳細については後述する。ステップＳ４の処理が終了されると、第１フィールド追尾処理部１０４の動きベクトル算出部１１２は、ステップＳ５において、現第２フィールドから現第１フィールドへの追尾点の動きベクトルを求める。

ステップＳ６において、動きベクトル積算部１０５は、ステップＳ４またはステップＳ５の処理結果として得られた追尾点の動きベクトルを、これまでに得られた追尾点の動きベクトルの積算結果にさらに加算することにより積算する。

ステップＳ７において、設定制御部１０６は、追尾結果（ステップＳ６において算出された動きベクトルの積算結果）を、第１フィールド追尾処理部１０２および第２フィールド追尾処理部１０４に供給し、それぞれの追尾点の設定に反映させる。

ステップＳ７の処理を終了すると、設定制御部１０６は、追尾処理を終了する。

追尾処理装置１００は、第１フィールド画像が入力されるたびに、以上のような追尾処理を繰り返す。

次に、図８のフローチャートを参照して、図７のステップＳ２において実行されるブロックマッチング追尾処理の流れの詳細な例を説明する。

ブロックマッチング追尾処理が開始されると、ブロックマッチング部１１１は、ステップＳ２１において、前第１フィールドにおいて追尾点および追尾ブロックを特定する。

ステップＳ２２において、ブロックマッチング部１１１は、連続するフレーム間で第１フィールド同士（すなわち、前第１フィールドと現第１フィールド）のブロックマッチングを行い、現第１フィールドにおける追尾点を特定する。ブロックマッチング部１１１は、前第１フィールドと現第１フィールドでブロックマッチングを行うことにより、前第１フィールドの追尾ブロックに対する類似度が最も高い比較対象ブロックを現第１フィールドにおいて特定し、その比較対象ブロックの比較点を現第１フィールドにおける追尾点として特定する。

現第１フィールドにおいて追尾点の位置が特定されると、ブロックマッチング部１１１は、ブロックマッチング追尾処理を終了させ、処理を図７のステップＳ２に戻し、ステップＳ３以降の処理を実行させる。

次に、図９のフローチャートを参照して、図７のステップＳ３において実行される不連続性検出処理の詳細な流れの例を説明する。

不連続性検出処理が開始されると、評価値特徴量算出部１２１は、ステップＳ４１において、例えば特開２００７−８２０４０号公報に記載されている方法を用い、評価値、閾値、および特徴量等の、不連続性の検出に必要な所定の情報を求める。情報が得られると、状態推定部１２２は、ステップＳ４２において、ステップＳ４１の処理により得られた情報に基づいて、例えば特開２００７−８２０４０号公報に記載されている方法を用い、変換の有無、変換方式、および現在の状態を推定する。

ステップＳ４２の処理を終了すると、状態推定部１２２は、不連続性検出処理を終了し、処理を図７のステップＳ３に戻し、ステップＳ４以降の処理を実行する。

次に、図７のステップＳ４において実行される補間処理について、図１０のフローチャートを参照して説明する。

補間処理が開始されると、第２フィールド追尾処理部１０４の補間処理部１３１は、ステップＳ６１において、図９のステップＳ４２において得られた推定結果に基づいて、入力画像のフィールド間に不連続性が検出されたか否かを判定する。不連続性が検出されたと判定した場合、補間処理部１３１は、処理をステップＳ６２に進め、図９のステップＳ４２において得られた推定結果に基づいて、現第２フィールドの画像の時刻が、前第１フィールドの画像の時刻と一致するか否かを判定する。

前第１フィールドと現第２フィールドの画像が同一のフレーム画像より作成されており、時刻が一致すると判定した場合、補間処理部１３１は、処理をステップＳ６３に進め、現第２フィールドの追尾点の位置を前第１フィールドと同じ位置に設定する。つまり、この場合、前第１フィールドと現第２フィールドとで追尾点の位置が変化しないので、動きベクトル算出部１３２は、ステップＳ６４において、前第１フィールドから現第２フィールドへの追尾点の位置の動きベクトルを「０」とし、補間処理を終了し、処理を図７のステップＳ４に戻し、ステップＳ５以降の処理を実行させる。

また、ステップＳ６２において、現第２フィールドの画像の時刻が、前第１フィールドの画像の時刻と一致しないと判定された場合、補間処理部１３１は、処理をステップＳ６５に進める。この場合、現第２フィールドの画像は現第１フィールドの画像と同一のフレーム画像より作成されている。つまり、現第２フィールドの画像の時刻は、現第１フィールドの画像の時刻と一致する。そこで、補間処理部１３１は、ステップＳ６５において、現第２フィールドの追尾点の位置を現第１フィールドと同じ位置に設定する。この場合、前第１フィールドと現第２フィールドとで追尾点の位置が変化する可能性があるので、動きベクトル算出部１３２は、ステップＳ６６において、前第１フィールドからの動きベクトルを求める。ちなみに、この場合、図７のステップＳ５において算出される現第２フィールドから現第１フィールドへの追尾点の位置の動きベクトルは「０」となる。動きベクトルを求めると、動きベクトル算出部１３２は、補間処理を終了し、処理を図７のステップＳ４に戻し、ステップＳ５以降の処理を実行させる。

また、ステップＳ６１において、入力画像のフィールド間に不連続性が検出されなかったと判定した場合、補間処理部１３１は、処理をステップＳ６７に進め、現第２フィールドの追尾点の位置を、前第１フィールドおよび現第１フィールドのそれぞれにおける追尾点の位置の中間に設定し、処理をステップＳ６６に戻される。ステップＳ６６において、動きベクトル算出部１３２は、前第１フィールドから現第２フィールドへの追尾点の動きベクトルを求める。

以上のように、ステップＳ６４の処理またはステップＳ６６の処理が行われると、動きベクトル算出部１３２は、補間処理を終了する。

以上のように、追尾処理装置１００は、フィールド画像が連続しない場合、１つ前のフィールドまたは１つ後のフィールドのうち、時刻が同一である方のフィールドを参照して追尾点の位置を決定する。このようにすることにより、追尾処理装置１００は、時間的に連続するフィールド画像またはフレーム画像の内容が時間的に不連続である動画像の場合においても、追尾対象をより正確に追尾することができる。

図１１および図１２を参照して、このような、時間的に連続するフィールドまたはフレームが、時間的に不連続な画像により構成される動画像の場合における追尾の様子の具体的な例を説明する。

図１１は、２４ｐ画像が２−３プルダウンされて得られた６０ｉ画像の場合の例を示している。図１１は、図４に対応する図である。

図１１は、図４と同様に、中央付近の点線を挟んで上段と下段に分けられ、上段の左側から右側、下段の左側から右側に進む順を時系列としている。上段および下段のそれぞれの上側に示されるフレーム１６１乃至フレーム１６５が２−３プルダウン前の時間的に連続するフレーム画像を示している。例えば、フレーム１６１が時刻ｔのフレーム画像であり、同様に、フレーム１６２が時刻（ｔ＋１）のフレーム画像であり、フレーム１６５が時刻（ｔ＋４）のフレーム画像である。

上段および下段のそれぞれの下側に示されるフィールド１７１−１乃至フィールド１７６−１が２−３プルダウン後の時間的に連続するフィールド画像を示している。矢印は、２−３プルダウンによるフレームとフィールドの相対関係を示している。例えば、６０ｉ画像のフレーム１７１の第１フィールドであるフィールド１７１−１と、フレーム１７１の第２フィールドであるフィールド１７１−２は、２４ｐ画像のフレーム１６１が変換されて生成されたものである。

同様に、６０ｉ画像のフレーム１７２の第１フィールドであるフィールド１７２−１、フレーム１７２の第２フィールドであるフィールド１７２−２、およびフレーム１７３の第１フィールドであるフィールド１７３−１は、２４ｐ画像のフレーム１６２が変換されて生成されたものである。また、６０ｉ画像のフレーム１７３の第２フィールドであるフィールド１７３−２と、フレーム１７４の第１フィールドであるフィールド１７４−１は、２４ｐ画像のフレーム１６３が変換されて生成されたものである。さらに、６０ｉ画像のフレーム１７４の第２フィールドであるフィールド１７４−２、フレーム１７５の第１フィールドであるフィールド１７５−１、およびフレーム１７５の第２フィールドであるフィールド１７５−２は、２４ｐ画像のフレーム１６４が変換されて生成されたものである。そして６０ｉ画像のフレーム１７６の第１フィールドであるフィールド１７６−１は、２４ｐ画像のフレーム１６５が変換されて生成されたものである。

各フレームおよびフィールドに示される星型の画像である追尾対象１８１は、追尾処理により追尾する画像である。Ｐ（ｔ）は、フレーム１６１における（時刻ｔにおける）追尾対象１８１の位置を示しており、Ｐ（ｔ＋１）は、フレーム１６２における（時刻ｔ＋１における）追尾対象１８１の位置を示しており、Ｐ（ｔ＋２）は、フレーム１６３における（時刻ｔ＋２における）追尾対象１８１の位置を示しており、Ｐ（ｔ＋３）は、フレーム１６４における（時刻ｔ＋３における）追尾対象１８１の位置を示しており、Ｐ（ｔ＋４）は、フレーム１６５における（時刻ｔ＋４における）追尾対象１８１の位置を示している。

また、フィールド１７１−１乃至フィールド１７６−１に黒丸で示される追尾点１８２は、追尾処理の処理結果（その時点における追尾結果）を示している。なお、ここでは、各フレームの第１フィールドについてブロックマッチングを用いて追尾を行い、第２フィールドについては、前後に連続する第１フィールドの追尾点を用いて補間することにより追尾を行うものとする。

このような図１１の例において、各フレームの第１フィールドであるフィールド１７１−１、フィールド１７２−１、フィールド１７３−１、フィールド１７４−１、フィールド１７５−１、およびフィールド１７６−１においては、ブロックマッチングにより追尾先が求められるため、追尾対象１８１と追尾点１８２の位置は基本的に一致する。

ところが、２−３プルダウンされた図１１に示される動画像はフィールドが不連続であるので、上述したような追尾処理により、第２フィールドの、例えばフィールド１７１−２の追尾点１８２は、フィールド１７１−２と同時刻の画像であるフィールド１７１−１における追尾点１８２の位置に設定される。

また、同様に、フィールド１７２−２の追尾点１８２は、同時刻の画像であるフィールド１７２−１における追尾点１８２の位置に設定され、フィールド１７３−２の追尾点１８２は、同時刻の画像であるフィールド１７４−１における追尾点１８２の位置に設定され、フィールド１７４−２の追尾点１８２は、同時刻の画像であるフィールド１７５−１における追尾点１８２の位置に設定され、フィールド１７５−２の追尾点１８２は、同時刻の画像であるフィールド１７５−１における追尾点１８２の位置に設定される。

したがって、第１フィールドだけでなく第２フィールドにおいても、追尾点１８２の位置が追尾対象１８１に一致する。

図１２は、３０ｐ画像が２−２プルダウンされて得られた６０ｉ画像の場合の例を示している。図１２は、図１１に対応する図である。

図１２は、図１１と同様に、中央付近の点線を挟んで上段と下段に分けられ、上段の左側から右側、下段の左側から右側に進む順を時系列としている。上段および下段のそれぞれの上側に示されるフレーム２６１乃至フレーム２６５が２−２プルダウン前の時間的に連続するフレーム画像を示している。例えば、フレーム２６１が時刻ｔのフレーム画像であり、同様に、フレーム２６２が時刻（ｔ＋１）のフレーム画像であり、フレーム２６５が時刻（ｔ＋４）のフレーム画像である。

上段および下段のそれぞれの下側に示されるフィールド２７１−１乃至フィールド２７５−２が２−２プルダウン後の時間的に連続するフィールド画像を示している。矢印は、２−２プルダウンによるフレームとフィールドの相対関係を示している。例えば、フィールド２７１−１およびフィールド２７１−２は、フレーム２６１が変換されて生成されたものである。

各フレームおよびフィールドに示される星型の画像である追尾対象２８１は、追尾処理により追尾する画像である。Ｐ（ｔ）は、フレーム２６１における（時刻ｔにおける）追尾対象２８１の位置を示しており、Ｐ（ｔ＋１）は、フレーム２６２における（時刻ｔ＋１における）追尾対象２８１の位置を示しており、Ｐ（ｔ＋２）は、フレーム２６３における（時刻ｔ＋２における）追尾対象２８１の位置を示しており、Ｐ（ｔ＋３）は、フレーム２６４における（時刻ｔ＋３における）追尾対象２８１の位置を示しており、Ｐ（ｔ＋４）は、フレーム２６５における（時刻ｔ＋４における）追尾対象２８１の位置を示している。

また、フィールド２７１−１乃至フィールド２７５−２に黒丸で示される追尾点２８２は、追尾処理の処理結果（その時点における追尾結果）を示している。なお、ここでは、各フレームの第１フィールドについてブロックマッチングを用いて追尾を行い、第２フィールドについては、前後に連続する第１フィールドの追尾点を用いて補間することにより追尾を行うものとする。

このような図１２の例において、各フレームの第１フィールドであるフィールド２７１−１、フィールド２７２−１、フィールド２７３−１、フィールド２７４−１、およびフィールド２７５−１においては、ブロックマッチングにより追尾先が求められるため、追尾対象２８１と追尾点２８２の位置は基本的に一致する。

ところが、２−２プルダウンされた図１２に示される動画像はフィールドが不連続であるので、上述したような追尾処理により、第２フィールドの、例えばフィールド２７１−２の追尾点１８２は、フィールド２７１−２と同時刻の画像であるフィールド２７１−１における追尾点２８２の位置に設定される。

また、同様に、フィールド２７２−２の追尾点２８２は、同時刻の画像であるフィールド２７２−１における追尾点２８２の位置に設定され、フィールド２７３−２の追尾点２８２は、同時刻の画像であるフィールド２７３−１における追尾点２８２の位置に設定され、フィールド２７４−２の追尾点２８２は、同時刻の画像であるフィールド２７４−１における追尾点２８２の位置に設定され、フィールド２７５−２の追尾点２８２は、同時刻の画像であるフィールド２７５−１における追尾点２８２の位置に設定される。

したがって、第１フィールドだけでなく第２フィールドにおいても、追尾点２８２の位置が追尾対象２８１に一致する。

以上のように、追尾処理装置１００は、プルダウンの方式に関わらず、追尾対象をより正確に追尾することができる。

以上のような、追尾処理装置１００を追尾処理部とし、他の処理を行う装置に組み込むようにしてもよい。

図１３は、本発明を適用した監視カメラ装置の構成例を示すブロック図である。図１３に示される監視カメラ装置３００は、所定の部屋や区域等を映像で監視するために用いられる装置であり、撮像画像に対する、上述したような追尾処理結果をカメラの制御処理に利用する装置である。

監視カメラ装置３００は、例えばCCDビデオカメラ等よりなる撮像部３１１により撮像された画像を画像ディスプレイ３１２に表示させる。ユーザ（監視人）は、その画像ディスプレイ３１２に表示された画像を閲覧することにより、撮像部３１１が撮像する空間の様子を把握する（監視する）。

追尾処理部３１３は、撮像部３１１により入力された画像に対して、上述したような追尾処理を行い、現画像において所定の追尾対象を検出し、その検出結果をカメラ駆動部３１４に供給する。カメラ駆動部３１４は、その追尾対象を追うように撮像部３１１を駆動し、例えば、ズームやフォーカスの調整を行ったり、チルトやパン等を行ったり、静止画撮影を実行させたりする。

上述したように、追尾処理部３１３は、時間的に連続するフィールド画像またはフレーム画像の内容が時間的に不連続である動画像の場合においても、追尾対象をより正確に追尾することができ、カメラ駆動部３１４は、より適切に撮像部３１１を駆動することができる。つまり、監視カメラ装置３００は、より適切な監視行動を行うことができる。

もちろん、本発明を適用した追尾処理部は、不連続性検出結果を利用した処理を行う装置であれば、監視カメラ装置以外のどのような装置にも適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図１４において、パーソナルコンピュータ４００のCPU（Central Processing Unit）４０１は、ROM（Read Only Memory）４０２に記憶されているプログラム、または記憶部４１３からRAM（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

インタレース方式の動画像の追尾処理の様子の例を示す図である。 ２−３プルダウンの様子の例を示す図である。 ２−２プルダウンの様子の例を示す図である。 ２−３プルダウンにより生成された動画像の追尾処理の例を示す図である。 図４の例における追尾点を中心とする拡大画像の例を示す図である。 本発明を適用した追尾処理装置の主な構成例を示すブロック図である。 追尾処理の流れの例を説明するフローチャートである。 ブロックマッチング追尾処理の流れの例を説明するフローチャートである。 不連続性検出処理の流れの例を説明するフローチャートである。 補間処理の流れの例を説明するフローチャートである。 ２４ｐ画像を２−３プルダウンした６０ｉ画像の例を示す図である。 ３０ｐ画像を２−２プルダウンした６０ｉ画像の例を示す図である。 本発明を適用した監視カメラ装置の主な構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ 追尾処理装置， １０１ 画像保持部， １０２ 第１フィールド追尾処理部， １０３ 不連続性検出部， １０４ 第２フィールド追尾処理部， １０５ 動きベクトル積算部， １０６ 設定制御部， １１１ ブロックマッチング部， １１２ 動きベクトル算出部， １２１ 評価値特徴量算出部， １２２ 状態推定部， １３１ 補間処理部， １３２ 動きベクトル算出部

Claims (16)

1. 時間的に連続する複数の画像の内容が時間的に不連続である動画像において、追尾対象である追尾点の画像を追尾する情報処理装置であって、
   前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチング手段と、
   前記ブロックマッチング手段により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間手段と、
   前記ブロックマッチング手段または前記補間手段により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出手段と
   を備える情報処理装置。
2. 前記動画像は、１枚のフレーム画像を２枚のフィールド画像または３枚のフィールド画像に分割する２−３プルダウン変換された動画像である
   請求項１に記載の情報処理装置。
3. 前記動画像は、１枚のフレーム画像を２枚のフィールド画像に分割する２−２プルダウン変換された動画像である
   請求項１に記載の情報処理装置。
4. 前記動きベクトル算出手段は、
   前記補間手段により特定された処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出手段と、
   前記ブロックマッチング手段により特定された処理対象の画像における前記追尾点の位置、および、前記補間手段により特定された前記処理対象の画像より前の画像における前記追尾点の位置に基づいて、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出手段と
   を備える請求項１に記載の情報処理装置。
5. 前記動きベクトル算出手段により算出された前記動きベクトルを積算する動きベクトル積算手段をさらに備える
   請求項１に記載の情報処理装置。
6. 前記動きベクトル積算手段により算出された前記動きベクトルの積算結果を、前記ブロックマッチング手段、前記補間手段、および前記動きベクトル算出手段に供給し、それぞれの前記追尾点の位置に関する設定を更新させる設定制御手段をさらに備える
   請求項５に記載の情報処理装置。
7. 時間的に連続する複数の画像の内容が時間的に不連続である動画像において、追尾対象である追尾点の画像を追尾する情報処理装置の情報処理方法であって、
   前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定し、
   前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とする補間処理を行い、
   特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める
   ステップを含む情報処理方法。
8. 時間的に連続する複数の画像の内容が時間的に不連続である動画像において、追尾対象である追尾点の画像を追尾するプログラムにおいて、
   前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチングステップと、
   前記ブロックマッチングステップの処理により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間ステップと、
   前記ブロックマッチングステップの処理、または、前記補間ステップの処理により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出ステップと
   をコンピュータに実行させるプログラム。
9. 動画像において、追尾対象である追尾点の画像を追尾する情報処理装置であって、
   前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチング手段と、
   前記動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出する不連続性検出手段と、
   前記不連続性検出手段により時間的な不連続性が検出された場合、前記ブロックマッチング手段により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とし、前記不連続性検出手段により時間的な不連続性が検出されなかった場合、前記ブロックマッチング手段により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前の画像における前記追尾点の位置と、前記動画像において処理対象の画像の後の画像における前記追尾点の位置との中間点を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間手段と、
   前記ブロックマッチング手段または前記補間手段により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出手段と
   を備える情報処理装置。
10. 前記不連続性検出手段により時間的な不連続性が検出された動画像は、１枚のフレーム画像を２枚のフィールド画像または３枚のフィールド画像に分割する２−３プルダウン変換された動画像である
    請求項９に記載の情報処理装置。
11. 前記不連続性検出手段により時間的な不連続性が検出された動画像は、１枚のフレーム画像を２枚のフィールド画像に分割する２−２プルダウン変換された動画像である
    請求項９に記載の情報処理装置。
12. 前記動きベクトル算出手段は、
    前記補間手段により特定された処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出手段と、
    前記ブロックマッチング手段により特定された処理対象の画像における前記追尾点の位置、および、前記補間手段により特定された前記処理対象の画像より前の画像における前記追尾点の位置に基づいて、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出手段と
    を備える請求項９に記載の情報処理装置。
13. 前記動きベクトル算出手段により算出された前記動きベクトルを積算する動きベクトル積算手段をさらに備える
    請求項９に記載の情報処理装置。
14. 前記動きベクトル積算手段により算出された前記動きベクトルの積算結果を、前記ブロックマッチング手段、前記補間手段、および前記動きベクトル算出手段に供給し、それぞれの前記追尾点の位置に関する設定を更新させる設定制御手段をさらに備える
    請求項１３に記載の情報処理装置。
15. 動画像において、追尾対象である追尾点の画像を追尾する情報処理装置の情報処理方法であって、
    前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定し、
    前記動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出し、
    時間的な不連続性が検出された場合、前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とし、時間的な不連続性が検出されなかった場合、前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前の画像における前記追尾点の位置と、前記動画像において処理対象の画像の後の画像における前記追尾点の位置との中間点を、前記処理対象の画像における前記追尾点の位置とする補間処理を行い、
    特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める
    ステップを含む情報処理方法。
16. 動画像において、追尾対象である追尾点の画像を追尾するプログラムにおいて、
    前記動画像の一部の画像について、処理対象の画像と、前記処理対象の画像より時間的に前の画像とを比較するブロックマッチングを行い、前記処理対象の画像における前記追尾点の位置を特定するブロックマッチングステップと、
    前記動画像の時間的に連続する複数の画像の内容について、時間的な不連続性を検出する不連続性検出ステップと、
    前記不連続性検出ステップの処理により時間的な不連続性が検出された場合、前記ブロックマッチングステップの処理により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前または後の画像であって、内容が前記処理対象の画像と同時刻の画像における前記追尾点の位置を、前記処理対象の画像における前記追尾点の位置とし、前記不連続性検出ステップの処理により時間的な不連続性が検出されなかった場合、前記ブロックマッチングステップの処理により前記ブロックマッチングが行われない画像について、前記動画像において処理対象の画像の前の画像における前記追尾点の位置と、前記動画像において処理対象の画像の後の画像における前記追尾点の位置との中間点を、前記処理対象の画像における前記追尾点の位置とする補間処理を行う補間ステップと、
    前記ブロックマッチングステップの処理、または、前記補間ステップの処理により特定された前記処理対象の画像における前記追尾点の位置に基づいて、前記処理対象の画像より時間的に前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める動きベクトル算出ステップと
    をコンピュータに実行させるプログラム。

Images