JP2009251940A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】オブジェクトの追尾中において、ユーザからの補正指示に応じた所定の位置に追尾点を補正することができるようにする。
【解決手段】撮像部２１がオブジェクトの周囲の画像を撮像し、移動するオブジェクトの追尾点を追尾対象検出部２２が検出する。オブジェクト追尾部２３は、オブジェクトの追尾点を追尾し、追尾結果を追尾位置補正部２４に出力する。追尾位置補正部２４は、指示入力部２９を介してユーザから追尾位置の補正が指示された場合、オブジェクト追尾部２３からの追尾結果にユーザからの補正値を反映し、その補正状況に応じた拡大率で拡大して画像ディスプレイ２５に出力する。本発明は、監視カメラシステムに適用できる。
【選択図】図１

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、オブジェクトの追尾前または追尾中において追尾対象を簡単かつ正確に指定することができるようになった情報処理装置および方法並びにプログラムに関する。

従来、動画像を移動するオブジェクトの中からユーザが指示したものを追尾対象として、その追尾対象を追尾する手法が多く提案されている（特許文献１乃至３参照）。
特開平６−１４２３２号公報 特開２００７−２７２７３２号公報 特開２００７−２７４５４３号公報

しかしながら、この様に追尾を行う際には、追尾対象を指定する手法が問題となる。

従来の各種指示手法は、ユーザがスティック操作等で直接的に追尾対象を指定する手法（以下、直接指定手法と称する）と、なんらかのアルゴリズムによって全自動で対象を指定する手法（以下、自動指定手法と称する）とに大別できる。

しかしながら、直接指定手法では一般的に、ユーザにとって極めて負荷が重く、特に動画像から所望の対象を指定することはなかなか難しいという問題がある。

一方で、自動指定手法では、操作は極めて容易になる反面、ユーザが所望するオブジェクトが追尾対象として必ずしも選ばれない場合があるという問題がある。

また、多くの場合、初めに追尾対象が指定された後、全自動で追尾処理が行われる。ただし、実際には画像のノイズやオクルージョン、オブジェクトの変形等、様々な要因によって、全自動処理で所望の追尾結果を得ることは極めて困難である。その結果、追尾が外れてしまうことが往々にして起こる。この様な場合の従来の補正手法について、従来幾つかの手法が提案されてきた。ただし、基本的に、リアルタイム修正は行われていない。

一方、上述した特許文献２には、リアルタイムに補正を行いながら追尾を行う機能自体は開示されている。この機能は、追尾に失敗した時にはその場で補正できる非常に便利な機能である。しかしながら、初期設定の煩わしさ、あるいは大きく外れてしまったり別のオブジェクトに移りたいと思った時の不便さに関する解決法は、特許文献２には開示は勿論示唆もされていない。

また、特許文献３には、追尾対象候補を抽出して提示し、その中からユーザが選択するコンセプトについての示唆がなされている。しかしながら、候補抽出手法については具体的な開示はなく、一般的かつ抽象的な開示に止まっている。また、時間方向の対応づけに関する開示もないため、実際に操作したときに、時間遷移と共に、追尾対象候補がパタパタ切り替わり、ユーザが反応しきれないという問題も生ずる。また、提示手法について、いくつかの例が開示されている。ただし、何れの例も、基本的に画面内への重畳を想定しているため、原画，候補，ズーム画面を同時に俯瞰しながら操作することができない。その結果、現在どの状態でどのオブジェクトを選択しているかが分かりにくいという問題も生じていた。

本発明はこのような状況に鑑みてなされたものであり、オブジェクトの追尾前または追尾中において追尾対象を簡単かつ正確に指定することができるようにするものである。

本発明の一側面の情報処理装置は、動画像中を移動するオブジェクトのうちの追尾対象を追尾する追尾手段と、前記動画像を構成する単位画像毎に、前記追尾対象の候補を抽出する候補抽出手段と、前記候補抽出手段により前記単位画像毎に抽出された前記候補について、時間方向の対応づけを行う制御手段と、前記制御手段により時間方向の対応付けが行われた前記候補の表示を制御する表示制御手段と、前記表示制御手段により表示の制御が行われた前記候補の中から、前記追尾対象を指定する指定手段とを備える。

前記制御手段は、第１の時刻の単位画像に含まれる各オブジェクトの代表点をそれぞれ求め、前記第１の時刻の前の第２の時刻の単位画像に含まれる前記候補の代表点に対応する、前記第１の時刻の単位画像中の対応点を求め、前記各代表点のうちの前記対応点と距離が最短の代表点を、前記第１の時刻の候補として決定する。

前記制御手段は、さらに、前記対応点から前記最短の代表点までの距離が第１の閾値以下である場合、前記最短の代表点を前記第１の時刻の候補として決定し、前記距離が第１の閾値を超えていた場合、前記対応点を前記第１の時刻の候補として決定する。

前記制御手段は、さらに、前記距離が第１の閾値を超えた状態の前記単位画像の連続枚数が、第２の閾値を超えた場合、前記追尾対象候補に選ばれていない代表点を、前記第１の時刻の候補として決定する。

前記表示制御手段は、さらに、表示画面の第１の領域に、前記動画像の原画像または前記追尾対象の拡大画像を表示させ、前記表示画面の第２の領域に前記候補を表示させる制御を行う。

前記表示制御手段は、前記拡大画像を前記第１の領域に表示させている場合、さらに、前記原画像の縮小画像を前記第２の領域に表示させる制御を行う。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する情報処理方法およびプログラムである。

本発明の一側面の情報処理装置および方法並びにプログラムにおいては、動画像中を移動するオブジェクトのうちの追尾対象を追尾する処理として、前記動画像を構成する単位画像毎に、前記追尾対象の候補が抽出され、前記単位画像毎に抽出された前記追尾対象の候補について、時間方向の対応づけが行われ、時間方向の対応付けが行われた前記候補が表示され、表示された前記候補の中から、前記追尾対象が指定される。

以上のごとく、本発明の一側面によれば、オブジェクトの追尾前または追尾中において追尾対象を簡単かつ正確に指定することができるようになる。

以下、本発明の実施の形態について図を参照して説明する。

なお、本実施の形態では、動画像の処理単位として、フレームを採用する。ただし、処理単位は、フレームに限定されず、例えばフィールド等でも構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフレームは単位画像の例示にしか過ぎない点留意すべきである。

図１は、本発明が適用される情報処理装置の一実施の形態としての画像処理装置１１の構成例を示している。

画像処理装置１１は、操作部２１、表示部２２、追尾部２３、制御部２４、および候補抽出部２５から構成されている。

操作部２１は、ユーザ操作による指示を制御部２４に伝達する。追尾対象を指定するユーザ操作の手法としては、追尾対象の位置を直接的に指定する手法と、抽出された追尾対象候補の中から選択的に選ぶ手法の２通りが存在する。操作部２１は、例えば、赤外線や電波を使ったリモートコントローラ、キーボードやマウス等から構成することができる。

表示部２２は、追尾対象と、候補抽出部２５により抽出された追尾対象候補とを含む画像を、出力画像として出力する。

例えば、図２に示されるように、丸形状のオブジェクト３１、三角形状のオブジェクト３２、および、四角形状のオブジェクト３３が含まれる画像が、入力画像として入力されたとする。そして、追尾対象がオブジェクト３１であったとする。また、追尾対象候補が、オブジェクト３２およびオブジェクト３３であったとする。この場合、表示部２２は、追尾対象の位置座標を制御部２４から受け取り、入力画像にマーク等を重畳し、追尾候補を切り出して例えば画面右側の所定領域（以下、候補表示領域とそれぞれ称する）に付加する。即ち、図２の例では、追尾対象であるオブジェクト３１に対して、×印のマークが重畳される。そして、画面右側の候補表示領域４１のうちの、上から順に、枠４１ａには追尾対象であるオブジェクト３１が、枠４１ｂには追尾対象候補であるオブジェクト３２が、枠４１ｃには追尾対象候補であるオブジェクト３３が、それぞれ切り出されて表示される。

また例えば、表示部２２は、追尾対象の位置座標を制御部２４から受け取り、その位置座標を中心として入力画像を拡大表示する。その際、追尾対象候補は上述の例と同様に切り出されて、画面右側の候補表示領域４１に表示される。この際、図３に示されるように、表示部２２は、画面右側の候補表示領域４１の１つの枠（図３の例では図中一番上の枠４１ａ）に、原画像を縮小表示させる。これにより、ユーザは、ズーム画像とともに、全体俯瞰も同時にできるようになる。

追尾部２３は、制御部２１により指示された追尾対象を追尾する。なお、制御部２１により指示される追尾対象とは、本実施の形態では、操作部２１に対するユーザ操作により指示された対象となる。

追尾部２３の追尾手法自体は、特に限定されない。例えば、一般的に知られているブロックマッチング法を採用することができる。また例えば、特開2005-301984号公報や特開2005-303983号公報に記載されている手法を採用することもできる。

また、追尾部２３は、追尾を行う際に、例えば特許文献２に記載されている補正等を組み合わせることもできる。この場合、ユーザにとっては、意図したユーザ操作がより一段と実現し易くなる。

制御部２４は、ユーザ操作による指示を操作部２１を介して受け取り、追尾部２３に送る。また、制御部２４は、追尾部２３から追尾結果(例えば追尾対象の位置座標)を受け取り、表示部２２に送る。また、制御部２４は、候補抽出部２５からの候補抽出結果(例えば追尾対象候補の位置座標) を受け取り、表示部２２に送る。

候補抽出部２５は、入力画像から、ユーザが追尾対象として所望するであろう対象を、追尾対象候補として抽出して、制御部２４に送る。なお、追尾対象候補の抽出手法については後述する。

図４は、画像処理装置１１の画像処理の一例を説明するフローチャートである。

図４の例は、追尾手法として、２フレーム間のブロックマッチング法を採用した場合の例である。ただし、追尾手法として別の手法を採用してもよいことは言うまでもない。

ステップＳ１において、制御部２４は、ユーザが追尾対象の位置を指定し、追尾開始を指示したか否かを判定する。

指示されていないと判定された場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、制御部２４は、ユーザが候補抽出部２５から得られた追尾対象候補を選択したか否かを判定する。

選択されていないと判定された場合、処理はステップＳ１に戻され、それ以降の処理が繰り返される。

即ち、任意のフレームにおいて、ユーザは、所望の追尾対象を指定することができる。この場合の指定手法としては、例えばリモートコントローラ等で構成される操作部２１を用いて追尾対象の位置を直接的に設定する手法と、抽出された追尾対象候補の中から選択する手法の２通りがある。前者の手法による指定がなされた場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ３に進む。また、後者の手法による指定がなされた場合、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、追尾部２３は、制御部２４の制御に基づいて、設定した追尾点を元に追尾を開始する。

ステップＳ４において、画像処理装置１１は、次フレームを入力する。

ステップＳ５において、候補抽出部２５は、追尾対象候補を抽出する。ただし、抽出手法の具体例については後述する。

ステップＳ６において、制御部２４は、ユーザが候補表示領域４１に表示された原画縮小図を選択したか否かを判定する。

候補表示領域４１に原画縮小図が表示されている場合とは、図３の出力画像に示されるように、追尾対象（図３の例ではオブジェクト３１）が拡大表示（ズーム）されている状態である。そこで、ユーザは、このズーム状態を解除したい場合、操作部２１を操作して、候補表示領域４１のうちの原画縮小図が表示された枠４１ａを選択することができる。かかるユーザ操作がなされた場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、表示部２２は、ズーム状態を解除する。これにより、出力画像は、図２の状態に戻る。その後、処理はステップＳ１に戻され、それ以降の処理が繰り返される。

これに対して、ステップＳ６において、ユーザが候補表示領域４１に表示された原画縮小図を選択していないと判定された場合、処理はステップＳ７に進む。

ステップＳ７において、制御部２４は、ユーザが候補抽出部２５から得られた追尾対象候補を選択したか否かを判定する。

ここでは、後述するステップＳ１０の処理により、出力画像の状態は図３の状態である。即ち、画面右側の候補表示領域４１のうちの、枠４１ｂには追尾対象候補であるオブジェクト３２が、枠４１ｃには追尾対象候補であるオブジェクト３３が、それぞれ表示されている状態である。この状態で、ユーザは、例えば追尾対象を変更したいと所望した場合、変更を希望する追尾対象候補を選択することができる。具体的には例えば、オブジェクト３２を追尾対象としたい場合、ユーザは、操作部２１を操作して、候補表示領域４１のうちの枠４１ｂを選択すればよい。また例えば、オブジェクト３３を追尾対象としたい場合、ユーザは、操作部２１を操作して、候補表示領域４１のうちの枠４１ｃを選択すればよい。かかるユーザ操作がなされた場合、ステップＳ７においてＹＥＳであると判定されて、処理はステップＳ８に進む。ステップＳ８において、制御部２４は、対象位置を選択した追尾対象候補に移動する。これにより、処理はステップＳ１０に進む。

これに対して、追尾対象候補が選択されない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ９に進む。ステップＳ９において、追尾部２３は、現フレームと、ステップＳ４の処理で入力された次フレームとの間でブロックマッチング処理を行うことで、次フレームにおける対象位置を算出する。これにより、処理はステップＳ１０に進む。

ステップＳ１０において、表示部２２は、対象位置をズームして出力する。

ステップＳ１１において、制御部２４は、ユーザからの追尾終了の指示があったか否かを判定する。

例えば、ユーザが操作部２１を操作して追尾終了を指示した場合、ステップＳ１１においてＹＥＳであると判定されて、図４の例の画像処理は終了となる。

これに対して、追尾終了が指示されていない場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。

具体的には例えば、画像処理装置１１は、このような画像処理を実行することで、ユーザからの次のような指示に応じて、次のようなことを行うことができる。

例えば、出力画像の状態が図２の状態であったとする。即ち、３つの追尾対象または追尾対象候補がそれぞれ、画面右側の候補表示領域４１の枠４１ａ乃至４１ｃに表示されていたとする。そして、操作部２１がリモートコントローラで構成されており、そのうちのａボタン、ｂボタン、およびｃボタンのそれぞれが、枠４１ａ、枠４１ｂ、および枠４１ｃのそれぞれに対応付けられているとする。

この場合、ボタンｋ（ｋはａ乃至ｃのうちの何れか）がユーザにより押下されると、ステップＳ１の処理でＹＥＳであると判定される。そして、ボタンｋに対応する枠４１ｋに表示された追尾対象候補の中央の点等が追尾点として設定される。これにより、ステップＳ３において、その追尾点の追尾が開始される。即ち、追尾点として設定された追尾対象候補が追尾対象に設定される。そして、ステップＳ４乃至Ｓ１０の処理により、追尾対象がズームアップ表示される。例えば追尾対象がオブジェクト３１であった場合には、出力画像は図３に示される状態になる。

その後さらに、ユーザは、追尾対象を変更したいと所望した場合、所望の追尾対象候補が表示された枠４１ｋ（ただし、図３の例では、ｋはｂかｃの何れかになる）に対応するボタンｋを押下するだけでよい。この場合、ステップＳ７の処理でＹＥＳであると判定され、押下されたボタンｋに対応する追尾対象候補のの中央の点等が対象位置（追尾点）として設定され、その対象位置を中心にズームアップ表示が行われる。

一方、出力画像の状態が図３の状態で、ユーザは、ズーム状態を解除したいと所望した場合、ボタンａを押下するだけでよい。即ち、ボタンａは、全体を俯瞰するための原画縮小画が表示された枠４１ａと対応付けられている。よって、ステップＳ６の処理でＹＥＳであると判定されて、ステップＳ１２の処理で、ズーム状態が解除される。

次に、追尾対象候補を抽出するための手法（以下、候補抽出手法と称する）の具体例について説明する。

本例では、候補抽出手法は、次の第１の段階と第２の段階とに大別される。第１の段階とは、画像内から動オブジェクトを抽出する段階（以下、動オブジェクト抽出段階と称する）の手法である。第２の段階とは、抽出された動オブジェクトについて、時間的対応を取ることで連続した追尾対象候補とする段階（以下、時間連続対応づけ段階と称する）の手法である。

以下、動オブジェクト抽出段階と時間連続対応段階とのそれぞれについて、その順番で個別に説明していく。

まず、動オブジェクト抽出段階について説明する。

候補抽出部２５は、入力画像（処理対象フレーム）の全画面内から、動オブジェクト領域を抽出する。

この場合の動オブジェクト領域抽出手法については、特に限定されない。例えば、安易かつ精度の高い手法として、全画面動きを検出し、画面中の代表ブロック毎にその全画面動き先との差分を求め、その差分値と代表ブロックのアクティビティの大小関係から前景(動オブジェクト) を抽出する、といった手法を採用できる。また例えば、特開2004-310595号公報に記載されているような手法、即ち、次フレーム、次々フレーム間の動きベクトルの相関が高いブロックを動オブジェクト領域とみなす、とった手法を採用してもよい。また例えば、特開2004-207786号公報に記載されているような手法、即ち、ブロックの動きの相関性から動オブジェクト領域を検出する、といった手法を採用してもよい。

候補抽出部２５は、上述の様にして求められた各動オブジェクト領域に対して、それぞれ重心を求め、その重心を各動オブジェクト代表点とする。

次に、時間連続対応づけ段階について説明する。

動オブジェクト抽出段階において抽出された動オブジェクト代表点を追尾対象候補として提示する際に、提示する順番を考えないで無作為に提示を行うと、次のような問題が生ずる。即ち、追尾対象候補が時間方向で切り替わったり、新たな追尾対象候補が生成されたり、追尾対象候補が消失したりして、追尾対象候補の時間方向連続性がなくなるため、ユーザが反応しきれない、といった問題が生ずる。

そこで、本実施の形態では、動オブジェクト抽出段階において抽出された動オブジェクト代表点に対して、時間方向の対応づけを行うことにする。これにより、追尾対象候補は、ユーザにとって選択しやすい追尾対象候補となる。

時間連続対応づけ段階の処理としては、例えば図５のフローチャートに従った処理を採用することができる。

ステップＳ２１において、候補抽出部２５は、次フレームを処理対象フレームとして、処理対象フレームの動オブジェクト代表点を求める。

なお、ステップＳ２１の処理とは、動オブジェクト抽出段階の処理である。よって、正確には、次のステップＳ２２以降の処理が、時間連続対応づけ段階の処理の一例となる。

ステップＳ２２において、候補抽出部２５は、処理対象フレームが初期フレームであるか否かを判定する。

処理対象フレームが初期フレームの場合、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２７に進む。ステップＳ２７において、候補抽出部２５は、追尾対象候補に選ばれていない動オブジェクト代表点から、新たに追尾対象候補を選択する。その後、処理はステップＳ３０に進む。なお、ステップＳ３０以降の処理については後述する。

これに対して、処理対象フレームが初期フレーム以外の場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２３に進む。

ステップＳ２３において、候補抽出部２５は、各追尾対象候補に対して、マッチングにより、次フレーム（処理対象フレーム）における対応点を求める。

ステップＳ２４において、候補抽出部２５は、処理対象フレームにおいて、各対応点に対して、最も近い動オブジェクト代表点までの距離を求める。

ステップＳ２５において、候補抽出部２５は、距離がしきい値以下であるか否かを判定する。

距離がしきい値以下である場合、ステップＳ２５においてＹＥＳであると判定されて、処理はステップＳ２９に進む。ステップＳ２９において、候補抽出部２５は、最も近い動オブジェクト代表点を、追尾対象候補とする。具体的には例えば、図６のtフレーム（現フレーム）において右上側の動オブジェクト代表点が追尾対象候補となっているものについては、t-1フレーム（次フレームである処理対象フレーム）においては、「最も近い動オブジェクト代表点」が追尾対象候補になる。

これに対して、距離がしきい値を超えている場合、ステップＳ２５においてＮＯであると判定されて、処理はステップＳ２６に進む。ステップＳ２６において、候補抽出部２５は、距離がしきい値を超えた連続フレーム数が、しきい値以上であるか否かを判定する。

なお、連続フレーム数と比較されるしきい値は、当然ながら、距離と比較されるしきい値とは独立した別のしきい値である。

距離がしきい値を超えた連続フレーム数が、しきい値以上である場合、ステップＳ２６の処理でＹＥＳであると判定されて、処理はステップＳ２７に進む。即ち、追尾対象候補は消滅したとして、別の追尾対象候補が新たに選択されるのである。

これに対して、距離がしきい値を超えた連続フレーム数が、しきい値未満である場合、ステップＳ２６の処理でＮＯであると判定されて、処理はステップＳ２８に進む。ステップＳ２８において、候補抽出部２５は、求めた対応点をそのまま追尾対象候補にする。具体的には例えば、図６のtフレーム（現フレーム）において左下側の動オブジェクト代表点が追尾対象候補となっているものについては、t-1フレーム（次フレームである処理対象フレーム）においては、「対応点」がそのまま追尾対象候補になる。

このようにして、ステップＳ２７乃至Ｓ２９のうちの何れかの処理が終了すると、処理はステップＳ３０に進む。ステップＳ３０において、候補抽出部２５は、全ての追尾対象候補に対して処理が終了したか否かを判定する。

まだ全ての追尾対象候補に対して処理が終了していない場合、ステップＳ３０においてＮＯであると判定されて、処理はステップＳ２５に戻され、それ以降の処理が繰り返される。

即ち、処理対象フレームの各追尾対象候補に対して、ステップＳ２５乃至Ｓ３０のループ処理が繰り返し施され、次フレームの追尾対象候補が決定されていく。そして、全ての追尾対象候補に対して処理が終了した場合、ステップＳ３０においてＹＥＳであると判定されて、処理はステップＳ３１に進む。

ステップＳ３１において、候補抽出部２５は、全フレームについて処理が終了したか否かを判定する。

ステップＳ３１において、全フレームについて処理がまだ処理が終了していないと判定された場合、次々フレームが処理対象フレームとなって、処理はステップＳ２１に戻され、それ以降の処理が繰り返される。

これに対して、ステップＳ３１において、全フレームについて処理が終了したと判定された場合、図５の例の画像処理は終了となる。

以下、図７乃至図１２の具体例を用いて、候補抽出部２５による図５の例の画像処理についてさらに説明する。

図７に示されるように、現フレームの追尾対象候補は、オブジェクト７１乃至７４の各動オブジェクト代表点（図示せず）であったとする。この場合、ステップＳ２３の処理で次フレームにおける対応点として、点Ｐ１乃至点Ｐ３が求められる。

ここで、オブジェクト７１乃至７４の各動オブジェクト代表点が、図８に示されるように、点Ｏ１乃至点Ｏ４であったとする。即ち、前回のステップＳ２１の処理で、動オブジェクト代表点Ｏ１乃至Ｏ４が求まっていたとする。

対応点Ｐ１に対し、最も近い動オブジェクト代表点Ｏ１までの距離がしきい値以下であったとする。この場合、ステップＳ２５の処理でＹＥＳと判定されて、図９に示されるように、ステップＳ２９の処理で動オブジェクト代表点Ｏ１が、追尾対象候補となる。その結果、候補表示領域４１の枠４１ｂには、動オブジェクト代表点Ｏ１により特定されるオブジェクト７１が表示される。

同様に、対応点Ｐ２に対し、最も近い動オブジェクト代表点Ｏ２までの距離がしきい値以下であったとする。この場合、ステップＳ２５の処理でＹＥＳと判定されて、図９に示されるように、ステップＳ２９の処理で動オブジェクト代表点Ｏ２が、追尾対象候補となる。その結果、候補表示領域４１の枠４１ａには、動オブジェクト代表点Ｏ２により特定されるオブジェクト７２が表示される。

また、対応点Ｐ３に対し、最も近い動オブジェクト代表点Ｏ３までの距離がしきい値以下であったとする。この場合、ステップＳ２５の処理でＹＥＳと判定されて、図９に示されるように、ステップＳ２９の処理で動オブジェクト代表点Ｏ３が、追尾対象候補となる。その結果、候補表示領域４１の枠４１ｃには、動オブジェクト代表点Ｏ３により特定されるオブジェクト７３が表示される。

ここで例えば、仮に前回のステップＳ２１の処理で、オブジェクト７３の動オブジェクト代表点の抽出に失敗し、図１０に示されるように、オブジェクト７３とは離れた位置に動オブジェクト代表点ＯNGが求められていたとする。この場合、対応点Ｐ３に対し、最も近い動オブジェクト代表点ＯNGまでの距離がしきい値を超えることになるので、ステップＳ２５の処理でＮＯであると判定される。そして、ステップＳ２６の処理でＮＯであると判定された場合には、図１０に示されるように、ステップＳ２８の処理で、対応点Ｐ３がそのまま、追尾対象候補となる。その結果、候補表示領域４１の枠４１ｃには、対応点Ｐ３により特定されるオブジェクト７３が表示される。

また例えば、次フレームにおいてオブジェクト７３が消失してしまったとする。この場合、対応点Ｐ３に対し、最も近い動オブジェクト代表点とは、図１１に示されるように点Ｏ４になる。この場合も、ステップＳ２５の処理で距離がしきい値を超えている（ＮＯである）と判定されることになる。よって、ステップＳ２６の処理でＮＯであると判定された場合には、図１１に示されるように、ステップＳ２８の処理で、対応点Ｐ３がそのまま、追尾対象候補となる。この場合、対応点Ｐ３により特定されるオブジェクト７３は次フレームでは消失してしまっているので、候補表示領域４１の枠４１ｃには何も表示されない。

その後、このような状態、即ち、対応点Ｐ３に対して、最も近い動オブジェクト代表点Ｏ４の距離がしきい値を超えた状態が何フレームも続いたとする。この場合、ステップＳ２６の処理でＹＥＳであると判定されて、ステップＳ２７の処理で、追尾対象候補に選ばれていない動オブジェクト代表点から、新たに追尾対象候補が選択されることになる。例えば図１２の例では、追尾対象候補に選ばれていない動オブジェクト代表点Ｏ４が、新たに追尾対象候補として選択される。その結果、候補表示領域４１の枠４１ｃには、動オブジェクト代表点Ｏ４により特定されるオブジェクト７３が表示される。

以上説明したように、図１の画像処理装置１１等本発明が適用される情報処理装置は、次のような効果を奏することが可能になる。即ち、ユーザは、従来の様に追尾対象を直接指定する煩わしさから開放される。即ち、ユーザにとっては、信号処理によって検出された追尾対象候補の中からズームしたい対象（追尾対象）を選ぶという簡易な操作を行うだけで、所望のズーム画像を得ることができようになる。

ここで重要な点は、ユーザが全て指示するのではなく、装置側が全自動で判断するのでもなく、ユーザと装置が協調することで、少ない操作で所望の操作を実現するところにある点である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。

図１３において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。

CPU１０１にはまた、バス１０４を介して入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。

入出力インタフェース１０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。

入出力インタフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１３に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compaｊct Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の構成例を示すブロック図である。 図１の画像処理装置の入力画像と出力画像の一例を示す図である。 図１の画像処理装置の入力画像と出力画像の一例を示す図である。 図１の画像処理装置の画像処理の一例を説明するフローチャートである。 図１の画像処理装置の画像処理の一例を説明するフローチャートである。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 図５の画像処理の一部の処理を具体例を用いて説明する図である。 本発明を適用した監視カメラシステムの少なくとも一部をパーソナルコンピュータで構成した場合の構成例を示すブロック図である。

符号の説明

１１ 画像処理装置， ２１ 操作部， ２２ 表示部， ２３ 追尾部， ２４ 制御部， ２５ 候補抽出部， １０１ ＣＰＵ, １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア

Claims (8)

1. 動画像中を移動するオブジェクトのうちの追尾対象を追尾する追尾手段と、
   前記動画像を構成する単位画像毎に、前記追尾対象の候補を抽出する候補抽出手段と、
   前記候補抽出手段により前記単位画像毎に抽出された前記候補について、時間方向の対応づけを行う制御手段と、
   前記制御手段により時間方向の対応付けが行われた前記候補の表示を制御する表示制御手段と、
   前記表示制御手段により表示の制御が行われた前記候補の中から、前記追尾対象を指定する指定手段と
   を備える情報処理装置。
2. 前記制御手段は、第１の時刻の単位画像に含まれる各オブジェクトの代表点をそれぞれ求め、前記第１の時刻の前の第２の時刻の単位画像に含まれる前記候補の代表点に対応する、前記第１の時刻の単位画像中の対応点を求め、前記各代表点のうちの前記対応点と距離が最短の代表点を、前記第１の時刻の候補として決定する
   請求項１に記載の情報処理装置。
3. 前記制御手段は、さらに、前記対応点から前記最短の代表点までの距離が第１の閾値以下である場合、前記最短の代表点を前記第１の時刻の候補として決定し、前記距離が第１の閾値を超えていた場合、前記対応点を前記第１の時刻の候補として決定する
   請求項２に記載の情報処理装置。
4. 前記制御手段は、さらに、前記距離が第１の閾値を超えた状態の前記単位画像の連続枚数が、第２の閾値を超えた場合、前記追尾対象候補に選ばれていない代表点を、前記第１の時刻の候補として決定する
   請求項３に記載の情報処理装置。
5. 前記表示制御手段は、さらに、表示画面の第１の領域に、前記動画像の原画像または前記追尾対象の拡大画像を表示させ、前記表示画面の第２の領域に前記候補を表示させる制御を行う
   請求項１に記載の情報処理装置。
6. 前記表示制御手段は、前記拡大画像を前記第１の領域に表示させている場合、さらに、前記原画像の縮小画像を前記第２の領域に表示させる制御を行う
   請求項５に記載の情報処理装置。
7. 情報処理装置が、動画像中を移動するオブジェクトのうちの追尾対象を追尾するステップとして、
   前記動画像を構成する単位画像毎に、前記追尾対象の候補を抽出し、
   前記単位画像毎に抽出された前記追尾対象の候補について、時間方向の対応づけを行い、
   時間方向の対応付けが行われた前記候補の表示を制御し、
   表示の制御が行われた前記候補の中から、前記追尾対象を指定する
   ステップを含む情報処理方法。
8. コンピュータに実行させるステップのうち、動画像中を移動するオブジェクトのうちの追尾対象を追尾するステップとして、
   前記動画像を構成する単位画像毎に、前記追尾対象の候補を抽出し、
   前記単位画像毎に抽出された前記追尾対象の候補について、時間方向の対応づけを行い、
   時間方向の対応付けが行われた前記候補の表示を制御し、
   表示の制御が行われた前記候補の中から、前記追尾対象を指定する
   ステップを含むプログラム。

Images