JP2004258925A

JP2004258925A - Image tracking device

Info

Publication number: JP2004258925A
Application number: JP2003048277A
Authority: JP
Inventors: Satoshi Furukawa; 聡古川; Atsuyuki Hirono; 淳之広野
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2003-02-25
Filing date: 2003-02-25
Publication date: 2004-09-16
Anticipated expiration: 2023-02-25
Also published as: JP4096757B2

Abstract

<P>PROBLEM TO BE SOLVED: To enable distinguish between stillness and concealment of a tracking object. <P>SOLUTION: This system is comprised of a TV camera 1 and a device body 2; and the device body 2 is provided with an object extracting part 3 which extracts an area of an image that the tracking object is imaged from each time-series image obtained by the TV camera 1, an object tracking part 4 which tracks movement of the image area of the tracking object extracted in the object tracking part 3, and a border setting part 5 which sets a border of a concealing area concealing the tracking object from an imaging area of the TV camera 1 for the time-series image imaged by the TV camera 1. Outline of obstacles, such as a wall or a partition existing inside of the imaging area, is set in the border X, and the stillness and concealment of the tracking object can be distinguished because the tracking object (person) is determined to be concealed with the concealing area (wall) when the image area of the tracking object (person area H) disappears while contacting on the border X of the concealing area (wall area W). <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、対象を撮像して得られる画像を追跡する画像追跡装置に関するものである。
【０００２】
【従来の技術】
この種の画像追跡装置は、例えば監視領域内における侵入者を検出して追跡する監視装置等に利用されている（例えば、特許文献１参照）。
【０００３】
従来の画像追跡装置では、所定の撮像領域を撮像して得られる時系列の画像の差分をとること（いわゆるフレーム間差分）で変化した（動きのあった）領域を追跡対象（例えば、人物）の画像領域として抽出し、抽出された画像領域をテンプレートマッチング等により追跡する処理を行うことで追跡対象の画像を追跡していた。
【０００４】
【特許文献１】
特公平６−２８４４９号公報（第２−３頁、第１図）
【０００５】
【発明が解決しようとする課題】
ところで、フレーム間差分を利用した上記従来例では、差分の出力がなくなった場合には追跡対象が静止していると判断していた。しかしながら、撮像領域内に存在する壁や衝立といった障害物に追跡対象が隠れて（隠蔽されて）撮像されなくなった場合にも差分の出力がなくなるから、上記従来例では追跡対象の静止と隠蔽との識別ができず、以降の追跡処理に悪影響を及ぼすことがあった。例えば、隠蔽であったにもかかわらず静止と判断した場合、実際には追跡対象が隠蔽された後に他の場所へ移動して再度現出しなかったときに追跡対象を見失ってしまう虞がある。つまり、静止と隠蔽とを識別することは対象の追跡にとって非常に重要である。
【０００６】
本発明は上記事情に鑑みて為されたものであり、その目的は、追跡対象の静止と隠蔽とを識別することが可能な画像追跡装置を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、上記目的を達成するために、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段と、追跡対象を撮像手段の撮像領域から隠蔽し得る隠蔽領域の境界を撮像手段で撮像される時系列の画像に対して設定する境界設定手段とを備え、対象追跡手段は、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【０００８】
請求項２の発明は、上記目的を達成するために、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【０００９】
請求項３の発明は、上記目的を達成するために、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡するとともに追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【００１０】
請求項４の発明は、請求項３の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【００１１】
請求項５の発明は、請求項１の発明において、境界設定手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に当該境界を隠蔽領域の境界に設定することを特徴とする。
【００１２】
請求項６の発明は、請求項１の発明において、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡し、境界設定手段は、対象追跡手段による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とする。
【００１３】
請求項７の発明は、請求項６の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、境界設定手段は、対象追跡手段による追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とする。
【００１４】
請求項８の発明は、請求項１の発明において、対象抽出手段は、撮像された画像から追跡対象の画像領域を２値化画像として抽出し、境界設定手段は、追跡対象の画像領域に含まれる画素の画素値を時系列で累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する位置を隠蔽領域の境界に設定することを特徴とする。
【００１５】
請求項９の発明は、請求項８の発明において、境界設定手段は、前記累積画像に対して微分による輪郭抽出を行って追跡対象の画像領域の境界を検出することを特徴とする。
【００１６】
請求項１０の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とする。
【００１７】
請求項１１の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素が追跡対象の画像領域の輪郭となる全ての画素に占める割合が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とする。
【００１８】
請求項１２の発明は、請求項１の発明において、対象追跡手段は、境界設定手段によって設定される隠蔽領域の境界と撮像手段との間の距離を予め記憶しておき、追跡対象の画像領域が隠蔽領域の境界に接していると判断した場合に撮像手段と当該隠蔽領域の境界との間の距離を撮像手段から追跡対象までの距離と判断することを特徴とする。
【００１９】
請求項１３の発明は、請求項１の発明において、撮像手段で得られる時系列の画像を表示する表示手段を備え、対象追跡手段は、隠蔽領域の境界に接しながら消失する追跡対象の画像領域を表示手段に表示させず、隠蔽領域の境界と交わる追跡対象の画像領域を表示手段に表示させることを特徴とする。
【００２０】
請求項１４の発明は、請求項１の発明において、境界設定手段は、撮像手段における撮像領域の境界を隠蔽領域の境界に設定することを特徴とする。
【００２１】
【発明の実施の形態】
（実施形態１）
図１に本実施形態の画像追跡装置のブロック図を示す。この画像追跡装置は、所定の撮像領域を撮像して時系列の画像を得るテレビカメラ１と、ＣＰＵ、メモリ、入出力インタフェース、マウスなどのポインティングデバイス、ディスプレイ等を具備する汎用のコンピュータ装置に画像処理用のソフトウェアを搭載して構成される装置本体２とを備える。テレビカメラ１は、例えばＣＣＤ等の撮像素子を具備し、撮像した画像を標準のテレビジョン方式（ＮＴＳＣ方式）に準拠したアナログのビデオ信号で出力するものであってもよいし、Ａ／Ｄ変換器を内蔵してデジタルの画像信号を出力するものであっても構わず、それぞれの信号方式に合わせて装置本体２の画像入力用のインタフェースを変更すればよい。
【００２２】
上述のように装置本体２は汎用のコンピュータ装置と画像処理用のソフトウェアで構成されるものであるが、上記ソフトウェアによる画像処理の機能モジュールとして、テレビカメラ１で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出部３と、対象抽出部３で抽出された追跡対象の画像領域の移動を追跡する対象追跡部４と、追跡対象をテレビカメラ１の撮像領域から隠蔽し得る隠蔽領域の境界をテレビカメラ１で撮像される時系列の画像に対して設定する境界設定部５とを備えている。
【００２３】
対象抽出部３は、テレビカメラ１で撮像された画像から濃淡画像を得るとともに、時系列の濃淡画像に対してフレーム間差分処理を行うことで撮像領域内で動きのある部分（画像領域）を抽出する処理を行う。対象追跡部４は、時系列の濃淡画像に対してテンプレートマッチングを行うことにより対象抽出部３で抽出した画像領域の中から追跡対象の画像領域を追跡し、各フレーム（時系列の濃淡画像）毎に追跡対象の画像領域が存在する座標を逐次更新しながら記憶する処理を行う。但し、対象抽出部３並びに対象追跡部４で行う上述の画像処理は従来周知の技術を用いて実現可能であるから詳細な説明は省略する。また、追跡対象の画像領域を抽出する方法としては、上述のフレーム間差分以外に背景差分等の他の方法を用いても構わない。
【００２４】
境界設定部５は、後述するように撮像領域内に壁や衝立などの追跡対象を隠蔽し得る障害物が存在する場合に、かかる障害物と撮像領域の背景との境界を設定する処理を行うものであって、本実施形態ではディスプレイに表示された撮像領域の画像を見ながらポインティングデバイスを使って当該境界をトレースすれば、トレースされた部分の画素の位置を読み取って装置本体２のメモリに記憶する処理を行っている。但し、境界設定部５で行う上述の境界設定処理は従来周知の技術を用いて実現可能であるから詳細な説明は省略する。
【００２５】
次に本実施形態の画像追跡装置において、撮像領域内に追跡対象（例えば人物）を隠蔽し得る障害物（壁）が存在する場合の動作を説明する。
【００２６】
図２（ａ）〜（ｄ）は対象抽出部３で抽出された時系列の濃淡画像Ｆ１〜Ｆ４を表しており、各濃淡画像Ｆ１〜Ｆ４には障害物となる壁が撮像された領域（以下、「壁領域」と呼ぶ）Ｗと、追跡対象の人物が撮像された領域（以下、「人物領域」と呼ぶ）Ｈとが含まれ、壁領域Ｗの縁を背景との境界Ｘとして予め境界設定部５により設定しておくものとする。そして、追跡対象である人物が動いている間は対象抽出部３で人物領域Ｈが抽出され、対象追跡部４でテンプレートマッチングを行うことにより撮像領域内における人物領域Ｈの位置（座標）を検出して追跡しており、仮に対象抽出部３で人物領域Ｈが検出されなくなった場合にはその直前に検出された位置を人物が再び動き出すまで保持しておく。
【００２７】
ここで、図２（ｂ）〜（ｄ）に示すように人物が壁の後ろに移動して隠蔽された場合にも対象抽出部３で人物領域Ｈが抽出されなくなるが、この場合、人物領域Ｈは常に境界Ｘに接しながら徐々に領域が狭くなった後に消滅することになり、静止の場合には境界Ｘに接することなく消滅することになる。そこで本実施形態では、対象追跡部４が追跡対象の人物領域Ｈと壁領域Ｗの境界Ｘとの画素の重なりの有無を検出し、境界Ｘの画素と重なる画素数を増減しながら人物領域Ｈが消失した場合に追跡対象（人物）が隠蔽領域（壁）に隠蔽されたと判断して、追跡対象の人物が静止したのか、障害物である壁の後ろに隠れた（隠蔽された）のかを識別している。
【００２８】
上述のように本実施形態では、撮像領域内に存在する壁や衝立などの障害物の輪郭を隠蔽領域の境界Ｘに設定しておき、追跡対象の画像領域（人物領域Ｈ）が隠蔽領域（壁領域Ｗ）の境界Ｘに接しながら消失した場合に追跡対象（人物）が隠蔽領域（壁）に隠蔽されたと判断するため、追跡対象の静止と隠蔽との識別が可能となる。
【００２９】
（実施形態２）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。すなわち、実施形態１ではオペレータの操作に基づいて境界設定部５により境界の設定を行っているが、本実施形態では境界設定部５がオペレータの手を借りずに自動的に隠蔽領域の境界を設定する点に特徴がある。
【００３０】
実施形態１で説明したように、対象追跡部４ではテンプレートマッチングによって追跡対象の画像領域（人物領域Ｈ）を追跡しているが、追跡対象が静止した場合にはテンプレートマッチングの相関度（相関値）が急激に略ゼロまで低下するのに対し、追跡対象の画像領域が隠蔽領域（壁領域Ｗ）に隠蔽される場合にはテンプレートマッチングにおける相関値が徐々に低下するという違いがある。
【００３１】
そこで本実施形態では、境界設定部５において対象追跡部４による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定し、実施形態１のように人（オペレータ）が目視で確認して隠蔽領域の境界を設定する必要が無く、隠蔽領域の境界を自動的に設定することができる。
【００３２】
図３は横軸に時刻ｔ、縦軸にテンプレートマッチングの相関値をとり、実施形態１で説明したように追跡対象の人物領域Ｈが隠蔽領域である壁領域Ｗに隠蔽されるまでの間の相関値の変化の様子を表している。すなわち、同図（ａ）に示すように人物が隠蔽されていなければ相関値は所定のしきい値δを上回る高い値を示し、同図（ｂ）に示すように人物の体が壁に隠蔽され始めると相関値も徐々に低下し始め、同図（ｃ）に示すように人物の体のほとんどが壁に隠蔽されると相関値がしきい値δを下回ることになる。そこで本実施形態の境界設定部５は、相関値がしきい値δ以下となった人物領域Ｈの輪郭のうちでテンプレートとの相関が最も低い領域（例えば、ほぼ直線となるような領域）を抽出し、その領域に含まれる画素の位置を読み取って装置本体２のメモリに記憶することにより境界Ｘを自動的に設定する。なお、境界設定部５により境界Ｘを自動的に設定した後は、実施形態１と共通の動作で追跡対象の静止と隠蔽を識別しながら追跡が行われる。
【００３３】
ところで、対象追跡部４で行うテンプレートマッチングとして、対象の画像領域を複数のブロック（分割領域）に分割して各ブロックごとにフレーム間の相関を計算し、次フレームで当該ブロックがどこへ移動したかの動きベクトルを求めて画像領域全体の移動を検出する処理方法がある。このような処理方法を採用する場合には、境界設定部５が、対象追跡部４による追跡中に移動方向の前方にあるブロックのテンプレートマッチングの相関値が徐々に低下してしきい値δ以下となったときに当該ブロックの輪郭のうちでテンプレートとの相関が最も低い領域（例えば、ほぼ直線となるような領域）を抽出し、その領域に含まれる画素の位置を読み取って装置本体２のメモリに記憶することにより境界Ｘを自動的に設定するようにすればよい。
【００３４】
なお、上述のようなテンプレートマッチングの相関値の変化の仕方に着目すれば、隠蔽領域の境界を設定しなくても対象追跡部４にて追跡対象の静止と隠蔽を判別することが可能である。つまり、対象追跡部４が追跡対象の画像領域を追跡しているときにテンプレートマッチングの相関値が徐々に低下してしきい値δ以下となったら追跡対象が隠蔽されたと判断し、テンプレートマッチングの相関値が急激に略ゼロまで低下したら追跡対象が静止した判断するのである。あるいは、対象の画像領域を複数のブロックに分割してブロックのテンプレートマッチングを行う場合においても同様に追跡対象の静止と隠蔽を判別することが可能である。
【００３５】
（実施形態３）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作は対象追跡部４が濃淡画像を２値化した２値化画像に対してテンプレートマッチングを行う点を除いて基本的に実施形態１と共通であり、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。すなわち、本実施形態も実施形態２と同様に境界設定部５がオペレータの手を借りずに自動的に隠蔽領域の境界を設定する点に特徴がある。
【００３６】
いま、追跡対象が移動しながら隠蔽領域に隠蔽される場合を考える。例えば、対象抽出部４で抽出された追跡対象の画像領域（２値化画像の「１」の画素の集合）を複数のフレームに亘って累積すると、時刻ｔの経過とともに追跡対象の画像領域Ｍ_ｔ〜Ｍ_ｔ＋４が徐々に減少してやがて消失するから、隠蔽領域の境界に接する端部（図４における左端部）の累積値が最も大きくなるはずである。そこで本実施形態の境界設定部５では、対象抽出部４で抽出された追跡対象の画像領域を複数のフレームに亘って累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する画素の位置を読み取って装置本体２のメモリに記憶する処理を行うことで境界を自動的に設定する。
【００３７】
ところで境界設定部５において、累積された画像領域（累積画像）に対して微分オペレータによる輪郭抽出（エッジ抽出）を行って追跡対象の画像領域の境界を検出する処理を行えば、輪郭抽出を行うことで隠蔽領域の境界を正確に検出して設定することができる。ここで、微分オペレータは一般の画像処理において頻繁に用いられる３×３あるいは５×５のサイズのもので、１次微分のソーベルオペレータ若しくは２次微分のラプラシアンオペレータの何れでもよい。そして、境界設定部５では、微分オペレータによる微分画像に対して適当なしきい値で２値化して微分強度の高い領域を抽出し、さらに抽出された領域内で従来周知のピーク検出処理を行って境界を抽出する。
【００３８】
なお、上述のように追跡対象の画像領域の変化の仕方に着目すれば、隠蔽領域の境界を設定しなくても対象追跡部４にて追跡対象の静止と隠蔽を判別することが可能である。つまり、対象追跡部４では追跡対象の画像領域Ｍ_ｔ〜Ｍ_ｔ＋４が徐々に減少してやがて消失した場合に追跡対象が隠蔽されたと判断し、追跡対象の画像領域が急激に消失した場合に追跡対象が静止したと判断するのである。
【００３９】
（実施形態４）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作は基本的に実施形態１と共通であり、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。
【００４０】
本実施形態は、対象追跡部４が隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断する点に特徴がある。すなわち、図５に示すように境界Ｘ上の画素Ｐｘから複数の方向（例えば４方向）に検査線を延ばし、追跡対象の画像領域Ｈの輪郭上の画素Ｐｈと交差するまでの距離を求め、それらのうちの最短距離Ｄｍｉｎを境界Ｘと画像領域Ｈとの距離とし、この距離Ｄｍｉｎが予め設定されたしきい値Ｄｔｈを下回れば、２つの画素Ｐｘ、Ｐｈが接しているとみなし、境界Ｘ上の全ての画素Ｐｘについて上記最短距離Ｄｍｉｎを求めてしきい値Ｄｔｈと比較する処理を順次行い、接するとみなせる画素Ｐｘ、Ｐｈが連続してしきい値Ｎｔｈを上回れば、対象追跡部４は追跡対象の画像領域Ｈが隠蔽領域の境界Ｘに接していると判断する。
【００４１】
次に、対象追跡部４において追跡対象の画像領域が隠蔽領域の境界に接しているか否かを判断する手順を図６のフローチャートを参照して詳細に説明する。
【００４２】
まず、境界Ｘ上の各画素Ｐｘに対する距離Ｄｍｉｎ（ｎ）や変数ｎ，Ｎを初期化し（ステップ１）、上述の手順で求めた境界Ｘ上の画素Ｐｘ（ｎ）から追跡対象の画像領域Ｈの輪郭上の画素Ｐｈまでの最短距離Ｄｍｉｎ（ｎ）をしきい値Ｄｔｈと比較する（ステップ２）。この距離Ｄｍｉｎ（ｎ）がしきい値Ｄｔｈ以上であれば変数ｎをインクリメントし（ステップ３）、次の画素Ｐｘ（ｎ＋１）に対する最短距離Ｄｍｉｎ（ｎ＋１）をしきい値Ｄｔｈと比較し（ステップ２）、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回るまでステップ２〜ステップ３の処理を繰り返す。そして、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回れば、そのときの画素Ｐｘ（接点）が前の画素Ｐｘと連続するか否かを判断し（ステップ４）、連続していなければ変数ｎをインクリメントし（ステップ３）、連続する画素Ｐｘ（接点）が現れるまでステップ２〜ステップ４の処理を繰り返す。
【００４３】
一方、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回る画素Ｐｘ（接点）が連続して存在する場合は接点のカウント値Ｎをインクリメントし（ステップ５）、そのカウント値Ｎをしきい値Ｎｔｈと比較する（ステップ６）。そして、カウント値Ｎがしきい値Ｎｔｈを上回れば追跡対象の画像領域が隠蔽領域の境界に接していると判断し（ステップ７）、カウント値Ｎがしきい値Ｎｔｈ以下であればステップ３に戻って上述の処理を繰り返す。
【００４４】
本実施形態では対象追跡部４において上述のような処理を行っているため、追跡対象の画像領域が隠蔽領域の境界に接しているか否かが比較的簡単な処理で判断できるという利点がある。なお、本実施形態では境界Ｘ上の画素Ｐｘから追跡対象の画像領域Ｈ上の画素Ｐｈまでの距離を求めるようにしたが、これとは逆に追跡対象の画像領域Ｈ上の画素Ｐｈから境界Ｘ上の画素Ｐｘまでの距離を求めてもよい。また、本実施形態では最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回る画素Ｐｘ（接点）が連続することを条件としているが、最短距離Ｄｍｉｎがしきい値Ｄｔｈを下回る画素Ｐｘ（接点）の個数Ｎが追跡対象の画像領域Ｈの輪郭となる全ての画素Ｐｈに占める割合を所定のしきい値と比較し、この割合がしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断するようにすれば、ノイズに対する耐性が向上できるという利点がある。
【００４５】
（実施形態５）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略し、本実施形態の特徴なる点についてのみ説明する。
【００４６】
本実施形態は、対象追跡部４において、図７に示すように境界設定部５によって設定される複数の隠蔽領域（壁領域）Ｗ１〜Ｗ３の各境界Ｘ１〜Ｘ３とテレビカメラ１との間の距離を予め記憶しておき、追跡対象の画像領域（人物領域Ｈ）が壁領域Ｗ１〜Ｗ３の境界Ｘ１〜Ｘ３に接していると判断した場合にテレビカメラ１と当該境界Ｘ１〜Ｘ３との間の距離をテレビカメラ１から追跡対象（人物）までの距離と判断している。複数の境界Ｘ１〜Ｘ３は境界設定部５により実施形態１のように手動で設定してもよいし、実施形態２〜４のように境界設定部５が自動的に設定しても構わない。
【００４７】
例えば、図７に示す場合であれば、テレビカメラ１から３つの壁領域Ｗ１〜Ｗ３の各境界Ｘ１〜Ｘ３までの距離（例えば、１０ｍ、１５ｍ、２０ｍ）を計測してメモリに記憶しておき、対象追跡部４にて人物領域Ｈが中央の壁領域Ｗ２に隠蔽されたと判断した場合、追跡対象の人物が境界Ｘ２までの距離（１５ｍ）の近傍でそれよりも遠方に存在していると判断できる。一般に画像処理によって対象までの距離を計測するには、ステレオ処理のように複雑な計算処理が必要となるが、本実施形態では上述のように簡単な処理で追跡対象までのおおまかな距離を求めることができる。なお、上述の例では境界Ｘ１〜Ｘ３が垂直な場合について説明したが、オフィス内に設置されるパーテーションの上縁のように水平方向の境界についても垂直の場合と同様の作用効果を奏し得るものであり、境界の方向は特に限定されるものではない。
【００４８】
（実施形態６）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略する。
【００４９】
従来、屋外に設置されて道路などの公共の場所を監視する監視システムに本発明の画像追跡装置を利用する場合、図８に示すようにテレビカメラ１の撮像領域内に個人の住居Ａが存在することがあり、プライバシー保護の点から当該住居Ａの画像領域を装置本体２のディスプレイ上で非表示にする必要があった。しかしながら、住居Ａの画像領域を常に非表示とするとテレビカメラ１と住居Ａとの間を通行する人や車などの追跡対象までもディスプレイ上で表示できなくなるという不都合が生じていた。
【００５０】
一方、図８に示すように監視領域内に住居Ａが存在する場合であれば、プライバシー保護の対象となるのは住居Ａの窓Ｂを通して見える住人や室内の様子である。そこで本実施形態では、デフォルトで非表示となる表示制御領域Ｃを住居Ａの窓Ｂを含む範囲に設定するとともに窓枠の垂直方向の両端を境界設定部５により手動若しくは自動で隠蔽領域の境界Ｘに設定しておき、対象追跡部４にて追跡対象の画像領域を追跡する際に隠蔽領域の境界Ｘに接しながら消失する画像領域Ｈが存在すれば表示制御領域Ｃをディスプレイ上で非表示のままとし、隠蔽領域の境界Ｘと交わる追跡対象の画像領域が存在すれば表示制御領域Ｃをディスプレイ上で表示させるようにしている。すなわち、隠蔽領域の境界Ｘに接しながら消失する画像領域Ｈは窓Ｂを通して見える住人と判断できるため、このような場合には表示制御領域Ｃを非表示することでプライバシー保護を図り、隠蔽領域の境界Ｘと交わる追跡対象の画像領域が存在する場合には、テレビカメラ１と住居Ａとの間に追跡対象の人や車が存在していると判断できるため、このような場合には表示制御領域Ｃ内に存在する追跡対象の画像領域のみをディスプレイ上に表示させれば、テレビカメラ１と住居Ａとの間を通行する人や車などの追跡対象がディスプレイ上で表示できなくなるという不都合が解消できる。なお、隠蔽領域の境界Ｘと追跡対象の画像領域が交わるか否かの判断は、当該画像領域内の画素と境界Ｘとの交点が所定数以上存在するか否かで判断すればよい。
【００５１】
（実施形態７）
本実施形態の画像追跡装置の構成並びに追跡対象の画像領域を追跡する動作については実施形態１と共通であるから、共通の構成及び動作については図示並びに説明を省略する。
【００５２】
浴室内で人の行動を監視する監視システムに画像追跡装置を利用する場合、従来では追跡対象（入浴中の人）の画像領域が消失したときにそれが浴室内で人が静止しているのか、浴室から人が退室したのかを識別することは困難であり、人の退室を報知するためのスイッチを浴室の外に設置する必要があった。
【００５３】
そこで、隠蔽領域をテレビカメラ１の撮像領域外とみなし、撮像領域の縁を境界に設定することにより、上述のような静止と退室の識別が可能となる。例えば、図９に示すようにテレビカメラ１を浴室の天井に設置して浴室のほぼ全体を撮像領域Ｆとし、撮像領域Ｆの外を隠蔽領域とみなして撮像領域Ｆの全周縁を境界Ｘに設定し、追跡対象の画像領域Ｈが境界Ｘに接しながら消失する隠蔽の場合は退室と判断し、画像領域Ｈが境界Ｘに接することなく消失する場合は静止と判断する。なお、退室と判断する条件として画像領域Ｈの移動方向が撮像領域Ｆの外へ向かっていることを加えることで退室と判断する信頼性が向上できる。
【００５４】
（実施形態８）
図１０に本実施形態の画像追跡装置のブロック図を示す。但し、実施形態１と共通の構成要素には同一の符号を付して説明を省略する。
【００５５】
本実施形態は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に対象追跡部４’にて追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とする。
【００５６】
例えば、図１１は追跡対象の画像領域Ｈが時刻ｔ，ｔ＋１，ｔ＋２と徐々に隠蔽領域に隠蔽される様子を表しており、追跡対象部４’では各時刻における画像領域Ｈ_ｔ，Ｈ_ｔ＋１，Ｈ_ｔ＋２のエッジを抽出し、これら全ての画像領域Ｈ_ｔ，Ｈ_ｔ＋１，Ｈ_ｔ＋２のエッジをアンド処理して所定数以上の画素が重複していればエッジ（境界）Ｙが重なっているとみなし、追跡対象の画像領域Ｈが隠蔽領域に隠蔽されたと判断している。
【００５７】
本実施形態は上述のように構成されるものであり、実施形態１のように撮像領域内に隠蔽領域の境界を設定する必要がなく、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することによって追跡対象の静止と隠蔽との識別が可能となる。
【００５８】
なお、本実施形態における追跡対象の静止と隠蔽の判断手法は境界設定部５の境界設定にも利用できる。つまり、各時刻における画像領域Ｈ_ｔ，Ｈ_ｔ＋１，Ｈ_ｔ＋２のエッジをアンド処理して所定数以上の画素が重複していた場合にエッジが隠蔽領域の境界に一致しているのであるから、この場合のエッジを隠蔽領域の境界に設定すればよい。
【００５９】
【発明の効果】
請求項１の発明は、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段と、追跡対象を撮像手段の撮像領域から隠蔽し得る隠蔽領域の境界を撮像手段で撮像される時系列の画像に対して設定する境界設定手段とを備え、対象追跡手段は、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、撮像領域内に存在する壁や衝立などの障害物の輪郭を隠蔽領域の境界に設定しておき、追跡対象の画像領域が隠蔽領域の境界に接しながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断すれば、追跡対象の静止と隠蔽との識別が可能となる。
【００６０】
請求項２の発明は、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、撮像領域内に隠蔽領域の境界を設定する必要がなく、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に追跡対象が隠蔽領域に隠蔽されたと判断することによって追跡対象の静止と隠蔽との識別が可能となる。
【００６１】
請求項３の発明は、追跡対象を撮像して得られる画像を追跡する画像追跡装置であって、所定の撮像領域を撮像して時系列の画像を得る撮像手段と、撮像手段で得られる時系列の各画像から追跡対象が撮像された画像の領域を抽出する対象抽出手段と、対象抽出手段で抽出された追跡対象の画像領域の移動を追跡する対象追跡手段とを備え、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡するとともに追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、撮像領域内に隠蔽領域の境界を設定する必要がなく、追跡中におけるテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することによって追跡対象の静止と隠蔽との識別が可能となる。
【００６２】
請求項４の発明は、請求項３の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった場合に追跡対象が隠蔽領域に隠蔽されたと判断することを特徴とし、請求項３の発明と同様の効果を奏する。
【００６３】
請求項５の発明は、請求項１の発明において、境界設定手段は、追跡対象の時系列の画像領域が互いの境界を重複させながら消失した場合に当該境界を隠蔽領域の境界に設定することを特徴とし、人が目視で確認して隠蔽領域の境界を設定する必要が無く、境界設定手段により隠蔽領域の境界を自動的に設定することができる。
【００６４】
請求項６の発明は、請求項１の発明において、対象追跡手段は、テンプレートマッチングにより追跡対象の画像領域を追跡し、境界設定手段は、対象追跡手段による追跡中にテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とし、人が目視で確認して隠蔽領域の境界を設定する必要が無く、境界設定手段により隠蔽領域の境界を自動的に設定することができる。
【００６５】
請求項７の発明は、請求項６の発明において、対象追跡手段は、追跡対象の画像領域を複数の領域に分割するとともに分割された領域毎にテンプレートマッチングを行い、境界設定手段は、対象追跡手段による追跡中に移動方向の前方にある分割領域のテンプレートマッチングの相関度が徐々に低下して所定のしきい値以下となった位置を隠蔽領域の境界に設定することを特徴とし、請求項６の発明と同様の効果を奏する。
【００６６】
請求項８の発明は、請求項１の発明において、対象抽出手段は、撮像された画像から追跡対象の画像領域を２値化画像として抽出し、境界設定手段は、追跡対象の画像領域に含まれる画素の画素値を時系列で累積し、累積した画素値のピークが追跡対象の画像領域の境界と一致する場合に当該境界と接する位置を隠蔽領域の境界に設定することを特徴とし、人が目視で確認して隠蔽領域の境界を設定する必要が無く、境界設定手段により隠蔽領域の境界を自動的に設定することができる。
【００６７】
請求項９の発明は、請求項８の発明において、境界設定手段は、前記累積画像に対して微分による輪郭抽出を行って追跡対象の画像領域の境界を検出することを特徴とし、輪郭抽出を行うことで隠蔽領域の境界を正確に検出して設定することができる。
【００６８】
請求項１０の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素の個数が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とし、追跡対象の画像領域が隠蔽領域の境界に接しているか否かが比較的簡単な処理で判断できる。
【００６９】
請求項１１の発明は、請求項１の発明において、対象追跡手段は、隠蔽領域の境界となる複数の画素と追跡対象の画像領域の輪郭となる複数の画素との最短距離をそれぞれ求め、当該距離が所定の基準値以下となる画素が追跡対象の画像領域の輪郭となる全ての画素に占める割合が所定のしきい値以上であれば追跡対象の画像領域が隠蔽領域の境界に接していると判断することを特徴とし、追跡対象の画像領域が隠蔽領域の境界に接しているか否かが比較的簡単な処理で判断できるとともにノイズに対する耐性が向上できる。
【００７０】
請求項１２の発明は、請求項１の発明において、対象追跡手段は、境界設定手段によって設定される隠蔽領域の境界と撮像手段との間の距離を予め記憶しておき、追跡対象の画像領域が隠蔽領域の境界に接していると判断した場合に撮像手段と当該隠蔽領域の境界との間の距離を撮像手段から追跡対象までの距離と判断することを特徴とし、撮像手段から追跡対象までの距離を比較的簡単な処理で求めることができる。
【００７１】
請求項１３の発明は、請求項１の発明において、撮像手段で得られる時系列の画像を表示する表示手段を備え、対象追跡手段は、隠蔽領域の境界に接しながら消失する追跡対象の画像領域を表示手段に表示させず、隠蔽領域の境界と交わる追跡対象の画像領域を表示手段に表示させることを特徴とし、追跡対象が隠蔽領域よりも手前に存在する場合には追跡対象の画像領域が隠蔽領域の境界と交わることになるから、隠蔽領域を含む所定の範囲を表示手段に表示させず、隠蔽領域よりも手前に存在する追跡対象のみを表示手段に表示させることができる。
【００７２】
請求項１４の発明は、請求項１の発明において、境界設定手段は、撮像手段における撮像領域の境界を隠蔽領域の境界に設定することを特徴とし、追跡対象が撮像領域内で静止しているのか、撮像領域の外に退出したのかを識別することができる。
【図面の簡単な説明】
【図１】実施形態１を示すブロック図である。
【図２】同上の動作説明図である。
【図３】実施形態２の動作説明図である。
【図４】実施形態３の動作説明図である。
【図５】実施形態４の動作説明図である。
【図６】同上の動作説明用のフローチャートである。
【図７】実施形態５の動作説明図である。
【図８】実施形態６の動作説明図である。
【図９】実施形態７の動作説明図である。
【図１０】実施形態８を示すブロック図である。
【図１１】同上の動作説明図である。
【符号の説明】
１テレビカメラ
２装置本体
３対象抽出部
４対象追跡部
５境界設定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image tracking device that tracks an image obtained by imaging a target.
[0002]
[Prior art]
This type of image tracking device is used, for example, in a monitoring device that detects and tracks an intruder in a monitoring area (for example, see Patent Document 1).
[0003]
In a conventional image tracking device, a region to be tracked (for example, a person) that has changed (moved) by calculating a difference between time-series images obtained by capturing a predetermined capturing region (a so-called inter-frame difference). The image to be tracked is tracked by performing processing of extracting the extracted image area by template matching or the like.
[0004]
[Patent Document 1]
Japanese Patent Publication No. 6-28449 (page 2-3, FIG. 1)
[0005]
[Problems to be solved by the invention]
By the way, in the above-described conventional example using the inter-frame difference, it is determined that the tracking target is stationary when there is no more output of the difference. However, even when the tracking target is hidden (obscured) by an obstacle such as a wall or a screen existing in the imaging area and is no longer imaged, the output of the difference disappears. Could not be identified, adversely affecting the subsequent tracking process. For example, if it is determined that the tracked object is still despite the concealment, the tracked object may actually be lost when it is moved to another place after being hidden and does not appear again. In other words, distinguishing between stationary and concealed is very important for object tracking.
[0006]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image tracking device capable of distinguishing between stationary and concealed tracking targets.
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is an image tracking device that tracks an image obtained by capturing an image of a tracking target in order to achieve the above object, wherein an imaging unit that captures a predetermined imaging region to obtain a time-series image And an object extracting means for extracting an area of an image in which a tracking object is imaged from each of the time-series images obtained by the imaging means, and an object tracking means for tracking movement of the image area of the tracking object extracted by the object extracting means And a boundary setting unit that sets a boundary of a concealed area capable of concealing a tracking target from an imaging region of the imaging unit with respect to a time-series image captured by the imaging unit, wherein the target tracking unit includes an image of the tracking target. When the area disappears while touching the boundary of the concealed area, it is determined that the tracking target is concealed in the concealed area.
[0008]
According to a second aspect of the present invention, there is provided an image tracking apparatus for tracking an image obtained by capturing an image of a tracking target, wherein said capturing means captures a predetermined image capturing area to obtain a time-series image. And an object extracting means for extracting an area of an image in which a tracking object is imaged from each of the time-series images obtained by the imaging means, and an object tracking means for tracking movement of the image area of the tracking object extracted by the object extracting means Wherein the target tracking means determines that the tracking target has been concealed by the concealment area when the time-series image regions of the tracking target have disappeared while overlapping their boundaries.
[0009]
According to a third aspect of the present invention, there is provided an image tracking apparatus for tracking an image obtained by capturing an image of a tracking target in order to achieve the above object, wherein an image capturing unit captures a predetermined image capturing area to obtain a time-series image. And an object extracting means for extracting an area of an image in which a tracking object is imaged from each of the time-series images obtained by the imaging means, and an object tracking means for tracking movement of the image area of the tracking object extracted by the object extracting means The target tracking means tracks the image area of the tracking target by template matching, and hides the tracking target when the correlation degree of the template matching gradually decreases during tracking and falls below a predetermined threshold. It is characterized in that it is determined that the area is hidden.
[0010]
According to a fourth aspect of the present invention, in the third aspect of the present invention, the target tracking means divides an image area to be tracked into a plurality of areas, performs template matching for each of the divided areas, and moves forward in the moving direction during tracking. When the correlation degree of the template matching of the divided area is gradually reduced to a predetermined threshold or less, it is determined that the tracking target is concealed by the concealed area.
[0011]
According to a fifth aspect of the present invention, in the first aspect of the present invention, the boundary setting means sets the boundary as a boundary of the concealed area when the time-series image area to be tracked disappears while overlapping each other. It is characterized by.
[0012]
According to a sixth aspect of the present invention, in the first aspect, the object tracking means tracks an image area to be tracked by template matching, and the boundary setting means gradually increases the correlation degree of the template matching during tracking by the object tracking means. Is set as a boundary of the concealed area, the position of which falls below a predetermined threshold value.
[0013]
According to a seventh aspect of the present invention, in the sixth aspect, the object tracking means divides an image area to be tracked into a plurality of areas and performs template matching for each of the divided areas, and the boundary setting means includes: During the tracking by the means, a position where the degree of correlation of the template matching of the divided area located in front of the moving direction gradually decreases and falls below a predetermined threshold value is set as a boundary of the concealed area.
[0014]
According to an eighth aspect of the present invention, in the first aspect of the present invention, the target extracting unit extracts a tracking target image region from the captured image as a binary image, and the boundary setting unit includes the tracking target image region in the tracking target image region. The pixel values of the pixels to be tracked are accumulated in time series, and when the peak of the accumulated pixel values coincides with the boundary of the image area to be tracked, the position in contact with the boundary is set as the boundary of the concealed area.
[0015]
According to a ninth aspect of the present invention, in the eighth aspect of the invention, the boundary setting means detects a boundary of an image area to be tracked by performing contour extraction by differentiation on the accumulated image.
[0016]
According to a tenth aspect of the present invention, in the first aspect of the present invention, the target tracking means obtains the shortest distances between a plurality of pixels which are boundaries of the concealed area and a plurality of pixels which are contours of the image area to be tracked. If the number of pixels whose distance is equal to or smaller than a predetermined reference value is equal to or larger than a predetermined threshold, it is determined that the image area to be tracked is in contact with the boundary of the concealed area.
[0017]
According to an eleventh aspect of the present invention, in the first aspect of the present invention, the target tracking means obtains the shortest distances between a plurality of pixels which are boundaries of the concealed area and a plurality of pixels which are outlines of the image area to be tracked. If the ratio of the pixels whose distance is equal to or less than a predetermined reference value to all the pixels that are the outline of the image area to be tracked is equal to or more than a predetermined threshold, the image area to be tracked is in contact with the boundary of the hidden area. Is determined.
[0018]
According to a twelfth aspect of the present invention, in the first aspect, the object tracking means previously stores a distance between a boundary of the concealed area set by the boundary setting means and the imaging means, and sets an image area of the tracking target. Is determined to be the distance from the imaging means to the tracking target when it is determined that the object is in contact with the boundary of the concealment area.
[0019]
According to a thirteenth aspect of the present invention, in the first aspect of the present invention, there is provided a display unit for displaying a time-series image obtained by the imaging unit, and the target tracking unit is a tracking target image region which disappears while being in contact with a boundary of the concealment region. Is not displayed on the display means, and the image area of the tracking target intersecting with the boundary of the concealed area is displayed on the display means.
[0020]
According to a fourteenth aspect of the present invention, in the first aspect, the boundary setting means sets the boundary of the imaging region in the imaging means as the boundary of the concealment region.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
FIG. 1 shows a block diagram of the image tracking device of the present embodiment. This image tracking device is provided with a television camera 1 that captures a predetermined imaging area to obtain a time-series image, and a general-purpose computer device including a CPU, a memory, an input / output interface, a pointing device such as a mouse, a display, and the like. And a device main body 2 configured to carry processing software. The television camera 1 may include an imaging device such as a CCD, and output a captured image as an analog video signal based on a standard television system (NTSC system), or may perform A / D conversion. A digital image signal may be output with a built-in device, and the image input interface of the apparatus main body 2 may be changed according to each signal system.
[0022]
As described above, the apparatus main body 2 is composed of a general-purpose computer device and software for image processing. As a functional module of image processing by the software, the apparatus main body 2 tracks each time-series image obtained by the television camera 1. A target extracting unit 3 for extracting a region of an image in which the target is imaged, a target tracking unit 4 for tracking the movement of the image region of the tracking target extracted by the target extracting unit 3, and a tracking target for the imaging region of the television camera 1 And a boundary setting unit 5 that sets a boundary of a concealed area that can be concealed from a time-series image captured by the television camera 1.
[0023]
The target extraction unit 3 obtains a gray-scale image from the image captured by the television camera 1 and performs a frame-to-frame difference process on the time-series gray-scale image to remove a moving part (image region) in the imaging region. Perform the extraction process. The target tracking unit 4 performs template matching on the time-series grayscale image to track the image area to be tracked from among the image regions extracted by the target extraction unit 3, and each frame (time-series grayscale image) For each time, the coordinates of the image area to be tracked are stored while sequentially updating the coordinates. However, since the above-described image processing performed by the target extraction unit 3 and the target tracking unit 4 can be realized using a conventionally known technique, detailed description will be omitted. In addition, as a method of extracting the image area to be tracked, other methods such as a background difference other than the above-described inter-frame difference may be used.
[0024]
The boundary setting unit 5 performs a process of setting a boundary between the obstacle and the background of the imaging region when there is an obstacle, such as a wall or a partition, that can hide the tracking target in the imaging region as described later. In this embodiment, if the boundary is traced using a pointing device while viewing the image of the imaging region displayed on the display, the position of the pixel of the traced portion is read and stored in the memory of the apparatus main body 2. The process of storing is performed. However, since the above-described boundary setting processing performed by the boundary setting unit 5 can be realized using a conventionally known technique, detailed description will be omitted.
[0025]
Next, an operation of the image tracking device according to the present embodiment when there is an obstacle (wall) that can hide the tracking target (for example, a person) in the imaging area will be described.
[0026]
FIGS. 2A to 2D show time-series gray images F1 to F4 extracted by the target extraction unit 3, and each gray image F1 to F4 includes an area where an obstacle wall is captured. Hereinafter, this will be referred to as a “wall region”) W and an area (hereinafter, referred to as a “person region”) H in which a person to be tracked has been imaged, and the edge of the wall region W will be defined in advance as a boundary X with the background. It is assumed that the boundary is set by the boundary setting unit 5. Then, while the person to be tracked is moving, the person area H is extracted by the object extraction unit 3 and the position (coordinates) of the person area H in the imaging area is detected by performing template matching by the object tracking unit 4. If the target extraction unit 3 no longer detects the person area H, the position detected immediately before that is held until the person starts moving again.
[0027]
Here, as shown in FIGS. 2B to 2D, even when the person moves behind the wall and is concealed, the person extraction unit 3 does not extract the person region H. H disappears after the area gradually narrows while always in contact with the boundary X, and disappears without contacting the boundary X in the case of stillness. Therefore, in the present embodiment, the target tracking unit 4 detects the presence or absence of pixel overlap between the tracking target person area H and the boundary X of the wall area W, and increases or decreases the number of pixels that overlap the pixels of the boundary X to increase or decrease the number of pixels that overlap the boundary X. When disappears, it is determined that the tracking target (person) is concealed in the concealed area (wall), and it is determined whether the tracking target person is stationary or hidden behind the obstacle wall (hidden). Identify.
[0028]
As described above, in the present embodiment, the contour of an obstacle such as a wall or a partition existing in the imaging area is set as the boundary X of the concealment area, and the image area (person area H) to be tracked is set in the concealment area ( When the tracking target (person) disappears while being in contact with the boundary X of the wall region W), it is determined that the tracking target (person) is concealed in the concealment region (wall).
[0029]
(Embodiment 2)
The configuration of the image tracking apparatus of the present embodiment and the operation of tracking the image area to be tracked are the same as those of the first embodiment. Therefore, illustration and description of the common configuration and operation are omitted, and this embodiment is a feature of the present embodiment. Only the points will be described. That is, in the first embodiment, the boundary is set by the boundary setting unit 5 based on the operation of the operator, but in the present embodiment, the boundary setting unit 5 automatically sets the boundary of the concealed area without the help of the operator. The feature is that it is set.
[0030]
As described in the first embodiment, the target tracking unit 4 tracks an image area (person area H) of a tracking target by template matching. However, when the tracking target is stationary, the correlation degree of the template matching (correlation value) ) Rapidly decreases to substantially zero, whereas when the image area to be tracked is concealed by the concealment area (wall area W), there is a difference that the correlation value in template matching gradually decreases.
[0031]
Therefore, in the present embodiment, a position where the degree of correlation of template matching gradually decreases during tracking by the target tracking unit 4 and falls below a predetermined threshold is set as the boundary of the concealed area. It is not necessary for a person (operator) to visually check and set the boundary of the concealment area as in the first embodiment, and the boundary of the concealment area can be set automatically.
[0032]
FIG. 3 shows the time t on the horizontal axis and the correlation value of template matching on the vertical axis, and the time until the person area H to be tracked is concealed by the wall area W, which is the concealment area, as described in the first embodiment. This shows how the correlation value changes. That is, if the person is not concealed as shown in FIG. 11A, the correlation value indicates a high value exceeding a predetermined threshold value δ, and the body of the person is concealed on the wall as shown in FIG. The correlation value also starts to gradually decrease when it starts to be performed, and when most of the body of the person is concealed by the wall, the correlation value falls below the threshold value δ as shown in FIG. Therefore, the boundary setting unit 5 of the present embodiment determines an area having the lowest correlation with the template (for example, an area that is substantially straight) among the contours of the person area H in which the correlation value is equal to or smaller than the threshold δ. The boundary X is automatically set by extracting the pixel, reading the position of the pixel included in the area, and storing it in the memory of the apparatus main body 2. After the boundary X is automatically set by the boundary setting unit 5, the tracking is performed while the stationary and concealment of the tracking target are identified by the same operation as in the first embodiment.
[0033]
By the way, as template matching performed by the target tracking unit 4, a target image region is divided into a plurality of blocks (divided regions), a correlation between frames is calculated for each block, and where the block has moved in the next frame. There is a processing method for detecting the motion vector and detecting the movement of the entire image area. When such a processing method is adopted, the boundary setting unit 5 determines that the correlation value of the template matching of the block ahead in the moving direction during tracking by the target tracking unit 4 gradually decreases to be equal to or less than the threshold δ. , An area having the lowest correlation with the template (for example, an area that is substantially straight) is extracted from the contour of the block, and the position of the pixel included in the area is read to determine The boundary X may be automatically set by storing it in the memory.
[0034]
By focusing on the manner of changing the correlation value of the template matching as described above, it is possible to determine whether the tracking target is stationary or concealed by the target tracking unit 4 without setting the boundary of the concealed area. . That is, when the target tracking unit 4 is tracking the image area of the tracking target, if the correlation value of the template matching gradually decreases and becomes equal to or less than the threshold δ, it is determined that the tracking target is hidden, and the template matching is performed. If the correlation value suddenly drops to substantially zero, it is determined that the tracking target has stopped. Alternatively, even when the target image area is divided into a plurality of blocks and template matching of the blocks is performed, it is possible to similarly determine whether the tracking target is stationary or concealed.
[0035]
(Embodiment 3)
The configuration of the image tracking apparatus of the present embodiment and the operation of tracking the image area to be tracked are basically performed except that the target tracking unit 4 performs template matching on the binarized image obtained by binarizing the grayscale image. The second embodiment is common to the first embodiment, and illustrations and descriptions of common configurations and operations are omitted, and only the features of the present embodiment will be described. That is, the present embodiment is characterized in that the boundary setting unit 5 automatically sets the boundary of the concealed area without the help of the operator, as in the second embodiment.
[0036]
Now, consider a case in which the tracking target moves and is concealed in the concealment area. For example, if the tracking target image area (a set of pixels of “1” of the binarized image) extracted by the target extraction unit 4 is accumulated over a plurality of frames, the tracking target image area M _t ~ M _{t + 4} Gradually decreases and eventually disappears, so that the accumulated value at the end portion (the left end portion in FIG. 4) in contact with the boundary of the concealed area should be the largest. Therefore, the boundary setting unit 5 of the present embodiment accumulates the image area of the tracking target extracted by the target extracting unit 4 over a plurality of frames, and matches the peak of the accumulated pixel value with the boundary of the image area of the tracking target. In this case, the position of the pixel in contact with the boundary is read and stored in the memory of the apparatus main body 2 to automatically set the boundary.
[0037]
By the way, when the boundary setting unit 5 performs a process of performing a contour extraction (edge extraction) by a differential operator on the accumulated image area (cumulative image) to detect a boundary of the image area to be tracked, the contour extraction is performed. This makes it possible to accurately detect and set the boundary of the hidden area. Here, the differential operator has a size of 3 × 3 or 5 × 5, which is frequently used in general image processing, and may be either a Sobel operator of the first derivative or a Laplacian operator of the second derivative. Then, the boundary setting unit 5 binarizes the differential image by the differential operator with an appropriate threshold value to extract a region having a high differential intensity, and performs a conventionally well-known peak detection process in the extracted region. Extract the boundaries.
[0038]
By focusing on how the image area of the tracking target changes as described above, it is possible to determine whether the tracking target is stationary or concealed by the target tracking unit 4 without setting the boundary of the concealed region. . That is, the target tracking unit 4 uses the image area M to be tracked. _t ~ M _{t + 4} Is gradually reduced and eventually disappears, it is determined that the tracking target is concealed, and when the image area of the tracking target has rapidly disappeared, it is determined that the tracking target has stopped.
[0039]
(Embodiment 4)
The configuration of the image tracking apparatus of the present embodiment and the operation of tracking the image area to be tracked are basically the same as those of the first embodiment, and the common configuration and operation are not shown and described, and the features of the present embodiment are omitted. Only the following points will be described.
[0040]
In the present embodiment, the target tracking unit 4 obtains the shortest distances between a plurality of pixels that are boundaries of the concealed area and a plurality of pixels that are outlines of the image area to be tracked, and the distance is equal to or less than a predetermined reference value. If the number of pixels is equal to or larger than a predetermined threshold value, it is determined that the image area to be tracked is in contact with the boundary of the hidden area. That is, as shown in FIG. 5, the inspection line is extended in a plurality of directions (for example, four directions) from the pixel Px on the boundary X, and a distance until the inspection line intersects with the pixel Ph on the contour of the image area H to be tracked is obtained. The shortest distance Dmin among them is defined as the distance between the boundary X and the image area H. If this distance Dmin falls below a predetermined threshold value Dth, it is considered that the two pixels Px and Ph are in contact with each other, and the boundary X For all the pixels Px above, the shortest distance Dmin is obtained and the process of comparing with the threshold value Dth is sequentially performed. If the pixels Px and Ph that can be regarded as being in contact with each other continuously exceed the threshold value Nth, the target tracking unit 4 It is determined that the image area H to be tracked is in contact with the boundary X of the hidden area.
[0041]
Next, a procedure of determining whether or not the image area of the tracking target in the target tracking unit 4 is in contact with the boundary of the hidden area will be described in detail with reference to the flowchart of FIG.
[0042]
First, the distance Dmin (n) and variables n and N for each pixel Px on the boundary X are initialized (step 1), and the image area H to be tracked is obtained from the pixel Px (n) on the boundary X obtained by the above procedure. The shortest distance Dmin (n) to the pixel Ph on the outline is compared with a threshold value Dth (step 2). If the distance Dmin (n) is equal to or greater than the threshold value Dth, the variable n is incremented (step 3), and the shortest distance Dmin (n + 1) for the next pixel Px (n + 1) is compared with the threshold value Dth (step 2). ), Steps 2 and 3 are repeated until the shortest distance Dmin falls below the threshold value Dth. If the shortest distance Dmin is smaller than the threshold value Dth, it is determined whether or not the pixel Px (contact point) at that time is continuous with the previous pixel Px (step 4). If not, the variable n is incremented. (Step 3), and the processing of Steps 2 to 4 is repeated until a continuous pixel Px (contact point) appears.
[0043]
On the other hand, when pixels Px (contact points) having the shortest distance Dmin less than the threshold value Dth are continuously present, the count value N of the contact points is incremented (step 5), and the count value N is compared with the threshold value Nth. (Step 6). If the count value N exceeds the threshold value Nth, it is determined that the image area to be tracked is in contact with the boundary of the concealed area (step 7). Return and repeat the above process.
[0044]
In the present embodiment, since the above-described processing is performed in the target tracking unit 4, there is an advantage that it is possible to determine whether or not the tracking target image area is in contact with the boundary of the concealment area by relatively simple processing. In the present embodiment, the distance from the pixel Px on the boundary X to the pixel Ph on the image area H to be tracked is determined. Conversely, the distance from the pixel Ph on the image area H to be tracked to the boundary Ph is calculated. The distance to the pixel Px on X may be obtained. In the present embodiment, the condition is that pixels Px (contact points) whose shortest distance Dmin is less than the threshold value Dth are continuous, but the number N of pixels Px (contact points) whose shortest distance Dmin is less than the threshold value Dth is The ratio of the image area H to be tracked to all the contour pixels Ph is compared with a predetermined threshold value. If the ratio is equal to or larger than the threshold value, the image area to be tracked contacts the boundary of the concealed area. There is an advantage that it is possible to improve the immunity to noise if it is determined that there is a noise.
[0045]
(Embodiment 5)
The configuration of the image tracking apparatus of the present embodiment and the operation of tracking the image area to be tracked are the same as those of the first embodiment. Therefore, illustration and description of the common configuration and operation are omitted, and this embodiment is a feature of the present embodiment. Only the points will be described.
[0046]
In the present embodiment, in the target tracking unit 4, as shown in FIG. 7, between the boundaries X1 to X3 of the plurality of concealed areas (wall areas) W1 to W3 set by the boundary setting unit 5 and the television camera 1. The distance is stored in advance, and if it is determined that the image area (person area H) to be tracked is in contact with the boundaries X1 to X3 of the wall areas W1 to W3, the distance between the television camera 1 and the boundaries X1 to X3 is determined. Is determined as the distance from the television camera 1 to the tracking target (person). The plurality of boundaries X1 to X3 may be manually set by the boundary setting unit 5 as in the first embodiment, or may be automatically set by the boundary setting unit 5 as in the second to fourth embodiments.
[0047]
For example, in the case shown in FIG. 7, the distance (for example, 10 m, 15 m, 20 m) from the television camera 1 to each boundary X1 to X3 of the three wall regions W1 to W3 is measured and stored in the memory. When the target tracking unit 4 determines that the person area H is concealed by the center wall area W2, it is determined that the tracked person exists near the distance (15 m) to the boundary X2 and further away therefrom. I can judge. Generally, measuring the distance to a target by image processing requires complicated calculation processing such as stereo processing. In the present embodiment, however, the approximate distance to the tracking target is obtained by simple processing as described above. be able to. In the above-described example, the case where the boundaries X1 to X3 are vertical has been described. However, the same effects as those in the case where the boundaries X1 to X3 are vertical can also be obtained for horizontal boundaries such as the upper edge of a partition installed in an office. And the direction of the boundary is not particularly limited.
[0048]
(Embodiment 6)
The configuration of the image tracking apparatus of the present embodiment and the operation of tracking the image area to be tracked are the same as those of the first embodiment, and the illustration and description of the common configuration and operation are omitted.
[0049]
Conventionally, when the image tracking apparatus of the present invention is used in a monitoring system that is installed outdoors and monitors a public place such as a road, a personal residence A exists in an imaging area of the television camera 1 as shown in FIG. Therefore, it is necessary to hide the image area of the house A on the display of the apparatus main body 2 from the viewpoint of privacy protection. However, if the image area of the house A is always hidden, there is a problem that it is impossible to display even a tracking target such as a person or a car passing between the television camera 1 and the house A on the display.
[0050]
On the other hand, if the house A exists in the monitoring area as shown in FIG. 8, privacy protection targets are a resident and a room seen through the window B of the house A. Therefore, in the present embodiment, the display control area C, which is not displayed by default, is set to a range including the window B of the house A, and both ends of the window frame in the vertical direction are manually or automatically set by the boundary setting unit 5. X, the display control area C is not displayed on the display if there is an image area H that disappears while being in contact with the boundary X of the concealed area when the target tracking section 4 tracks the image area to be tracked. The display control area C is displayed on the display if there is an image area to be tracked that intersects the boundary X of the concealed area. That is, since the image area H that disappears while being in contact with the boundary X of the concealment area can be determined as a resident who can be seen through the window B, in such a case, the display control area C is hidden to protect privacy, If there is an image area to be tracked that intersects the boundary X, it can be determined that a person or a vehicle to be tracked exists between the television camera 1 and the house A. In such a case, display control is performed. If only the image area of the tracking target existing in the area C is displayed on the display, there is a disadvantage that a tracking target such as a person or a car passing between the television camera 1 and the house A cannot be displayed on the display. Can be resolved. The determination as to whether or not the boundary X of the concealed area and the image area to be tracked intersect may be made based on whether or not a predetermined number of intersections between the pixels in the image area and the boundary X exist.
[0051]
(Embodiment 7)
The configuration of the image tracking apparatus of the present embodiment and the operation of tracking the image area to be tracked are the same as those of the first embodiment, and the illustration and description of the common configuration and operation are omitted.
[0052]
When an image tracking device is used in a monitoring system that monitors a person's behavior in a bathroom, conventionally, when the image area of a tracking target (a person taking a bath) disappears, is the person stationary in the bathroom? However, it is difficult to identify whether a person has left the bathroom, and a switch for notifying that the person has left the room has to be installed outside the bathroom.
[0053]
Therefore, by regarding the concealed area as being outside the imaging area of the television camera 1 and setting the edge of the imaging area as a boundary, the above-described distinction between stillness and exit can be made. For example, as shown in FIG. 9, the TV camera 1 is installed on the ceiling of a bathroom, and almost the entire bathroom is set as an imaging region F. The outside of the imaging region F is regarded as a concealed region, and the entire periphery of the imaging region F is set as a boundary X. When the concealment in which the image area H to be tracked disappears while touching the boundary X is set, it is determined that the room has left. When the image area H disappears without touching the boundary X, it is determined to be stationary. In addition, by adding that the moving direction of the image area H is outside the imaging area F as a condition for judging the exit, the reliability of judging the exit can be improved.
[0054]
(Embodiment 8)
FIG. 10 shows a block diagram of the image tracking device of the present embodiment. However, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
[0055]
The present embodiment is characterized in that when a time-series image area of a tracking target disappears while overlapping its boundaries, the target tracking unit 4 'determines that the tracking target has been concealed in the concealment area.
[0056]
For example, FIG. 11 shows a state in which the image area H to be tracked is gradually concealed in the concealment area at times t, t + 1, and t + 2. _t , H _{t + 1} , H _{t + 2} Are extracted, and all these image areas H _t , H _{t + 1} , H _{t + 2} If the predetermined number or more pixels are overlapped by performing AND processing, the edge (boundary) Y is regarded as overlapping, and it is determined that the image area H to be tracked is concealed by the concealment area.
[0057]
The present embodiment is configured as described above, and it is not necessary to set the boundary of the concealment area in the imaging area as in the first embodiment, and the time-series image areas to be tracked overlap each other. By determining that the tracking target has been concealed in the concealed area when the tracking target has disappeared, it is possible to distinguish between stationary and concealment of the tracking target.
[0058]
Note that the method of determining whether the tracking target is stationary or concealed in the present embodiment can also be used for the boundary setting of the boundary setting unit 5. That is, the image area H at each time _t , H _{t + 1} , H _{t + 2} Since the edge coincides with the boundary of the concealed area when the predetermined number or more pixels are overlapped by AND processing, the edge in this case may be set as the boundary of the concealed area.
[0059]
【The invention's effect】
The invention according to claim 1 is an image tracking device that tracks an image obtained by capturing an image of a tracking target, wherein the capturing unit captures a predetermined capturing area to obtain a time-series image, A target extraction unit that extracts a region of the image where the tracking target is imaged from each image of the series, a target tracking unit that tracks movement of the image region of the tracking target extracted by the target extraction unit, and an imaging unit that captures the tracking target. Boundary setting means for setting a boundary of a concealment area that can be concealed from the imaging area with respect to a time-series image picked up by the imaging means. If the tracking target disappears, it is determined that the tracking target has been concealed in the concealed area, and the outline of an obstacle such as a wall or a screen existing in the imaging area is set at the boundary of the concealed area, and the The image area is a hidden area When it is judged that if lost while in contact with the boundary tracked is concealed in the hidden area, it is possible to identify the stationary concealed tracked.
[0060]
The invention according to claim 2 is an image tracking device for tracking an image obtained by capturing an image of a tracking target, wherein the image capturing device captures a predetermined image capturing area to obtain a time-series image, A target extraction unit that extracts a region of an image in which the tracking target is captured from each image of the series, and a target tracking unit that tracks movement of an image region of the tracking target extracted by the target extraction unit, wherein the target tracking unit includes: When the time-series image area of the tracking target disappears while overlapping the boundaries of each other, it is determined that the tracking target is concealed by the concealment area, and it is necessary to set the boundary of the concealment area in the imaging area. Alternatively, when the time-series image areas of the tracking target disappear while overlapping the boundaries of each other, it is possible to discriminate between the stillness and the concealment of the tracking target by determining that the tracking target is concealed in the concealment area.
[0061]
The invention according to claim 3 is an image tracking device that tracks an image obtained by capturing an image of a tracking target, wherein the capturing unit captures a predetermined capturing area to obtain a time-series image, A target extraction unit that extracts a region of an image in which the tracking target is captured from each image of the series, and a target tracking unit that tracks movement of an image region of the tracking target extracted by the target extraction unit, wherein the target tracking unit includes: Tracing a tracking target image area by template matching, and determining that the tracking target is concealed by the concealment area when the correlation degree of the template matching gradually decreases during the tracing and falls below a predetermined threshold. When it is not necessary to set the boundary of the concealment area in the imaging area, and the correlation degree of template matching during tracking gradually decreases and falls below a predetermined threshold value It tracked it is possible to identify the stationary concealed tracked by determining to have been concealed in the concealed region.
[0062]
According to a fourth aspect of the present invention, in the third aspect of the present invention, the target tracking means divides an image area to be tracked into a plurality of areas, performs template matching for each of the divided areas, and moves forward in the moving direction during tracking. And determining that the tracking target is concealed by the concealed area when the correlation degree of the template matching of the divided area gradually decreases to a predetermined threshold value or less. Has the effect of
[0063]
According to a fifth aspect of the present invention, in the first aspect of the present invention, the boundary setting means sets the boundary as a boundary of the concealed area when the time-series image area to be tracked disappears while overlapping each other. It is not necessary for a person to visually confirm and set the boundary of the concealed area, and the boundary of the concealed area can be automatically set by the boundary setting means.
[0064]
According to a sixth aspect of the present invention, in the first aspect, the object tracking means tracks an image area to be tracked by template matching, and the boundary setting means gradually increases the correlation degree of the template matching during tracking by the object tracking means. Is set as a boundary of the concealed area, the position of which falls below the predetermined threshold value is set as the boundary of the concealed area. The boundaries of the area can be set automatically.
[0065]
According to a seventh aspect of the present invention, in the sixth aspect, the object tracking means divides an image area to be tracked into a plurality of areas and performs template matching for each of the divided areas, and the boundary setting means includes: A position where the degree of correlation of template matching of a divided region located in front of the moving direction gradually decreases during tracking by the means and falls below a predetermined threshold value is set as a boundary of the concealed region. According to the sixth aspect, the same effect as that of the sixth aspect is obtained.
[0066]
According to an eighth aspect of the present invention, in the first aspect of the present invention, the target extracting unit extracts a tracking target image region from the captured image as a binary image, and the boundary setting unit includes the tracking target image region in the tracking target image region. Pixel values of pixels to be accumulated in a time series, and when a peak of the accumulated pixel values coincides with a boundary of an image area to be tracked, a position in contact with the boundary is set as a boundary of the concealed area, There is no need to visually confirm and set the boundary of the concealment area, and the boundary setting means can automatically set the boundary of the concealment area.
[0067]
According to a ninth aspect of the present invention, in the invention of the eighth aspect, the boundary setting means detects a boundary of an image area to be tracked by performing contour extraction by differentiation with respect to the accumulated image. By doing so, the boundary of the concealed area can be accurately detected and set.
[0068]
According to a tenth aspect of the present invention, in the first aspect of the present invention, the target tracking means obtains the shortest distances between a plurality of pixels which are boundaries of the concealed area and a plurality of pixels which are contours of the image area to be tracked. If the number of pixels whose distance is equal to or less than a predetermined reference value is equal to or more than a predetermined threshold, it is determined that the image area of the tracking target is in contact with the boundary of the hidden area, and the image area of the tracking target is Whether or not it is in contact with the boundary of the hidden area can be determined by relatively simple processing.
[0069]
According to an eleventh aspect of the present invention, in the first aspect of the present invention, the target tracking means obtains the shortest distances between a plurality of pixels which are boundaries of the concealed area and a plurality of pixels which are outlines of the image area to be tracked. If the ratio of the pixels whose distance is equal to or less than a predetermined reference value to all the pixels that are the outline of the image area to be tracked is equal to or more than a predetermined threshold, the image area to be tracked is in contact with the boundary of the hidden area. This makes it possible to determine whether or not the image area to be tracked is in contact with the boundary of the concealed area by relatively simple processing, and to improve the resistance to noise.
[0070]
According to a twelfth aspect of the present invention, in the first aspect, the object tracking means previously stores a distance between a boundary of the concealed area set by the boundary setting means and the imaging means, and sets an image area of the tracking target. Is determined to be the distance from the imaging means to the tracking target from the imaging means when it is determined that is in contact with the boundary of the concealment area, from the imaging means to the tracking target. Can be obtained by relatively simple processing.
[0071]
According to a thirteenth aspect of the present invention, in the first aspect of the present invention, there is provided a display unit for displaying a time-series image obtained by the imaging unit, and the target tracking unit is a tracking target image region which disappears while being in contact with a boundary of the concealment region. Is not displayed on the display means, and the image area of the tracking target that intersects the boundary of the concealed area is displayed on the display means.If the tracking target is present before the concealed area, the image area of the tracking target is Since it intersects with the boundary of the concealed area, a predetermined range including the concealed area is not displayed on the display means, and only the tracking target existing before the concealed area can be displayed on the display means.
[0072]
According to a fourteenth aspect of the present invention, in the first aspect, the boundary setting means sets the boundary of the imaging area in the imaging means to the boundary of the concealment area, and the tracking target is stationary in the imaging area. Or whether the user has left the imaging area.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment.
FIG. 2 is an operation explanatory view of the above.
FIG. 3 is an operation explanatory diagram of the second embodiment.
FIG. 4 is an operation explanatory diagram of the third embodiment.
FIG. 5 is an operation explanatory diagram of the fourth embodiment.
FIG. 6 is a flowchart for explaining the operation of the above.
FIG. 7 is an operation explanatory diagram of the fifth embodiment.
FIG. 8 is an operation explanatory diagram of the sixth embodiment.
FIG. 9 is an operation explanatory diagram of the seventh embodiment.
FIG. 10 is a block diagram showing an eighth embodiment.
FIG. 11 is an operation explanatory view of the above.
[Explanation of symbols]
1 TV camera
2 Main unit
3 Target extraction unit
4 Target tracking unit
5 Boundary setting section

Claims

An image tracking device that tracks an image obtained by capturing an image of a tracking target, comprising: an imaging unit that captures a predetermined imaging region to obtain a time-series image; and a tracking target that is obtained from each of the time-series images obtained by the imaging unit. Extraction means for extracting an area of an image captured by the apparatus, object tracking means for tracking the movement of the image area of the tracking object extracted by the object extraction means, and concealment capable of concealing the tracking object from the imaging area of the imaging means Boundary setting means for setting a boundary of an area with respect to a time-series image picked up by the image pickup means. An image tracking device, which determines that the image is hidden in a hidden area.

An image tracking device that tracks an image obtained by capturing an image of a tracking target, comprising: an imaging unit that captures a predetermined imaging region to obtain a time-series image; and a tracking target from each of the time-series images obtained by the imaging unit. Comprises a target extraction unit that extracts a region of an image captured, and a target tracking unit that tracks movement of an image region of a tracking target extracted by the target extraction unit, and the target tracking unit includes a time series of the tracking target. An image tracking device, characterized in that it is determined that a tracking target has been concealed in a concealed area when the image areas have disappeared while overlapping their boundaries.

An image tracking device that tracks an image obtained by capturing an image of a tracking target, comprising: an imaging unit that captures a predetermined imaging region to obtain a time-series image; and a tracking target from each of the time-series images obtained by the imaging unit. Comprises a target extraction means for extracting a region of the image captured, and a target tracking means for tracking the movement of the image area of the tracking target extracted by the target extraction means. An image tracking apparatus for tracking an image area and determining that a tracking target is concealed by a concealment area when the correlation degree of template matching gradually decreases during the tracking and falls below a predetermined threshold value. .

The target tracking means divides the image area to be tracked into a plurality of areas and performs template matching for each of the divided areas, and the degree of correlation of the template matching of the divided area located in front of the moving direction during tracking gradually decreases. 4. The image tracking device according to claim 3, wherein when the threshold value is equal to or less than a predetermined threshold value, the tracking target is determined to be concealed in the concealment area.

2. The image tracking apparatus according to claim 1, wherein the boundary setting unit sets the boundary as a boundary of the concealed area when the time-series image areas to be tracked disappear while overlapping each other.

The target tracking means tracks the image area of the tracking target by template matching, and the boundary setting means determines a position where the correlation degree of the template matching gradually decreases to a predetermined threshold or less during tracking by the target tracking means. 2. The image tracking device according to claim 1, wherein is set as a boundary of the concealed area.

The target tracking means divides the image area to be tracked into a plurality of areas, and performs template matching for each of the divided areas. 7. The image tracking device according to claim 6, wherein a position at which the degree of correlation of the template matching gradually decreases and falls below a predetermined threshold value is set as a boundary of the concealed area.

The target extracting means extracts the image area of the tracking target from the captured image as a binarized image, and the boundary setting means accumulates the pixel values of the pixels included in the image area of the tracking target in time series and accumulates them. 2. The image tracking apparatus according to claim 1, wherein when the peak of the pixel value coincides with the boundary of the image area to be tracked, the position in contact with the boundary is set as the boundary of the concealed area.

9. The image tracking apparatus according to claim 8, wherein the boundary setting unit detects a boundary of an image area to be tracked by performing contour extraction by differentiation of the accumulated image.

The target tracking means obtains a shortest distance between each of a plurality of pixels that are boundaries of the concealed area and a plurality of pixels that are contours of the image area to be tracked, and determines the number of pixels whose distance is equal to or less than a predetermined reference value. 2. The image tracking apparatus according to claim 1, wherein if the threshold value is equal to or more than the threshold value, the image area to be tracked is determined to be in contact with the boundary of the hidden area.

The target tracking means obtains a shortest distance between each of a plurality of pixels which are boundaries of the concealed area and a plurality of pixels which are contours of the image area to be tracked. 2. The image according to claim 1, wherein the image area to be tracked is determined to be in contact with the boundary of the concealed area if the proportion of all pixels forming the contour of the image area is equal to or greater than a predetermined threshold value. Tracking device.

The target tracking means stores in advance the distance between the boundary of the concealed area set by the boundary setting means and the imaging means, and determines that the image area to be tracked is in contact with the boundary of the concealed area. 2. The image tracking apparatus according to claim 1, wherein a distance between the imaging unit and a boundary of the concealed area is determined as a distance from the imaging unit to a tracking target.

Display means for displaying a time-series image obtained by the imaging means, wherein the target tracking means intersects the boundary of the concealed area without displaying the image area of the tracked object which disappears while touching the boundary of the concealed area on the display means 2. The image tracking apparatus according to claim 1, wherein an image area to be tracked is displayed on a display unit.

2. The image tracking apparatus according to claim 1, wherein the boundary setting unit sets a boundary of the imaging region in the imaging unit as a boundary of the concealed region.