JP2007334631A - 画像監視システムおよび物体領域追跡方法 - Google Patents

Abstract

【課題】重なりや隠れによって物体領域が一時的に消滅した場合であっても識別番号の継続を可能とし、物体追跡の性能向上を図る。
【解決手段】時刻ｔ−１における識別番号「２」の物体領域は、時刻ｔでは他の物体領域と重なった状態となるため、この時刻ｔにおいてどの物体領域とも対応付けがなされず、消滅した状態となる。この場合、消滅した物体領域の情報を複製し、識別番号を負の値である「−２」に変更しておく。時刻ｔ＋１では、時刻ｔで複製された識別番号「−２」の物体領域の情報から得られた時刻ｔ＋１における物体領域の予測情報（サイズ、位置、移動速度など）を用い、この識別番号「−２」の物体領域と対応付け可能な、再出現した物体領域があるか判定する。時刻ｔ＋１に対応付けできる物体領域がある場合、対応付けし、その物体領域に識別番号「２」を付与する。
【選択図】図３

Description

この発明は、例えばＩＴＶカメラを用いた監視システムに適用して好適な画像監視システムおよび物体領域追跡方法に関する。詳しくは、この発明は、現在の物体領域と過去の物体領域とを固有の識別情報を用いて対応付けして追跡処理を行うものにあって、消滅した所定の物体領域に付与されていた識別情報を継続して保持し、この所定の物体領域が再び出現したとき、当該所定の物体領域に、保持していた識別情報を付与することによって、重なりや隠れによって物体領域が一時的に消滅した場合であっても識別情報の継続が可能となり、物体追跡の性能向上を図るようにした画像監視システム等に係るものである。

ＩＴＶ(Industrial TV)カメラなどによって撮影された画像中の人や車などの物体を検知する技術は、画像監視システムを構築する上で非常に重要である。例えば、ＩＴＶカメラを用いた監視システムへ適用する場合、カメラによって立ち入り禁止区域などの監視したい場所を撮影し、画像内の物体の有無を検知し、物体が進入してきた場合にはアラームを発生するシステムの構築が考えられる。また、デパートや駅などの人が多く出入りする場所において、移動している人間の追跡によって人の流れを調査することで、人の流れの整理やマーケット調査などにも適用できる。

画像中の移動物体を検知するためには、図７に示すような２つの処理が必要となる。まず、入力画像信号に基づいて物体領域の検出処理を行い、この入力画像信号による画像から物体領域（現在の物体領域）の情報を検出する。次に、物体領域の追跡処理で、現在の物体領域と過去の物体領域との対応付けを行い、物体領域の情報（サイズ、位置、移動速度、識別番号など）を出力する。識別番号は、固有の識別情報を構成している。これらの処理を行うことで、画像中に存在する移動物体の検知を行うことができる。

物体領域の検出処理には、例えば特許文献１等に記載されているように、入力画像（現在画像）と過去の画像とを比較することで、変化領域を物体領域として検出する方法がある。この類の手法は一般的にフレーム間差分処理と呼ばれている。

また、物体領域の検出処理には、例えば、C．Stuffer、 W．E．L Grimson、”Adaptive background mixture models for real-time tracking”がある。これは、物体領域が写っていない背景画像を作成し、背景画像と入力画像とを比較することで、物体領域を検出する手法である。この類の手法は一般的に背景差分処理と呼ばれている。

また、物体領域の検出処理には、上述したフレーム間差分処理および背景差分処理を融合した処理手法も提案されている。例えば、特許文献２等に記載されている。このような処理を用いることで、入力画像中の物体領域を検知することができる。この処理で、まず、物体領域の情報のうち、サイズ、位置などが決定される。

また、物体領域の追跡処理では、入力画像信号による画像から検出された現在の物体領域と過去の物体領域の対応付けを行うことで物体領域の追跡を行い、追跡している物体領域には固有の識別番号を与える。対応付けには次のような手法がある。例えば、特許文献３に記載される物体領域の追跡処理では、現在画像で検出された物体領域と過去画像で検出された物体領域との対応関係をサイズや位置などを用いて評価し、最も評価値が高いものを対応付けしている。
特開平６−１１００５５２号公報 特開２００４‐２８２３６８号公報 特開２００１−３２５６７２号公報

特許文献３等に記載される従来手法の追跡処理では、物体が重なったり隠れたりした場合に追跡に失敗してしまうことがある。図８は、２つの物体が一時的に重なる例、つまりある時刻ｔ−１で２つある物体が、時刻ｔで重なり、時刻ｔ＋１で再び分離する例を示している。この例の場合、従来手法を用いて追跡処理を行うと、図９に示すように識別番号が付与されていく。

すなわち、ある時刻ｔ−１において識別番号１と識別番号２の物体領域があった場合に、時刻ｔにおいて1つだけ存在する物体領域との対応付けを行うと、その物体領域は識別番号１の物体領域と対応付けが行われる。その結果、時刻ｔには識別番号１の物体領域だけが存在し、識別番号２の物体領域の情報は消失してしまう。そのため、時刻ｔ＋１において物体領域が再び分離した場合に、分離した物体領域には新たな識別番号３が付与される。識別番号２と識別番号３の物体領域は同じ物体に係るものでありながら異なった識別番号が与えられてしまう。この場合、物体領域の移動履歴を正しく求めることができなくなる。

また、図１０は、物体が隠れる例、つまり時刻ｔ−１のある物体が、時刻ｔで別の物体によって物体領域が隠され、時刻ｔ＋１で再び出現する例を示している。この例の場合、従来手法を用いて追跡処理を行うと、図１１に示すように識別番号が付与されていく。すなわち、ある時刻ｔ−１において識別番号１の物体領域があった場合に、時刻ｔにおいて1つだけ存在する物体領域との対応付けを行うと、その物体領域は識別番号１の物体領域と対応付けが行われる。

しかし、この時刻ｔで識別番号１が付与された物体領域は、時刻ｔ−１で識別番号１が付与されていた物体領域に対して、そのサイズが大きく変化したものとなっている。つまり、この時刻ｔで、識別番号１が付与された物体領域は実質的に消滅した状態となる。そのため、時刻ｔ＋１でその物体領域が隠れを脱して再出現した場合、その物体領域に新たに識別番号２が付与される。識別番号１と識別番号２の物体領域は同じ物体に係るものでありながら異なった識別番号が与えられてしまう。この場合、物体領域の移動履歴を正しく求めることができなくなる。

この発明の目的は、重なりや隠れによって物体領域が一時的に消滅した場合であっても識別情報の継続が可能となり、物体追跡の性能向上を図ることにある。

この発明の概念は、
入力画像信号に基づき、該入力画像信号による画像から物体領域の情報を検出する物体領域検出処理部と、
上記物体領域検出処理部で検出された物体領域の情報に基づき、現在の物体領域と過去の物体領域との対応付けによって物体領域の追跡処理を行う物体領域追跡処理部とを備え、
上記物体領域追跡処理部は、
上記現在の物体領域と上記過去の物体領域との対応付けを固有の識別情報を用いて行い、
消滅した所定の物体領域に付与されていた識別情報を継続して保持し、該所定の物体領域が再び出現したとき該所定の物体領域に上記保持していた識別情報を付与する
ことを特徴とする画像監視システムにある。

この発明においては、入力画像信号に基づいて、この入力画像信号による画像から物体領域の情報が検出される。そして、この検出された物体領域の情報に基づき、現在の物体領域と過去の物体領域との対応付けが行われて物体領域の追跡が行われる。この場合、現在の物体領域と過去の物体領域との対応付けは、固有の識別情報、例えば固有の識別番号を用いて行われる。

物体領域の追跡処理では、所定の物体領域が消滅した場合、当該所定の物体領域に付与されていた識別情報が継続して保持される。この識別情報の保持は、例えば当該所定の物体領域の情報を複製することで行われる。そして、所定の物体領域が再び出現したとき、当該所定の物体領域に、保持されていた識別情報が付与される。

例えば、この所定の物体領域の消滅は当該所定の物体領域が他の物体領域と重なることで発生するが、当該所定の物体領域の情報が検出されなくなるとき、当該所定の物体領域が消滅したものとされる。

また例えば、この所定の物体領域の消滅は当該所定の物体領域の一部が隠れることで発生するが、この場合当該所定の物体領域の情報は検出されるものの、その情報が当該所定の物体領域に係る過去の物体領域の情報と大きく変化したとき、当該所定の物体領域が消滅したものとされる。

このように、消滅した所定の物体領域に付与されていた識別情報を継続して保持し、この所定の物体領域が再び出現したとき、当該所定の物体領域に、保持していた識別情報を付与するものであり、重なりや隠れによって物体領域が一時的に消滅した場合であっても識別情報の継続が可能となり、物体追跡の性能向上を図ることができる。

なお、上述したように所定の物体領域が消滅した場合、当該所定の物体領域に係る過去の物体領域の情報に基づき、当該所定の物体領域が再び出現したときの物体領域の情報、例えばサイズ、位置などが予測され、その予測された物体領域の情報が参照されて当該所定の物体領域が再び出現したか否かが判定される。これにより所定の物体領域の再出現を精度よく判定でき、識別情報の継続精度を向上させることができる。

また、消滅した所定の物体領域に係る識別情報は一定の条件でその保持が停止される。例えば、フレーム毎に、所定の物体領域に係る過去の物体領域の情報に基づき当該所定の物体領域が再び出現する位置が予測されるが、この予測された位置が画像の外にはみ出るときは、その識別情報の保持が停止される。また例えば、フレーム毎に、所定の物体領域に係る過去の物体領域の情報に基づき当該所定の物体領域が再び出現する位置が予測されるが、所定フレーム数以内にこの予測された位置に所定の物体領域が再び出現しないときは、その識別情報の保持が停止される。

このように、一定の条件でその保持が停止されるようにすることで、その保持により発生する所定の物体領域の再出現位置の予測などの処理を行うことが必要なくなり、処理負荷を軽減できる。

この発明によれば、現在の物体領域と過去の物体領域とを共通の識別情報を用いて対応付けして追跡処理を行うものにあって、消滅した所定の物体領域に付与されていた識別情報を継続して保持し、この所定の物体領域が再び出現したとき、当該所定の物体領域に、保持していた識別情報を付与するものであり、重なりや隠れによって物体領域が一時的に消滅した場合であっても識別情報の継続が可能となり、物体追跡の性能向上を図ることができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像監視システム１００の構成を示している。この画像監視システム１００は、カメラ１０１と、記録装置１０２と、ディスプレイ１０３と、アラーム発生部１０４５と、ユーザ操作部１０６、ＣＰＵ(Central Processing Unit)１０７と、ＲＯＭ(Read OnlyMemory)１０８と、ＲＡＭ(Random Access Memory)１０９とが、それぞれバス１０５に接続されて構成されている。

カメラ１０１は例えばＩＴＶカメラである。また、記録装置１０２はカメラ１０１で撮影して得られた画像信号、後述する画像処理部における物体領域の追跡処理で得られる物体領域の情報等を蓄積する。この記録装置１０２は、例えばＨＤＤ(Hard Disk Drive)、半導体メモリ等で構成されている。

ディスプレイ１０３は、カメラ１０１で撮像して得られた画像信号による画像、記録装置１０２から再生された画像信号による画像、さらには記録装置１０２に記録された物体領域の情報に基づいて加工された物体追跡画像等を表示する。このディスプレイ１０３は、例えばＬＣＤ、ＣＲＴ等で構成されている。

アラーム発生部１０４は、例えば、後述する画像処理部における物体領域の追跡処理で得られる物体領域の情報等に基づいてアラームが必要となるとき、当該画像処理部の制御のもと、アラームを発生する。例えば、所定の物体が進入禁止領域に入ったとき等である。

ユーザ操作部１０６は、ユーザが当該画像監視システム１００に対して種々の操作を行うためのユーザインターフェースを構成しており、例えばキーボード、マウス等から構成されている。

ＣＰＵ１０７は、画像監視システム１００の全体の動作を制御するものである。ＲＯＭ１０８は、ＣＰＵ１０７の動作を制御するための制御プログラム等を格納している。ＲＡＭ１０９は、ＣＰＵ１０７のワーキングエリア等として機能する。ＣＰＵ１０７は、ＲＯＭ１０８に格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭ１０９に転送して展開する。そして、このＣＰＵ１０７は、ＲＡＭ１０９に展開された制御プログラムを読み出して実行することで、画像監視システム１００の各部を制御する。

ＣＰＵ１０７、ＲＯＭ１０８およびＲＡＭ１０９は、画像中の移動物体を検出するための物体領域の検出処理および物体領域の追跡処理を行う画像処理部を構成している。図２は、この画像処理部を構成する機能ブロックを示している。この画像処理部は、物体領域の検出部１１１と、物体領域の情報記憶部１１２と、過去の物体領域の情報記憶部１１３と、物体領域の対応付け部１１４と、物体領域の判定部１１５と、消滅物体領域の複製部１１６と、物体領域の情報統合部１１７とを有している。

物体領域の検出部１１１は、カメラ１０１で撮像して得られる画像信号（入力画像信号）に基づき、その画像信号による画像から物体領域（現在の物体領域）の情報を検出する。この検出処理は、上述したフレーム間差分処理あるいは背景差分処理等を用いて行われる。ここで、物体領域の情報は、例えば物体領域のサイズ、位置、移動速度、色等である。例えば、移動速度は、水平、垂直の成分からなっており、左右、上下の別は正負の符号で与えられる。

物体領域の情報記憶部１１２は、物体領域の検出部１１１で検出された現在の物体領域の情報を記憶する。物体領域の検出部１１１では、画像信号の各フレームに対応して、物体領域の情報を検出している。過去の物体領域の情報記憶部１１３は、過去の物体領域の情報を記憶する。

ここで、過去の物体領域の情報としては、物体領域の検出部１１１において現在フレームより１つ前のフレームで検出された物体領域の情報と共に、現在フレームより１つ前のフレームで複製された物体領域の情報が含まれる。なお、この情報記憶部１１３に記憶される物体領域の情報の内容は、上述した情報記憶部１１２に記憶される物体領域の情報の内容に、さらに識別情報としての識別番号も付加されている。

物体領域の対応付け部１１４は、情報記憶部１１２に記憶されている現在の物体領域の情報と、情報記憶部１１３に記憶されている過去の物体領域の情報とに基づいて、現在の物体領域と過去の物体領域との対応付けを行う。この対応付けは、現在の物体領域の情報（サイズ、位置、移動速度など）と、過去の物体領域の情報（サイズ、位置、移動速度など）に基づく現在の物体領域の予測情報とを用いて行う。

ここで、過去の物体領域の情報を構成するサイズ、移動速度等はそのまま現在の物体領域のサイズ、移動速度等の予測値となる。また、過去の物体領域の情報を構成する位置は、移動速度などを用いて、現在の物体領域の位置の予測値に変換される。

この物体領域の対応付け部１１４では、過去の物体領域のそれぞれが、その情報に基づいて得られた現在の物体領域の予測情報と最も近い情報を持つ現在の物体領域と対応付けられる。

ここで、物体領域の検出部１１１で検出される現在の物体領域の個数によっては、過去の物体領域の全てを現在の物体領域と対応付けできない場合がある。その場合、対応付けできない過去の物体領域は消滅したことになる。

また、物体領域の検出部１１１で検出される現在の物体領域の個数によっては、過去の物体領域の全てを現在の物体領域と対応付けした後に、現在の物体領域がさらに残っている場合がある。その場合、残っている現在の物体領域は新たに出現したことになる。

消滅物体領域の複製部１１６は、上述したように物体領域の対応付け部１１４で対応付けできなかった過去の物体領域の情報を複製して出力する。この場合、複製される物体領域の情報としては、基本的には上述した予測情報が用いられるが、識別番号に関しては、正の値のものは負の値にしておく。なお、識別番号が既に負の値であるものは、前のフレームで複製されたものである。

なおこの場合、消滅した所定の物体領域の情報を複製しておくことで、当該所定の物体領域に付与されていた識別番号が継続して保持される。本実施の形態では、この識別番号の保持が、一定の条件で停止される。

例えば、上述したように物体領域の対応付け部１１４では上述したように過去の物体領域の情報に基づいた現在の物体領域の予測情報が用いられるが、予測された位置が画像の外にはみ出ている場合には、複製部１１６で複製の対象であっても、物体領域の情報の複製を行わないこととする。

また例えば、複製部１１６で複製の対象であっても、識別番号が既に負の値であるものに関しては、その複製の回数が所定フレーム数を越える場合、物体領域の情報の複製を行わないこととする。この場合、所定フレーム数以内に、予測された位置に、消滅した所定の物体領域が再び出現しなかったことになる。ここで、所定フレーム数は固定値に設定してもよく、あるいは当該所定の物体領域が消滅するまでの生存フレーム数に応じて設定してもよい。

このように、消滅物体領域の複製部１１６における複製、従って識別番号の保持を一定の条件で停止することで、その識別番号に対応した所定の物体領域の再出現位置の予測などの処理を行うことが必要なくなり、処理負荷を軽減できる。

物体領域の判定部１１５は、上述したように物体領域の対応付け部１１４で対応付けされた現在の物体領域の情報に、対応付けされた過去の物体領域の情報に含まれる識別番号を付加して出力する。この場合、その識別番号が負の値であるときは、正の値にしておく。これは、一旦消滅した物体領域が再出現したことを意味する。

また、この物体領域の判定部１１５は、上述したように物体領域の対応付け部１１４で過去の物体領域と対応付けされずに残った現在の物体領域の情報に、新規な識別番号を付加して出力する。これは過去にはなかった新たな物体領域が出現したことを意味する。

また、この物体領域判定部１１５は、過去の物体領域に対応付けされた現在の物体領域が当該過去の物体領域に対してサイズ等の情報が大きく変化したか否かを判定し、大きく変化したときは、対応付けされた過去の物体領域の情報を複製して出力する。この場合、複製される物体領域の情報としては、基本的には上述した予測情報が用いられるが、識別番号に関しては正の値を負の値にしておく。

このように、過去の物体領域に対応付けされた現在の物体領域が当該過去の物体領域に対してサイズ等の情報が大きく変化する場合、この現在の物体領域が過去の物体領域となる次のフレームでは、当該次のフレームで検出される現在の物体領域と対応付けが良好に行われないことが予想される。つまりこの場合、過去の物体領域が現在の物体領域に一応対応付けされるが、本実施の形態では、実質的にその物体領域が消滅したとも考えて、上述した消滅物体領域の複製部１１６と同様の処理をする。

物体領域の情報統合部１１７は、消滅物体領域の複製部１１６および物体領域の判定部１１５から出力される物体領域の情報を統合し、正の識別番号を持つ物体領域の情報のみを現在のフレームの結果として出力する。また、物体領域の情報統合部１１７は、正負の識別番号を持つ物体領域の情報を、次のフレームで使用する過去の物体領域の情報として、情報記憶部１１３に送る。

図２に示す画像処理部の動作を説明する。カメラ１０１で撮像して得られる画像信号（入力画像信号）は物体領域の検出部１１１に供給される。この検出部１１１では、フレーム間差分処理あるいは背景差分処理等を用いて、入力画像信号に基づき、それによる画像から物体領域（現在の物体領域）の情報（サイズ、位置、移動速度など）を検出する。このように検出部１１１で検出される現在の物体領域の情報は、物体領域の情報記憶部１１２に供給されて記憶される。

この情報記憶部１１２に記憶された現在の物体領域の情報は、物体領域の対応付け部１１４に供給される。また、この対応付け１１４には、過去の物体領域の情報記憶部１１３に記憶されている過去の物体領域の情報（サイズ、位置、移動速度、識別番号など）が供給される。

この対応付け部１１４では、現在の物体領域の情報と過去の物体領域の情報とに基づいて、現在の物体領域と過去の物体領域との対応付けが行われる。この対応付けは、現在の物体領域の情報（サイズ、位置、移動速度など）と、過去の物体領域の情報（サイズ、位置、移動速度など）に基づく現在の物体領域の予測情報とを用いて行われる。

この場合、過去の物体領域のそれぞれが、その情報に基づいて得られた現在の物体領域の予測情報と最も近い情報を持つ現在の物体領域に対応付けられる。ただし、物体領域の検出部１１１で検出される現在の物体領域の個数によっては、（１）過去の物体領域の全てを現在の物体領域と対応付けできない場合、あるいは（２）過去の物体領域と対応付けされずに現在の物体領域が残っている場合がある。（１）の場合は消滅した物体領域があることを意味し、（２）の場合は新たに出現した物体領域があることを意味している。

消滅物体領域の複製部１１６では、対応付け部１１４による対応付け結果が参照され、対応付けできなかった過去の物体領域の情報が複製されて出力される。この場合、複製される物体領域の情報としては、基本的には上述した予測情報が用いられるが、識別番号に関しては、正の値のものは負の値とされ、また既に負の値のものはそのままとされ、その物体領域の情報が複製に係るものであることが分かるようにされる。

このように複製部１１６で消滅した所定の物体領域の情報を複製しておくことで、当該所定の物体領域に付与されていた識別情報が継続して保持される。ただし、この識別番号の保持は、上述したように一定の条件（予測された位置が画像の外にはみ出ている、複製の回数が所定フレーム数を越えた、など）で停止され、処理負荷の軽減が図られる。

物体領域の判定部１１５では、対応付け部１１４による対応付け結果が参照され、過去の物体領域に対応付けされた現在の物体領域の情報に、当該過去の物体領域の情報に含まれる識別番号が付加されて出力される。この場合、その識別番号が負の値であるときは、正の値とされる。これは、一旦消滅した物体領域が再出現したことを意味する。

また、物体領域の判定部１１５では、対応付け部１１４による対応付け結果が参照され、過去の物体領域に対応付けされずに残った現在の物体領域の情報に、新規な識別番号が付加されて出力される。これは新たな物体領域が出現したことを意味する。

さらには、物体領域判定部１１５では、過去の物体領域に対応づけされた現在の物体領域が当該過去の物体領域に対してサイズ等の情報が大きく変化したか否かが判定され、大きく変化したときは、対応付けされた過去の物体領域の情報が複製されて出力される。この場合、複製される物体領域の情報としては、基本的には上述した予測情報が用いられるが、識別番号に関しては正の値が負の値とされ、複製であることが分かるようにされる。

複製部１１６および判定部１１５から出力される物体領域の情報は、物体領域の情報統合部１１７に供給されて統合される。すなわち、この情報統合部１１７からは、正の識別番号を持つ物体領域の情報のみが現在のフレームの結果として出力される。この正の識別番号を持つ物体領域の情報は、上述したように記録装置１０２に供給されて蓄積される。また、この情報統合部１１７から、正負の識別番号を持つ物体領域の情報が、次のフレームで使用する過去の物体領域の情報として、情報記憶部１１３に送られて記憶される。

次に、図２に示す画像処理部における、識別番号の継続保持と復活の例を説明する。まず、上述した図８に示すように、ある時刻ｔ−１で２つある物体が、時刻ｔで重なり、時刻ｔ＋１で再び分離する場合について考える。これは、実際の画像監視システムにおいても人が重なったりすることで生じる現象である。

図３および図４を参照して説明する。時刻ｔにおいては、物体領域は1つしか存在しない。この物体領域について時刻ｔ−１の物体領域と対応付けをとると、時刻ｔ−１における識別番号「１」の物体領域との対応付けが行われる。時刻ｔ−１における識別番号「２」の物体領域は時刻ｔにおいてどの物体領域とも対応付けがなされず、消滅した状態となる。この場合、消滅した物体領域の情報が複製され、識別番号は正の値である「２」から負の値である「−２」に変更される。これにより、消滅した物体領域の識別番号が継続して保持される。

時刻ｔ＋１では、時刻ｔで複製された識別番号「−２」の物体領域の情報から得られた時刻ｔ＋１における物体領域の予測情報（サイズ、位置、移動速度など）を用い、この識別番号「−２」の物体領域と対応付け可能な物体領域があるか判定される。時刻ｔ＋１に対応付けできる物体領域がある場合は、対応付けし、その物体領域の情報に識別番号「２」が付加される。これにより、物体の重なりによって一時的に消滅した物体領域が再出現した際に、その物体領域に消滅前と同じ識別番号が付与されることとなり、同一の物体領域に対して同一の識別番号を継続させることができる。

なお、上述ではある物体領域が他の物体領域と重なって一時的に消滅する場合を述べたが、ある物体が障害物に完全に隠れて一時的に消滅する場合も、同様の動作となる。

次に、上述した図１０に示すように、時刻ｔ−１のある物体が、時刻ｔで別の物体によって物体領域が隠され、時刻ｔ＋１で再び出現する場合について考える。これは、実際の画像監視システムにおいても、人が障害物（例えば、電柱など）などに隠れることで生じる現象である。

図５および図６を参照して説明する。時刻ｔにおいては、物体領域は1つしか存在しない。この物体領域については、時刻ｔ−１における識別番号「１」の物体領域との対応付けが行われる。しかしこの場合、時刻ｔの物体領域は障害物に隠れることで、時刻ｔ−１の物体領域に比べてそのサイズが大きく変化している。そのため、時刻ｔでは、さらに、時刻ｔ−１における識別番号「１」の物体領域の情報が複製される。その場合、識別番号は正の値である「１」から負の値である「−１」に変更される。

この場合、時刻ｔにおける識別番号「１」の物体領域は、サイズが本来のサイズから大きく変化しているので、次の時刻ｔ＋１における物体領域との対応付けが良好に行われないことが予想される。つまり、上述したように複製を行うのは、時刻ｔ−１における識別番号「１」の物体領域は、時刻ｔでは実質的に消滅したと考えることによる。

時刻ｔ＋１では、時刻ｔにおける物体領域の情報から得られた時刻ｔ＋１における物体領域の予測情報（サイズ、位置、移動速度など）を用い、時刻ｔにおける物体領域（識別番号「１」と識別番号「−１」）と対応付け可能な物体領域があるか判定される。この場合、サイズの関係から、時刻ｔ＋１で隠れを脱して再出現した物体領域は、時刻ｔにおける識別番号「−１」の物体領域と対応付けされ、その物体領域の情報に識別番号「１」が付加される。これにより、物体の隠れによって一時的に消滅した物体領域が再出現した際に、その物体領域に消滅前と同じ識別番号が付与されることとなり、同一の物体領域に対して同一の識別番号を継続させることができる。

上述したように、図１に示す画像監視システム１００によれば、物体領域の追跡処理において、消滅した所定の物体領域に付与されていた識別番号が継続して保持され、この所定の物体領域が再び出現したとき、当該所定の物体領域に、保持されていた識別番号が付与されるものであり、重なりや隠れによって物体領域が一時的に消滅した場合であっても識別番号の継続が可能となり、物体追跡の性能向上を図ることができる。

また、図１に示す画像監視システム１００によれば、物体領域の追跡処理において、所定の物体領域が消滅した場合、当該所定の物体領域に係る過去の物体領域の情報に基づき、当該所定の物体領域が再び出現したときの物体領域の情報、例えばサイズ、位置などが予測され、その予測された物体領域の情報が参照されて当該所定の物体領域が再び出現したか否かが判定されるものであり、所定の物体領域の再出現を精度よく判定でき、識別信号の継続精度を向上させることができる。

なお、上述実施の形態においては、画像処理部の処理で、消滅した物体領域の情報を複製した場合、その情報に含まれる識別番号を正の値から負の値に変更しているが、これに限定されるものではなく、複製であることが分かり、かつ元の識別番号の復活が可能であれば、いかなる形態に変更してもよい。

また、上述実施の形態においては、固有の識別情報として識別番号を使用したものを示したが、その他の情報を使用してもよい。

この発明は、重なりや隠れによって物体領域が一時的に消滅した場合であっても識別情報の継続が可能となり、物体追跡の性能向上を図ることができるものであり、例えばＩＴＶカメラを用いた監視システム等に適用できる。

実施の形態としての画像監視システムの構成を示すブロック図である。 物体領域の検出・追跡処理を行う画像処理部の機能ブロックを示すブロック図である。 物体追跡処理における識別番号の継続保持と復活の例（２つの物体が重なる）を示す図である。 識別番号の継続保持を行った場合の識別番号の付与例を示す図である。 物体追跡処理における識別番号の継続保持と復活の例（物体が隠れる）を示す図である。 識別番号の継続保持を行った場合の識別番号の付与例を示す図である。 物体検知の処理の流れを示す図である。 物体追跡処理の対象としての２つの物体が重なる例を示す図である。 ２つの物体が重なった場合における、従来手法による識別番号の付与例を示す図である。 物体追跡処理の対象としての物体が隠れる例を示す図である。 物体が隠れた場合における、従来手法による識別番号の付与例を示す図である。

符号の説明

１００・・・画像監視システム、１０１・・・カメラ、１０２・・・記録装置、１０３・・・ディスプレイ、１０４・・・アラーム発生部、１０６・・・ユーザ操作部、１０７・・・ＣＰＵ、１０８・・・ＲＯＭ、１０９・・・ＲＡＭ

Claims (8)

1. 入力画像信号に基づき、該入力画像信号による画像から物体領域の情報を検出する物体領域検出処理部と、
   上記物体領域検出処理部で検出された物体領域の情報に基づき、現在の物体領域と過去の物体領域との対応付けによって物体領域の追跡処理を行う物体領域追跡処理部とを備え、
   上記物体領域追跡処理部は、
   上記現在の物体領域と上記過去の物体領域との対応付けを固有の識別情報を用いて行い、
   消滅した所定の物体領域に付与されていた識別情報を継続して保持し、該所定の物体領域が再び出現したとき該所定の物体領域に上記保持していた識別情報を付与する
   ことを特徴とする画像監視システム。
2. 上記物体領域追跡処理部は。
   上記消滅した所定の物体領域に付与されていた識別情報を継続して保持するため、該消滅した所定の物体領域の情報を複製しておく
   ことを特徴とする請求項１に記載の画像監視システム。
3. 上記物体領域追跡処理部は、
   上記消滅した所定の物体領域に係る過去の物体領域の情報に基づき、該所定の物体領域が再び出現したときの物体領域の情報を予測し、該予測した物体領域の情報を参照して上記所定の物体領域が再び出現したか否かを判定する
   ことを特徴とする請求項１に記載の画像監視システム。
4. 上記物体領域追跡処理部は、上記物体領域検出処理部で上記所定の物体領域の情報が検出されていないとき、該所定の物体領域が消滅したものとする
   ことを特徴とする請求項１に記載の画像監視システム。
5. 上記物体領域追跡処理部は、上記物体領域検出処理部で上記所定の物体領域の情報が検出されているが、該検出された所定の物体領域の情報が該所定の物体領域に係る過去の物体領域の情報に対して大きく変化したとき、該所定の物体領域が消滅したものとする
   ことを特徴とする請求項１に記載の画像監視システム。
6. 上記物体領域追跡処理部は、フレーム毎に、上記所定の物体領域に係る過去の物体領域の情報に基づき該所定の物体領域が再び出現する位置を予測し、該予測した位置が画像の外にはみ出るときは、上記所定の物体領域に付与されていた識別情報の保持を停止する
   ことを特徴とする請求項１に記載の画像監視システム。
7. 上記物体領域追跡処理部は、フレーム毎に、上記所定の物体領域に係る過去の物体領域の情報に基づき該所定の物体領域が再び出現する位置を予測し、所定フレーム数以内に該予測した位置に上記所定の物体領域が再び出現しないときは、上記所定の物体領域に付与されていた識別情報の保持を停止する
   ことを特徴とする請求項１に記載の画像監視システム。
8. 入力画像信号に基づき、該入力画像信号による画像から物体領域の情報を検出し、該検出された物体領域の情報に基づき、現在の物体領域と過去の物体領域との対応付けによって物体領域の追跡処理を行う物体領域追跡方法であって、
   上記現在の物体領域と上記過去の物体領域との対応付けを固有の識別情報を用いて行い、
   消滅した所定の物体領域に付与されていた識別情報を継続して保持し、該所定の物体領域が再び出現したとき該所定の物体領域に上記保持していた識別情報を付与する
   ことを特徴とする物体領域追跡方法。