JP2020067747A - 個体追跡システム、個体追跡方法とプログラム - Google Patents

Abstract

【課題】画像間で同一の個体を追跡する場合に、画像間で追跡する対象物体が消失した等の最新の追跡結果をタイムリーに更新制御すること。【解決手段】複数の画像間で同じ個体である対象物体を追跡し、追跡結果を表示する追跡システムが、複数の画像間で画像中の対象物体を検出して、検出された対象物体の特性を示す付帯情報を用いて、複数の画像間で同じ個体である対象物体の組を追跡して、複数の画像間で日時が新しい画像の方から組となる対象物体を追跡できなかった場合に、追跡可否が判断された時点で、複数の画像間で日時が古い画像の方の画像中の対象物体に消失を示すマークを付して表示するよう制御する。【選択図】図４

Description

本発明は、複数の画像間で同じ個体である対象物体を追跡する個体追跡システム、個体追跡方法とプログラムの技術に関する。

特許文献１には、圃場内で撮影された植物の画像情報に基づいて、植物の状態を検出するための画像処理を行って、必要とする情報（花・実の状態等）を抽出し、記憶された時系列情報に基づいたデータマイニングにより、成長度及び成熟度を推定し、個々の農作物のクラス分けを行う技術が開示されている。

特許文献２には、植物の育成情報に基づいて、成長が異なる２つの実の個体差を示す情報を表示する技術が開示されている。

特開２０１２−１９１９０３公報 特開２０１３−５７２５公報

特許文献１は、個々の農作物のクラス分けを時系列に行う技術であり、画像間で追跡する対象物体が消失した等の最新の追跡結果を、タイムリーに更新制御することはできてない。

特許文献２は、成長が異なる２つの実の個体差を示す情報を表示する技術であり、画像間で追跡する対象物体が消失した等の最新の追跡結果を、タイムリーに更新制御することはできてない。

このように、従来技術では画像間で同一の個体を追跡し観察する場合には、画像間で追跡する対象物体が消失した等の最新の追跡結果をタイムリーに更新制御することが困難であった。

本願発明は、画像間で検出される対象物体及びその対象物体の付帯情報を用いて、画像間で同一の個体を追跡する場合に、画像間で追跡する対象物体が消失した等の最新の追跡結果を、タイムリーに更新制御することが可能な仕組みを提供することを目的とする。

本発明は、複数の画像間で同じ個体である対象物体を追跡し、追跡結果を表示する追跡システムであって、複数の画像間で画像中の対象物体を検出する物体検出手段と、検出された対象物体の特性を示す付帯情報を用いて、複数の画像間で同じ個体である対象物体の組を追跡する個体追跡手段と、複数の画像間で日時が新しい画像の方から組となる対象物体を追跡できなかった場合に、該追跡可否が判断された時点で、複数の画像間で日時が古い画像の方の画像中の対象物体に消失を示すマークを付して表示するよう制御する表示制御手段と、を備えることを特徴とする。

また、複数の画像間で日時が古い画像の方から組となる対象物体を追跡できなかった場合に、該追跡可否が判断された時点で、複数の画像間で日時が新しい画像の方の画像中の対象物体に出現を示すマークを付して、前記表示制御手段が表示するよう制御することを特徴とする。

また、前記消失を示すマークを付した前記古い画像の方の画像中の対象物体には、該画像が撮影された日時を消失日時として関連付けて登録し、更に前記出現を示すマークを付した前記新しい画像の方の画像中の対象物体には、該画像が撮影された日時を出現日時として関連付けて登録する撮影日時登録手段と、を更に備えることを特徴とする。

また、前記消失日時及前記出現日時を用いて、複数の画像間で同じ個体である組を推定する個体推定手段と、前記推定した組において、前記消失日時を持つ画像内の対象物体及び前記出現日時を持つ画像内の対象物体の付帯情報を用いて、複数の画像間で同じ個体である組を再追跡する再追跡手段と、を更に備え、複数の画像間で組となる個体を再追跡できた場合に、該再追跡可否が判断された時点で、前記表示制御手段が、複数の画像間で空白期間の画像中の対象物体に、ダミーを示すマークを付して表示することを特徴とする。

また、検出された対象物体の特性を示す付帯情報を抽出するべく、複数の画像の対象物体を解析する画像解析手段と、を更に備え、前記付帯情報は、物体の画像中の相対位置を示す位置情報及び物体の画像中の矩形の大きさを示すサイズ情報及び物体の種類を分類したクラス分類情報であり、前記対象物体の組の前記クラス分類情報が追跡条件を満たさない場合に、前記対象物体の組の前記位置情報及び前記サイズ情報が追跡条件を満たしていても、前記複数の画像間で同じ個体ではないと判断する追跡判断手段と、を更に備えることを特徴とする。

また、検出された対象物体の特性を示す付帯情報を抽出するべく、複数の画像の対象物体を解析する画像解析手段と、を更に備え、前記付帯情報は、物体の画像中の相対位置を示す位置情報及び物体の画像中の矩形の大きさを示すサイズ情報及び物体の種類を分類したクラス分類情報であり、前記対象物体の組の前記クラス分類情報が追跡条件を満すか否かを、前記対象物体の組の前記位置情報及び前記サイズ情報が追跡条件を満すか否かよりも重みをつけて、前記複数の画像間で同じ個体であるか否かを判断する追跡判断手段と、を更に備えることを特徴とする。

本願発明により、画像間で検出される対象物体及びその対象物体の付帯情報を用いて、画像間で同一の個体を追跡する場合に、画像間で追跡する対象物体が消失した等の最新の追跡結果を、タイムリーに更新制御する仕組みを提供することが可能となる。

個体追跡システムの構成の一例を示すシステム構成図 ネットワークカメラ１００に適用可能なハードウェア構成を示すブロック図、また、画像解析マシン１０１、クライアント端末１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図 画像解析マシン１０１に適用可能な情報処理装置の各機能を示す機能ブロック図 個体追跡システムによる画像解析の流れを示す説明図 個体追跡システムによる各処理フローの流れを示す説明図 各画像から解析される付帯情報を示す説明図 ＩＤどうしの紐づけを示す概念図 物体情報ＩＤどうしの追跡及び消失を示す説明図 消失個体の集合体Ｄの消失日時と、出現個体の集合体Ｃの出現日時との前後関係 消失個体Ａと出現個体Ｂとが再連結し、個体Ａになることを示す説明図 画像解析マシン１０１で管理する各種データテーブルの一例を示すデータ構成図 画像解析マシン１０１で管理する各種データテーブルの一例を示すデータ構成図 撮影処理フローの一例を示すフローチャート 検出処理フローの一例を示すフローチャート 追跡処理フローの一例を示すフローチャート 推定処理フローの一例を示すフローチャート クライアント端末で表示される追跡結果表示画面を示す図である。 クライアント端末で表示される追跡結果表示画面（拡大時）を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の個体追跡システムの構成の一例を示すシステム構成図である。

個体追跡システムは、ネットワークカメラ１００、画像解析マシン１０１、クライアント端末１０２がインターネットを介して接続される構成となっている。

ネットワークカメラ１００は圃場内に固定設置されており、プリセット情報から圃場内の多数の箇所にある、果実又は花の畝や株を、予め定められた撮影日時になると撮影し、撮影した果実又は花の畝や株の画像を画像解析マシン１０１に送信する撮影機器である。ネットワーク上に構築され無線又は有線のルータ等を介してインターネットに接続している。

画像解析マシン１０１は、受信した果実又は花の畝や株の画像から、撮影日時毎に物体を検出し、果実の個体を追跡する情報処理装置である。ネットワーク上に構築され無線又は有線のルータ等を介してインターネットに接続している。

クライアント端末１０２は、画像解析マシン１０１が解析した個体追跡結果をユーザが見る情報処理装置である。ネットワーク上に構築され無線又は有線のルータ等を介してインターネットに接続している。個体追跡結果は専用アプリケーション画面で表示されてもよく、Ｗｅｂブラウザで表示されてもよい。またクライアント端末１０２は、モバイル型の機器でもよく、タブレット型の機器でもよい。

なお、画像解析マシン１０１を、Ｗｅｂアプリケーションサーバ上に構築してもよい。

なお、本実施例では、ネットワークカメラ１００、画像解析マシン１０１、クライアント端末１０２は別々のネットワーク上に構築し、インターネットを介して接続したが、同一のローカルエリアネットワーク上に構築するようにしてもよい。

図２は、本発明の実施形態におけるネットワークカメラ１００、画像解析マシン１０１、クライアント端末１０２に適用可能な情報処理機器のハードウェア構成を示すブロック図である。各機器ともに、同様な構成を備えるため、同一の符号を用いて説明する。

図２に示すように、システムバス４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３、入力コントローラ５、ビデオコントローラ６、メモリコントローラ７、通信Ｉ／Ｆコントローラ８等が接続された構成を採る。

ＣＰＵ１は、システムバス４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２あるいは外部メモリ１１には、ＣＰＵ１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、各サーバあるいは各ＰＣが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。

ＲＡＭ３は、ＣＰＵ１の主メモリ、ワークエリア等として機能する。ＣＰＵ１は、処理の実行に際して必要なプログラム等をＲＯＭ２あるいは外部メモリ１１からＲＡＭ３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ５は、キーボード（ＫＢ）９や不図示のマウス等のポインティングデバイス等からの入力を制御する。また、入力コントローラ５は、カメラデバイス１３からのカメラ画像入力も制御する。

ビデオコントローラ６は、ディスプレイ１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。

メモリコントローラ７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ８は、ネットワークを介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。

尚、ＣＰＵ１は、例えばＲＡＭ３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ１０上に表示することが可能である。また、ＣＰＵ１は、ディスプレイ１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ１１に記録されており、必要に応じてＲＡＭ３にロードされることによりＣＰＵ１によって実行されるものである。

図３は、情報処理装置の各機能を示す機能ブロック図を示したものである。

物体検出部は画像の中から物体である矩形を検出する機能を持つ。

個体追跡部は時間が連続する画像間で同じ個体であると判断される検出物体の組みを見つける機能を持つ。

表示制御部は個体追跡の結果をモニター画面で表示させる機能を持つ。

撮影日時登録部は画像内で消失した物体又は出現した物体が撮影された日時を登録する機能を持つ。

個体推定部は消失した個体と出現した個体で同じ個体であるかを判断する個体の組みを見つける機能を持つ。

再追跡部は、個体推定部で同じ個体であると推定される検出物体の組みを見つける機能を持つ。

追跡判断部は対象物体の組において位置情報とサイズ情報よりもクラス分類情報を優先して同じ個体であるか否かを判断する機能を持つ。

画像解析部は画像を解析して、解析画像の中から位置情報、サイズ情報、クラス分類情報等の付帯情報を抽出してデータベースに登録する機能を持つ。

図４は、農作物を例にした個体追跡の画像解析の流れの例を示したものである。

画像解析により、１２月３日時点の結果では、１２月１日から連続３日間個体追跡できている個体Ａや、１２月１日に一旦消失した個体Ｂや、１２月１日に一旦消失した個体Ｂと１２月３日に新規出現した個体Ｃが同じ個体であることを１２月３日に推定できたことを表している。

図５は、個体追跡システムによる各処理フローの流れを示す説明図を示したものである。

定点撮影ではプリセット撮影と画像の保存を行う。

物体検出では画像の解析と物体情報の登録を行う。

個体追跡では、撮影日時によって時系列順に画像ＩＤを整列し、撮影日時が連続した２つの画像を選ぶ。２つの画像内の物体情報から個体追跡する。個体追跡した２つの個体情報の関連性から個体推定する。個体追跡した結果及び個体推定した結果を表示画面に出力する。

定点撮影、物体検出、個体追跡を撮影日時毎に繰り返す。

次に図１１、図１２のデータ構成図を用いて、本実施形態において個体追跡システムが使用するデータテーブルの一例について説明する。

図１１、図１２は、画像解析マシン１０１にて管理するテーブルのデータ構成の一例を示す。

プリセットデータは、ネットワークカメラ１００の撮影方向及び画角であるプリセット設定を管理するテーブルであり、プリセットＩＤ１００１にパン値１００２（撮影方向）、チルト値１００３（撮影方向）、ズーム値１００４（画角）が対応づけられている。図１１の例では、ある１台のネットワークカメラ１００に３箇所の撮影方向が予め設定されていることになる。

画像データは、ネットワークカメラ１００で撮影されたプリセットＩＤと、その撮影日時を管理するテーブルであり、画像ＩＤ２００１に、プリセットＩＤ２００２（撮影方向、画角）、と撮影日時２００３（撮影日及び撮影時刻）が対応づけられている。ある１台のネットワークカメラ１００が、どのプリセットＩＤで、どの撮影日時に画像ＩＤが撮影されたかが登録されている。つまり図１１の例では、同じ撮影方向で連続４日間の撮影が行われたことになり、それぞれ画像ＩＤと対応づけられて登録されている。

物体情報データは、画像解析マシン１０１で画像解析された物体情報ＩＤと、解析結果を管理するテーブルであり、１枚の画像から検出された各物体情報ＩＤに、画像ＩＤ３００２、と画像内の位置３００３，３００４、物体検出された矩形のサイズ３００５、３００６、分類したクラス３００７、今の状態３００８が対応づけられている。つまり図１１の例では、ある撮影日時の１枚の画像から多数の物体が検出され、それぞれの物体の画像内の位置、矩形のサイズ、分類したクラス、今の状態が対応づけられて登録されている例である。

尚、物体情報ＩＤは数字（１〜）で記載されてもよく、アルファベット（Ａ〜）で記載されてもい。

物体情報データ（個体追跡後）は、図１５の個体追跡処理後の今の状態を示したものであり、物体情報データ（個体推定後）は、図１６の個体追跡処理後の今の状態を示したものである。

個体データは、画像解析マシン１０１で画像解析された各物体情報ＩＤが、連続する撮影日時間で、同一の個体として追跡（連結）できたかの結果を管理するテーブルであり、同一の個体として所定期間で追跡（連結）できているものを個体ＩＤとして、１枚の画像から検出された各物体情報ＩＤ４００３が、撮影日時４００２と合わせて対応づけられている。

つまり図１２の例では、画像解析マシン１０１での画像解析に従って、同一の個体として所定期間追跡（連結）できている個体ＩＤ４００１が１２月１日ではどの物体情報ＩＤであったのか、また１２月４日ではどの物体情報ＩＤであったのか登録されている。

尚、個体ＩＤは数字（１〜）で記載されてもよく、アルファベット（Ａ〜）で記載されてもい。

個体データ（個体追跡後）は、図１５の個体追跡処理後の今の状態を示したものであり、個体データ（個体推定後）は、図１６の個体追跡処理後の今の状態を示したものである。

次に図１３〜図１６のフローチャートを用いて、本実施形態において個体追跡システム撮影日時毎に繰り返して実行する処理について説明する。

図１３は、個体追跡システムが実行する定点撮影処理フローの一例を示すフローチャートである。各処理ステップは、各装置のＣＰＵ２０１にて実行される。

Ｓ１０１では、画像解析マシン１０１は、毎日、所定の撮影日時になる毎に、画像解析マシンに保管されたプリセットデータ（図１１）を読み取る。プリセット情報はネットワークカメラが撮影する方向・画角を示す情報であり、具体的にはパン・チルト・ズーム（Ｐａｎ，Ｔｉｌｔ，Ｚｏｏｍのことを以下ＰＴＺと表す）の数値情報になる。

Ｓ１０２では、画像解析マシン１０１は、画像解析マシンが読み取ったプリセットデータ（図１１）を、ネットワーク通信でネットワークカメラ１００に送信し、送信したプリセット情報での撮影要求をネットワークカメラ１００に送信する。。画像解析マシン１０１は、はネットワークに接続されており、ＰＴＺ制御機構を備えている。ネットワークカメラ１００は、画像解析マシンから送信されたプリセットデータ（図１１）を自身のメモリに記憶する。

Ｓ１０３では、ネットワークカメラ１００は、画像解析マシンから指示された、プリセット情報（図１１）での撮影要求を受け付ける。

Ｓ１０４では、ネットワークカメラ１００は、自身のメモリからプリセットデータ（図１１）を読み出し、プリセットデータ（図１１）に従って、ネットワークカメラ１００の向き（Ｐａｎ，Ｔｉｌｔ，）と画角（Ｚｏｏｍ）を設定し、複数の定点箇所の撮影を毎日おこなう。

Ｓ１０５では、ネットワークカメラ１００は、複数の定点箇所を撮影した画像群を画像解析マシンにネットワーク通信で送信する。

Ｓ１０６では、画像解析マシン１０１は、送信された画像群を受信して、画像データ（図１１）に、各画像の情報（画像ＩＤ、プリセットＩＤ、撮影日時）を対応づけて記憶する。

Ｓ１０７では、画像データ（図１１）に、画像群をプリセットＩＤと撮影日時に関連付けた後、送られた画像群も画像解析マシンの画像ストレージに保管する。ネットワークカメラは、同じプリセットＩＤの場合は、常に同じ地点（向きと画角）を撮影できることを保証する。定点を毎日撮影することで、ある同一空間内にある物体の位置や状態の経時的な変化を、定点を毎日撮影した画像内で検出される物体の差分によって、表現することができる。

図１４は、個体追跡システムが実行する物体検出処理フローの一例を示すフローチャートである。各処理ステップは、各装置のＣＰＵ２０１にて実行される。

Ｓ２０１では、画像解析マシン１０１は、画像内から物体を識別するために使う、検出対象の物体の特徴量情報を読み込む。前提として、検出対象の物体の特徴量情報は、機械学習で得られた学習済みモデルや人手による特徴量設計などの手法で予め得られているものである。本発明では特徴量情報を得る予め手法は問わない。

Ｓ２０２では、画像解析マシン１０１は、画像解析マシンの画像ストレージに保管されている画像（図６）を選んで１枚読み込む。

Ｓ２０３では、画像解析マシン１０１は、検出対象の物体の特徴量情報を用いて、１枚の画像から検出対象の各物体情報を抽出する。例えば、検出対象の物体が花や果実の場合、１枚の画像から全ての花や果実の候補が抽出され、その物体情報ＩＤの矩形は、追跡結果表示画面において実線等で囲まれて表示される。

抽出された各物体情報は図６に示したように以下の付帯情報を含んでいる。抽出された各物体情報にはそれぞれ物体情報ＩＤが割り当てられる。

付帯情報は、画像ＩＤで検出された全ての物体情報ＩＤ、その画像内での相対位置座標、その物体の矩形サイズ、その物体のクラス分けのことである。

また、ここで割り当てられる物体情報ＩＤはユニークな番号であり、それぞれが重複しない番号または文字であることが望ましい。物体情報ＩＤをユニークな番号で割り当てることで、個体追跡情報において物体情報ＩＤだけでその追跡履歴が管理しやすくなる。

割り当てられた物体情報ＩＤは、物体情報データ（図１１）に登録される。

１枚読み込んだ画像ＩＤ３００２は、物体情報データ（図１１）に登録される。

その画像から抽出された各物体の、画像内での相対位置座標（Ｘ座標３００３及びＹ座標３００４）が物体情報データ（図１１）に登録される。

その画像から抽出された各物体の矩形サイズ（縦幅の画素数３００５と横幅の画素数３００６））が物体情報データ（図１１）に登録される。

検出対象の物体の特徴量情報を用いて分類された、抽出された各物体の物体の状態を表すクラス３００７（花、未熟果、成熟果、等のクラス分け）が物体情報データ（図１１）に登録される。

Ｓ２０４では、画像解析マシン１０１は、プリセットＩＤ１００１と、物体情報ＩＤ３００１と、画像ＩＤ３００２と関連付けたうえで、画像解析マシンのストレージに保管する。画像ＩＤと、プリセットＩＤとを関連付けることで物体情報ＩＤに時空間情報が紐づけられる。画像解析マシンに保管されたデータどうしの関連図を図７に示す。画像内のある物体情報ＩＤには１つの画像ＩＤと１つのプリセットＩＤが関連づけられる。

図１５は、個体追跡システムが実行する個体追跡処理フローの一例を示すフローチャートである。各処理ステップは、各装置のＣＰＵ２０１にて実行される。

Ｓ３０１では、画像解析マシン１０１は、画像解析マシンに保管されたプリセットデータ（図１１）からプリセットＩＤを１つ読み取る。

Ｓ３０２では、画像解析マシン１０１は、画像データ（図１１）から当該プリセットＩＤに関連付けられた撮影日時が異なる画像群の画像ＩＤリストを取得する。

Ｓ３０３では、画像解析マシン１０１は、画像ＩＤリストを撮影日時の昇順（古い日時から順に）に並べ替える。昇順に並べ替えることで、同じ箇所を撮影した画像ＩＤを、古い日時から新しい日時に時系列に沿った順番で順次取得することができる。

Ｓ３０４では、画像解析マシン１０１は、昇順に並べ替えた後に、ある撮影日時Ｔ（例えば１２月１日の１０：００）に撮影した１つ目の古い画像ＩＤと、ある撮影日時のその次の撮影日時Ｔ＋１（例えば１２月１日の１１：００）に撮影した２つ目の新しい画像ＩＤを取り出す。

当該プリセットＩＤに関連付けられた撮影日時が異なる画像群の画像ＩＤリストで、対象となる画像ＩＤが存在する限りＳ３０５〜Ｓ３０９の処理を繰り返す。

Ｓ３０５では、画像解析マシン１０１は、ある撮影日時Ｔ（例えば１２月１日の１０：００）に撮影した１つ目の画像ＩＤの画像内から抽出された各物体情報ＩＤの集合体Ａ（古い方の画像）を取得する。

Ｓ３０６では、画像解析マシン１０１は、その次の撮影日時Ｔ＋１（例えば１２月１日の１１：００）に撮影した２つ目の画像ＩＤの画像内から抽出された各物体情報ＩＤの集合体Ｂ（新しい方の画像）を取得する。

Ｓ３０７では、集合体Ａと集合体Ｂからそれぞれ各物体情報ＩＤ（画像内から抽出された各物体情報ＩＤ）を取り出し、総当たりの組み合わせでそれぞれの各物体情報ＩＤ間の差分を計算する。

つまり、集合体Ａの中からある物体情報ＩＤを選んで、集合体Ｂの中の全て物体情報ＩＤ
と付帯情報の差分を計算する。

次に、集合体Ａの中から別の物体情報ＩＤを選んで、集合体Ｂの中の全て物体情報ＩＤ
と付帯情報の差分を計算することで、総当たりの組み合わせでそれぞれの要素間の差分を計算することができる。

差分は、その次の撮影日時Ｔ＋１における付帯情報の変化量を定量化したもので、同一の個体であれば変化量の差が小さいと考えられる。

変化量の計算には、付帯情報の物体のサイズ、位置、クラスの結果を使用する。

差分を計算する簡単な例としては、サイズ、位置、クラスの多次元データのユークリッド距離から求める方法がある。

物体の経時変化に特徴的な特性があれば、その特性に合わせて物体情報に重みを与えるなどの方法も考えられる。

Ｓ３０８では、Ｓ３０７の計算から、それぞれの要素間の差分（相対位置座標の差、矩形サイズの差、分類されたクラスの差）が最小となる物体情報ＩＤ同士を、集合体Ａから１つ、集合体Ｂから１つ抽出し、更に、その最小となった差分が予め設定した閾値以下（相対位置座標の差が閾値以下、矩形サイズの差が閾値以下、分類されたクラスの差が閾値以下）であれば、その二つの物体情報ＩＤを同一の個体の位置やクラスが経時的に変化したものとして判断し、二つの物体情報ＩＤを関連付けて、個体データ（マッピング後（図１２）に登録する。つまり、その二つの物体情報ＩＤは、撮影日時が連続する画像間で、同じ個体と判断された二つの物体情報ＩＤを連結させるデータであり、それぞれが同一の個体（追跡中の個体）として管理される。

この時、分類されたクラスの差が閾値以下であるかどうかの判定は、二つの物体情報ＩＤがどのように状態を遷移したか確率等を用いている。例えば、クラスが花に分類された場合、次に状態遷移するクラス分類の確率は、花、未熟果の順番で高く、成熟果である可能性は低くなるので、花に分類されたその次に状態遷移する分類が成熟果であった場合には、同一の個体ではない可能性が高くなる。従って、仮に、相対位置座標の差が閾値以下、矩形サイズの差が閾値以下、であっても（相対位置座標や矩形サイズの追跡条件）、その次に状態遷移する分類がありえない確率のクラス分類であれば、その二つの物体情報ＩＤを同一の個体の位置やクラスが経時的に変化していないものとして判断する（クラス分類の追跡条件）。このように、二つの物体情報ＩＤがどのように状態変化するのかを、それぞれの遷移先に変化する確率（花→花７０％、花→未熟果３０％、花→成熟果０％）を予め設定することで、二つの物体情報ＩＤがどのように状態変化する確からしさの確率から、同一の個体であるかを優先または重みをつけて判断し、その次に、相対位置座標の差が閾値以下、矩形サイズの差が閾値以下、であるか否かを判断することで、最終的に同一の個体か否かの判断を行っている。

さらにそのそれぞれが同一の個体（追跡中の個体）として管理された時点（追跡可能）で、その物体情報ＩＤの矩形は、追跡結果表示画面において実線（追跡中）で表示される。
なお、そのそれぞれが同一の個体（追跡中の個体）として管理された以降（追跡可能）で、その物体情報ＩＤの矩形は、追跡結果表示画面において実線（追跡中）で表示されることになる。
なお追跡結果等を追跡結果表示画面でタイムリーに更新して表示させる実施例の変形例として、ユーザからのCSVファイル等の出力指示に応じて、登録された物体情報データ（図１１）及び個体データ（図１２）に登録された結果をCSVファイル等の表形式で出力させる方法であってよい。

ここで、その最小となった差分が予め設定した閾値以下ではなく、１つ目の古い画像ＩＤからの集合体Ａ中の物体情報ＩＤだけ、関連付けられない物体情報ＩＤが残った場合（追跡不能）には、１つ目の古い画像ＩＤの集合体Ａ中の関連付けられない物体情報ＩＤだけに、消失である消失フラグが付与される。

更に、追跡結果表示画面においては、関連付けられない物体情報ＩＤだけに、消失である消失フラグが付与された時点で、消失した物体であることを示す破線（消失マーク）が、１つ目の古い画像ＩＤの集合体Ａ中の関連付けられない物体情報ＩＤだけに表示される。

またその時、１つ目の古い画像ＩＤの撮影時刻が、その物体情報ＩＤの消失日時となる。

一方、その最小となった差分が予め設定した閾値以下ではなく、２つ目の新しい画像ＩＤからの集合体Ｂ中の物体情報ＩＤだけ、関連付けられない物体情報ＩＤが残った場合（追跡不能）には、２つ目の新しい画像ＩＤの集合体Ｂ中の関連付けられない物体情報ＩＤだけに、新規出現した出現フラグが付与される。

更に、追跡結果表示画面においては、関連付けられない物体情報ＩＤだけに、出現である出現フラグが付与された時点で、出現した物体であることを示す破線（出現マーク）が、２つ目の新しい画像ＩＤの集合体Ｂ中の関連付けられない物体情報ＩＤだけに表示される。

またその時、２つ目の新しい画像ＩＤの撮影時刻が、その物体情報ＩＤの出現日時となる。

Ｓ３０９では、Ｓ３０４で取り出す撮影日時Ｔを、１つ分だけずらして、次の撮影日時Ｔ＋１に更新して（例えば１２月１日の１１：００）、再びＳ３０４に処理が戻って対象となる画像ＩＤが存在する限りＳ３０５〜Ｓ３０９の処理を繰り返す。

個体データ（個体追跡後）（図１２）は物体情報ＩＤを連結させるリストである。連結しているリストは撮影日時で時系列順にソートされている。

連結しているリストで先頭のノードははじめに出現した物体情報ＩＤを表し、個体データ（個体追跡後）（図１２）で末尾のノードは個体追跡が消失した物体情報ＩＤを表す。

個体追跡中の連結の流れを図８に示す。

図８の例では、１２月１日の１０：００に物体Ａが出現し、その後、個体追跡することができたが、１２月１５日の９：００に物体Ｃは消失した。

図８の例では、１２月１日の１０：００に物体Ｘが出現し、その後、個体追跡することができたが、１２月５日の１４：００に物体Ｚは消失した。

図１５の追跡処理では、古い撮影日時と新しい撮影日時の画像解析結果から得られた矩形の付帯情報の差分から個体追跡させる処理を示した。

しかしながら、以下に示すようなケースでは、図１５の個体追跡させるではうまくいかない。

（１）次の撮影日時の画像では、障害物などで物体自体が一時的に画像内から消失するケース。つまり、次の撮影日時の画像で物体矩形自体が検出されないケースである。

（２）次の撮影日時の画像では、物体の見え方が大きく様変わりしてしまうような成長状態の変化が発生するケース。つまり、同じ個体であるにも関わらす、次の撮影日時の画像で物体矩形は検出されるが、数日間といった短期間だけ差分が予め設定した閾値以下にならないケースである。

これらのケースにも十分対応できる、図１５の追跡処理では追跡することが出来なかった個体の連結相手を推定する処理について図１６に述べる。

図１６は、個体追跡システムが実行する個体推定処理フローの一例を示すフローチャートである。各処理ステップは、各装置のＣＰＵ２０１にて実行される。

この推定処理フローは、消失の個体ＩＤと出現〜追跡の個体ＩＤでそれぞれの日時に数日程度の空白期間（暫定）がある個体ＩＤどうしを再追跡して連結させるための推定処理である。

Ｓ４０１では、出現フラグが付与されている個体ＩＤだけの集合体Ｃが存在する限り、Ｓ０４０２〜Ｓ０４０９に示す処理を繰り返す。

Ｓ４０２では、図１２の個体データ（個体追跡後）から、先頭のノードに出現フラグが付与されている個体ＩＤを全て抽出する。図１２の個体データ（個体追跡後）から、末尾のノードに消失フラグが付与されている個体ＩＤを全て抽出する。

次に、抽出した先頭のノードに出現フラグが付与されている個体ＩＤの中で、所定の日時（例えば１２月５日の９：００）に出現フラグが付与されている個体ＩＤだけの集合体Ｃ（例えば、１２月５日に出現した個体の集合体）を取得する。

Ｓ４０３では、抽出した末尾のノードに消失フラグが付与されている個体ＩＤの中で、所定の日時よりも前の短期間（Ｎ日間）に、消失フラグが付与されている個体ＩＤだけの集合体Ｄ（例えば１２月２日から１２月４日に消失した個体の集合体）を取得する。

短期間Ｎはユーザが自由に予め設定しているものとする。

図９に１２月２日〜１２月４日に消失した集合体Ｄと、１２月５日に出現した集合体Ｃとの撮影日時の前後関係の１例を示した。

つまり図１５の追跡処理では直前の画像どうしで、個体追跡を行ったが、ここでは、直前の画像どうしではなく、出現より前の短期間に消失フラグが付与されている個体ＩＤだけの集合体Ｄと出現フラグが付与されている個体ＩＤだけの集合体Ｃで個体の推定を行うことになる。

Ｓ４０４乃至Ｓ４０５では、集合体Ｄと集合体Ｃからそれぞれ各物体情報ＩＤ（画像内から抽出された各物体情報ＩＤ）を取り出し、総当たりの組み合わせでそれぞれの各物体情報ＩＤ間の差分を計算する。ここで差分を計算するために、集合体Ｄからは末尾のノードの物体ＩＤが選ばれる。集合体Ｃからは先頭のノードの物体ＩＤが選ばれる。

つまり、集合体Ｃ（１２月５日に出現した個体の集合体）の中からある物体情報ＩＤを選んで、集合体Ｄ（例えば１２月２日から１２月４日に消失した個体の集合体）の中の全て物体情報ＩＤと付帯情報の差分を計算する。総当たりの組み合わせでそれぞれの要素間の差分を計算することができる。

差分は、付帯情報の変化量を定量化したもので、同一の個体であれば、集合体Ｄ（例えば１２月２日から１２月４日に消失した個体の集合体）の中では、変化量の差が最も小さいと考えられる。

変化量の計算には、付帯情報の物体のサイズ、位置、クラスの結果を使用する。

さらにこの時には、Ｓ３０８で判断した場合の閾値（相対位置座標の差を見る閾値、矩形サイズの差を見る閾値、種類が分類されたクラスの差を見る閾値）を広げて、差分の類似度が、Ｓ３０８で判断した場合よりも若干低くても、同じ個体であると推定してもよい。

例えば、集合体Ｄ（例えば１２月２日から１２月４日に消失した個体の集合体）では花であるとクラス分類され、集合体Ｃ（１２月５日に出現した個体の集合体）では果実とクラス分類され、異なるクラス分類の結果であっても、物体の見え方が大きく様変わりしてしまうような成長状態の変化であることから、同じ個体であると推定してもよい。

例えば、集合体Ｄ（例えば１２月２日から１２月４日に消失した個体の集合体）では矩形大であるとサイズ分類され、集合体Ｃ（１２月５日に出現した個体の集合体）では矩形中とサイズ分類され、異なるクラス分類の結果であっても、物体の見え方が大きく様変わりしてしまうような成長状態の変化であることから、同じ個体であると推定してもよい。

Ｓ４０６では、推定結果から、それぞれの要素間の差分（相対位置座標の差、矩形サイズの差、分類されたクラスの差）が最小となる物体情報ＩＤ同士を、集合体Ｄから１つ、集合体Ｃから１つ抽出し、更に、その最小となった差分が予め設定した閾値以下（相対位置座標の差が閾値以下、矩形サイズの差が閾値以下、分類されたクラスの差が閾値以下）であれば、その二つの物体情報ＩＤを同一の個体の位置やクラスが、不連続に変化したものとして判断し、二つの物体情報ＩＤを関連付けて、個体データ（個体追跡後）（図１２）に追加登録する。

つまり、その二つの物体情報ＩＤは、集合体Ｄと集合体Ｃ間で、同じ個体と推定された二つの個体ＩＤを連結させるデータであり、同一の個体として管理される（再追跡可能）。

この時、分類されたクラスの差が閾値以下であるかどうかの判定は、二つの物体情報ＩＤがどのように状態を遷移したか確率等を用いている。例えば、クラスが花に分類された場合、次に状態遷移するクラス分類の確率は、花、未熟果の順番で高く、成熟果である可能性は低くなるので、花に分類されたその次に状態遷移する分類が成熟果であった場合には、同一の個体ではない可能性が高くなる。従って、仮に、相対位置座標の差が閾値以下、矩形サイズの差が閾値以下、であっても、その次に状態遷移する分類がありえない確率のクラス分類であれば、その二つの物体情報ＩＤを同一の個体の位置やクラスが経時的に変化していないものとして判断する。このように、二つの物体情報ＩＤがどのように状態変化するのかを、それぞれの遷移先に変化する確率（花→花７０％、花→未熟果３０％、花→成熟果０％）を予め設定することで、二つの物体情報ＩＤがどのように状態変化する確からしさの確率から、同一の個体であるかを優先または重みをつけて判断し、その次に、相対位置座標の差が閾値以下、矩形サイズの差が閾値以下、であるか否かを判断することで、最終的に同一の個体か否かの判断を行っている。

更に、追跡結果表示画面においては、同一の個体として管理された集合体Ｄには、集合体Ｃの個体ＩＤが割り当てられて表示される。

Ｓ４０７では、Ｓ４０６の処理後に、二つの物体情報ＩＤを関連付けて、個体データ（個体追跡後）（図１２）に追加登録できた場合、その消失と出現との間に撮影された画像で物体検出された物体情報ＩＤであって、消失した物体情報ＩＤ又は出現した物体情報ＩＤに近い付帯情報を有し、いずれの個体ＩＤにも連結できていない物体情報ＩＤをダミーデータとして、図１０のように空白期間を埋める。

Ｓ４０８では、所定の日時を別の所定の日時（例えば１２月５日の１１：００）に更新し、Ｓ４０２に処理が戻る。

図１７を説明する。

図１７は同じ箇所で撮影された画像内にある各個体が、日時別にどのように追跡されたのかを個体別に識別表示させた追跡結果を、ユーザが確認するための追跡結果表示画面である。

追跡結果表示画面では、画面更新日時（撮影日時）の個体追跡の可否を判断した時点で、解析された画像１枚が追加して表示される。

追跡結果表示画面では、画面更新日時（撮影日時）の個体追跡を判断した時点で、個体ＩＤや矩形の表示内容が都度更新される。

図１７のように、例えば１１／２６〜１２／３の場合に、同プリセットの画像１枚を時系列順に並べて表示させる。同プリセットの画像１枚なので、１１／２６〜１２／３の期間での個体追跡が可能となる。

画面更新日時（撮影日時）の個体追跡を判断した時点で、、最新画像の画像解析がされると、同プリセットの画像１枚が追加表示されて、追跡結果表示画面の内容が更新される。

１１／２６〜１２／３の期間での画像間で同じ個体であるとして追跡中の矩形（検出された物体）には同じ個体ＩＤが表示され、同じ矩形色で表示されている。更にその個体ＩＤのクラス分け結果を表示させてもよい。

画面更新日時（撮影日時）の個体追跡を判断した時点で、追跡中と判断された（一つ前の撮影画像から同じ個体ＩＤで追跡できている）矩形には矩形が実線で表示されている。

画面更新日時（撮影日時）の個体追跡を判断した時点で、新規出現と判断された（最新の撮影画像から初めて個体ＩＤが検出された）矩形には矩形が破線（出現）で表示されている。

画面更新日時（撮影日時）の個体追跡を判断した時点で、追跡できず消失したと判断された、一つ前の撮影画像の同じ個体ＩＤの矩形（検出された物体）に破線（消失）で再表示されている。

例えば１２／２の、個体ＩＤが２のイチゴは、１２／２に個体追跡を判断した時点ででは、追跡中と判断された（一つ前の撮影画像から同じ個体ＩＤで追跡できている）矩形には矩形が実線で表示されていた。

しかしながら、収穫された、また落下した、葉で隠れている等の理由で、翌日の１２／３には個体ＩＤが２のイチゴない（消失している）ので、消失したと判断される。従って、１２／２の、個体ＩＤが２のイチゴは、１２／３に個体追跡を再判断した時点では、破線（消失）で再表示されている。撮影日時から消失日時が１２月２日ということになる。

画面更新日時（撮影日時）の個体追跡を判断した時点で、空白期間がダミーと判断された矩形は塗り潰して表示されている。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各図の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各図の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ ネットワークカメラ
１０１ 画像解析マシン
１０２ クライアント端末

Claims (8)

1. 複数の画像間で同じ個体である対象物体を追跡し、追跡結果を表示する追跡システムであって、
   複数の画像間で画像中の対象物体を検出する物体検出手段と、
   検出された対象物体の特性を示す付帯情報を用いて、複数の画像間で同じ個体である対象物体の組を追跡する個体追跡手段と、
   複数の画像間で日時が新しい画像の方から組となる対象物体を追跡できなかった場合に、該追跡可否が判断された時点で、複数の画像間で日時が古い画像の方の画像中の対象物体に消失を示すマークを付して表示するよう制御する表示制御手段と、
   備えることを特徴とする追跡システム。
2. 複数の画像間で日時が古い画像の方から組となる対象物体を追跡できなかった場合に、該追跡可否が判断された時点で、複数の画像間で日時が新しい画像の方の画像中の対象物体に出現を示すマークを付して、前記表示制御手段が表示するよう制御することを特徴とする請求項１に記載の追跡システム。
3. 前記消失を示すマークを付した前記古い画像の方の画像中の対象物体には、該画像が撮影された日時を消失日時として関連付けて登録し、更に前記出現を示すマークを付した前記新しい画像の方の画像中の対象物体には、該画像が撮影された日時を出現日時として関連付けて登録する撮影日時登録手段と、
   を更に備えることを特徴とする請求項２に記載の追跡システム。
4. 前記消失日時及前記出現日時を用いて、複数の画像間で同じ個体である組を推定する個体推定手段と、
   前記推定した組において、前記消失日時を持つ画像内の対象物体及び前記出現日時を持つ画像内の対象物体の付帯情報を用いて、複数の画像間で同じ個体である組を再追跡する再追跡手段と、
   を更に備え、
   複数の画像間で組となる個体を再追跡できた場合に、該再追跡可否が判断された時点で、前記表示制御手段が、複数の画像間で空白期間の画像中の対象物体に、ダミーを示すマークを付して表示することを特徴とする請求項３に記載の追跡システム。
5. 検出された対象物体の特性を示す付帯情報を抽出するべく、複数の画像の対象物体を解析する画像解析手段と、
   を更に備え、
   前記付帯情報は、物体の画像中の相対位置を示す位置情報及び物体の画像中の矩形の大きさを示すサイズ情報及び物体の種類を分類したクラス分類情報であり、
   前記対象物体の組の前記クラス分類情報が追跡条件を満たさない場合に、前記対象物体の組の前記位置情報及び前記サイズ情報が追跡条件を満たしていても、前記複数の画像間で同じ個体ではないと判断する追跡判断手段と、
   を更に備えることを特徴とする請求項１乃至請求項４のいずれか１項に記載の追跡システム。
6. 検出された対象物体の特性を示す付帯情報を抽出するべく、複数の画像の対象物体を解析する画像解析手段と、
   を更に備え、
   前記付帯情報は、物体の画像中の相対位置を示す位置情報及び物体の画像中の矩形の大きさを示すサイズ情報及び物体の種類を分類したクラス分類情報であり、
   前記対象物体の組の前記クラス分類情報が追跡条件を満すか否かを、前記対象物体の組の前記位置情報及び前記サイズ情報が追跡条件を満すか否かよりも重みをつけて、前記複数の画像間で同じ個体であるか否かを判断する追跡判断手段と、
   を更に備えることを特徴とする請求項１乃至請求項４のいずれか１項に記載の追跡システム。
7. 複数の画像間で同じ個体である対象物体を追跡し、追跡結果を表示する追跡システムによる追跡方法であって、
   前記追跡システムの物体検出手段が、複数の画像間で画像中の対象物体を検出する物体検出工程と、
   前記追跡システムの個体追跡手段が、検出された対象物体の特性を示す付帯情報を用いて、複数の画像間で同じ個体である対象物体の組を追跡する個体追跡工程と、
   前記追跡システムの表示制御手段が、複数の画像間で日時が新しい画像の方から組となる対象物体を追跡できなかった場合に、該追跡可否が判断された時点で、複数の画像間で日時が古い画像の方の画像中の対象物体に消失を示すマークを付して表示するよう制御する表示制御工程と、
   含むことを特徴とする追跡方法。
8. 複数の画像間で同じ個体である対象物体を追跡し、追跡結果を表示する追跡システムで読み取り実行可能なプログラムであって、
   前記追跡システムを、
   複数の画像間で画像中の対象物体を検出する物体検出手段と、
   検出された対象物体の特性を示す付帯情報を用いて、複数の画像間で同じ個体である対象物体の組を追跡する個体追跡手段と、
   複数の画像間で日時が新しい画像の方から組となる対象物体を追跡できなかった場合に、該追跡可否が判断された時点で、複数の画像間で日時が古い画像の方の画像中の対象物体に消失を示すマークを付して表示するよう制御する表示制御手段と、
   して機能させるためのプログラム。
   
   

Images