JP2015225664A - 情報取り込み装置及び情報取り込み方法 - Google Patents

Abstract

【課題】大量のイメージに代わり、意味のあるテキストを捕捉する情報取り込み装置を提供する。
【解決手段】情報取り込み装置１００はビデオ取り込み装置１０１、プレ処理モジュール１０２、イメージ処理モジュール１０３及びテキスト生成モジュール１０４を有する。ビデオ取り込み装置は、ビデオデータＳ_Ｖを取り込む。プレ処理モジュールは、ビデオデータＳ_Ｖを、背景データＳ_Ｓと前景データＳ_Ｄとに分割する。イメージ処理モジュールは、前景データにしたがって、物体特徴Ｓ_Ｏと物体移動情報Ｓ_Ｍとを生成すると共に、背景データにしたがって、ビデオデータの取り込み空間情報Ｓ_Ｃを生成する。テキスト生成モジュールは、物体特徴、物体移動情報及び取り込み空間情報にしたがって、事象記述情報Ｓ_Ｔを生成する。事象記述情報は、ビデオデータ中で発生する事象に関連し、機械可読テキストファイル形式の当該事象に関する情報を含む。
【選択図】図１

Description

本発明は、情報取り込み装置及び情報取り込み方法に関するものであって、特に、画像を必要な情報に転換する情報取り込み装置及び情報取り込み方法に関するものである。

社会全体の安全意識の高まりに伴って、各種撮像装置の使用も普及し、撮像される画像の品質も、ますます良くなっている。しかし、この品質の改善は、これらの画像を処理及び使用するのに必要なコンピューティング資源や格納スペースも、急速に増加することを意味する。どのように、効果的に、これらの取得画像を処理、使用するかが、現在、解決されなければならない問題である。

現在の画像処理ソフトウェアはよく発達し、画像中の人とモノを自動的に識別することができるが、大量のイメージファイルを処理するのに必要なコンピューティング資源は、時に、獲得するのが困難である。たとえば、大量の監視カメラを用いて、そのナンバープレートにより、特定の車両を追跡するとき、人により一つずつ画像をチェックするには多くの時間がかかる。よって、大量の画像を効果的に処理し、追跡作業を補完するシステムが必要である。

本発明は、大量のイメージに代わり、意味のあるテキストを捕捉する情報取り込み装置及び情報取り込み方法を提供することを目的とする。

本発明の一実施態様に係る情報取り込み装置は、ビデオ取り込み装置、プレ処理モジュール、イメージ処理モジュール、および、テキスト生成モジュールを含む。ビデオ取り込み装置は、ビデオデータを取り込むように構成される。プレ処理モジュールは、ビデオデータを、背景データと前景データとに分割するように構成される。イメージ処理モジュールは、前景データにしたがって、物体特徴と物体移動情報とを生成すると共に、背景データにしたがって、ビデオデータの取り込み空間情報を生成する。テキスト生成モジュールは、物体特徴、物体移動情報、および、取り込み空間情報にしたがって、事象記述情報を生成する。事象記述情報はビデオデータ中で発生する事象に関連し、事象記述情報は、機械可読テキストファイル形式の当該事象に関する情報である。

一実施態様において、情報取り込み装置は、さらに、前景イメージ処理モジュール、および、背景イメージ処理モジュールを有していてもよい。前景イメージ処理モジュールは、前景データにしたがって、物体特徴と物体移動情報とを生成する。背景イメージ処理モジュールは、背景データにしたがって、ビデオデータの取り込み空間情報を生成する。

一実施態様において、前景イメージ処理モジュールは、特徴捕捉モジュール、および、動作検出モジュールを含んでいてもよい。特徴捕捉モジュールは、前景データにしたがって、物体特徴を抽出すると共に、物体特徴と特徴データベースとを比較して、物体情報を生成する。動作検出モジュールは、オブジェクト移動アルゴリズムにしたがって、物体の動作行為を獲得すると共に、動作行為と行為データベースとを比較して、行動情報を生成する。テキスト生成モジュールは、物体情報と行動情報とにしたがって、事象記述情報を生成する。

一実施態様において、特徴捕捉モジュールは、前景データの少なくともひとつの臨界点を捉え、臨界点の中央を囲む複数の固有ベクトルを生成し、特徴データベース中、固有ベクトルとの差異が最小の一物体にしたがって、物体情報を生成してもよい。

一実施態様において、動作検出モジュールは、さらに、行動情報と取り込み空間情報とにしたがって、動作追跡を生成し、テキスト生成モジュールは、さらに、動作追跡にしたがって、事象記述情報を生成してもよい。

一実施態様において、情報取り込み装置は、さらに、イメージ暗号化モジュール、ストレージモジュール、および、マイクロプロセッサを含んでいてもよい。イメージ暗号化モジュールが、ビデオを暗号化して、暗号化イメージを生成する。ストレージモジュールは、暗号化イメージを保存する。マイクロプロセッサは、事象記述情報にしたがって、暗号化イメージにアクセスし、事象記述情報にしたがって、暗号化イメージの対応部分を検索する。

また、本発明の一実施態様に係る情報取り込み方法は、ビデオデータを取り込む工程と、ビデオデータを、背景データと前景データとに分ける工程と、前景データにしたがって、物体特徴と物体移動情報とを生成する工程と、背景データにしたがって、ビデオデータに関連する取り込み空間情報を生成する工程と、物体特徴、物体移動情報、および、取り込み空間情報にしたがって、事象記述情報を生成する工程と、を含む。事象記述情報は、ビデオデータ中で発生する事象に関連し、事象記述情報は、機械可読テキストファイル形式の当該事象に関する情報である。

一実施態様において、情報取り込み方法は、さらに、前景データにしたがって、物体特徴を抽出すると共に、物体特徴と特徴データベースとを比較して、物体情報を生成する工程と、オブジェクト移動アルゴリズムにしたがって、物体の動作行為を得て、動作行為と行為データベースとを比較し、行動情報を生成する工程と、物体情報および行動情報にしたがって、事象記述情報を生成する工程と、を含んでいてもよい。

一実施態様において、情報取り込み方法は、さらに、前景データの少なくともひとつの臨界点を取り込む工程と、臨界点の中央を囲む複数の固有ベクトルを生成する工程と、特徴データベース中、固有ベクトルとの差異が最小の一物体にしたがって、物体情報を生成する工程と、を含んでいてもよい。

一実施態様において、情報取り込み方法は、さらに、行動情報と取り込み空間情報にしたがって、動作追跡を生成する工程と、動作追跡にしたがって、事象記述情報を生成する工程と、を含んでいてもよい。

一実施態様において、情報取り込み方法は、さらに、ビデオデータを暗号化して、暗号化イメージを生成する工程と、ストレージモジュール中に、暗号化イメージを保存する工程と、事象記述情報にしたがって、暗号化イメージにアクセスすると共に、事象記述情報にしたがって、暗号化イメージの対応部分を検索する工程と、を含んでいてもよい。

本発明によれば、大量の画像を効果的に処理し、追跡作業を補完することができる。

本発明の一実施形態に係る情報取り込み装置のブロック図である。 同実施形態における物体特徴を得るプロセスのフローチャートである。 同実施形態における前景データの臨界点を探すフローチャートである。 図３の実施形態による尺度空間の臨界点の検出を示す図である。 同実施形態における臨界点の回転を示す図である。 同実施形態における固有値を計算するプロセスを示す図である。 同実施形態における動作検出のフローチャートである。 本発明の別の実施形態によるイメージアクセスシステムのブロック図である。 本発明の一実施態様に係る情報取り込み方法のフローチャートである。

本明細書で詳細に説明され、添付の図面に示される装置及び方法は、非限定的な例示的実施形態であること、並びに、本発明の各種の実施形態の範囲は、特許請求の範囲によってのみ定義されることは、当業者には理解されよう。

図１は、本発明の一実施形態に係る情報取り込み装置のブロック図である。図１に示されるように、情報取り込み装置１００は、ビデオ取り込み装置１０１、プレ処理モジュール１０２、イメージ処理モジュール１０３、および、テキスト生成モジュール１０４を有する。ビデオ取り込み装置１０１は、ビデオデータＳ_Ｖを取り込み、ビデオデータＳ_Ｖを、プレ処理モジュール１０２に送信する。プレ処理モジュール１０２がビデオデータＳ_Ｖを受信後、プレ処理モジュール１０２は、ビデオデータＳ_Ｖを、背景データＳ_Ｓと前景データＳ_Ｄとに分割すると共に、背景データＳ_Ｓと前景データＳ_Ｄとを、イメージ処理モジュール１０３に送信する。

イメージ処理モジュール１０３は、背景イメージ処理モジュール１１０と前景イメージ処理モジュール１２０とを有する。背景イメージ処理モジュール１１０は、背景データＳ_Ｓにしたがって、ビデオデータＳ_Ｖの取り込み空間情報Ｓ_Ｃを生成すると共に、取り込み空間情報Ｓ_Ｃを、テキスト生成モジュール１０４に送信する。本発明の別の実施形態によると、ユーザーにより、取り込み空間情報Ｓ_Ｃが挿入され、ストレージデバイスに保存されてもよい。前景イメージ処理モジュール１２０は、前景データＳ_Ｄにしたがって、物体特徴Ｓ_Ｏと物体移動情報Ｓ_Ｍとを生成すると共に、物体特徴Ｓ_Ｏと物体移動情報Ｓ_Ｍとを、テキスト生成モジュール１０４に送信する。本実施形態においては、テキスト生成モジュール１０４は、取り込み空間情報Ｓ_Ｃ、物体特徴Ｓ_Ｏ、および、物体移動情報Ｓ_Ｍ（図１に示されない）の内容にしたがって、ビデオデータＳ_Ｖ中で発生する事象に関連する事象記述情報Ｓ_Ｔを生成する。

本実施形態においては、プレ処理モジュール１０２は、ビデオデータＳ_Ｖの前景データＳ_Ｄを取得すると共に、重複画像を削除して、処理する画像のサイズを減少させる機能を果たす。取得したビデオ中には、通常、重複情報があるので、この動作は、後続装置の計算負担を軽減することができる。

本実施形態においては、事象記述情報Ｓ_Ｔは、機械可読テキストファイル形式で、事象記述情報Ｓ_Ｔは、ビデオデータＳ_Ｖにしたがって、ビデオデータＳ_Ｖ中で発生する事象に関連するＷＨＯ、ＷＨＡＴ、ＷＨＥＮ、ＷＨＥＲＥ、および、ＨＯＷの情報を含む。本発明の別の実施形態によると、事象記述情報Ｓ_Ｔは、ビデオデータＳ_Ｖ中で発生する事象に関連するＷＨＯ、ＷＨＡＴ、ＷＨＥＮ、ＷＨＥＲＥ、および、ＨＯＷの任意の組み合わせの情報であってもよい。本実施形態においては、事象記述情報Ｓ_Ｔは、ｊｓｏｎフォーマットであるが、本発明の別の実施形態によると、事象記述情報Ｓ_Ｔは、ＸＭＬフォーマットであってもよい。

図１に示されるように、前景イメージ処理モジュール１２０は、特徴捕捉モジュール１２１、および、動作検出モジュール１２２を含む。特徴捕捉モジュール１２１は、前景データＳ_Ｄにしたがって、物体特徴Ｓ_Ｏを抽出すると共に、物体特徴Ｓ_Ｏと、特徴データベース１３０の特徴データとを比較し、特徴捕捉モジュール１２１は、物体特徴Ｓ_Ｏとほぼ同じ物体を選択して、物体情報Ｓ_ＩＯを生成する。動作検出モジュール１２２は、アルゴリズムにしたがって、物体特徴Ｓ_Ｏの物体移動情報Ｓ_Ｍを得ると共に、物体移動情報Ｓ_Ｍと動作データベース１４０の動作行為を比較して、行動情報Ｓ_ＩＭを生成する。本発明の別の実施形態によると、テキスト生成モジュール１０４は、物件情報Ｓ_ＩＯと行動情報Ｓ_ＩＭとにしたがって、事象記述情報Ｓ_Ｔを生成してもよい。物体情報Ｓ_ＩＯを生成する特徴捕捉モジュール１２１、および、行動情報Ｓ_ＩＭを生成する動作検出モジュール１２２に関連するアルゴリズムは、以下で詳細に記述される。

図２は、本実施形態における物体特徴Ｓ_Ｏを得るフローチャートである。図２に示されるように、最初に、図１のビデオ取り込み装置１０１は、ビデオデータ２０１を取り込み、図１のプレ処理モジュール１０２は、画像変化の可能性にしたがって、背景情報２０２を更新する。本実施態様においては、背景情報は、図１の背景データＳ_Ｓである。その後、プレ処理モジュール１０２は、バックグラウンド除去法２０３により、新しい画像から、背景情報が取り去られて、前景データＳ_Ｄを得ると共に、膨張・収縮オペレータ２０４により、前景データＳ_Ｄを増強する。最後に、プレ処理モジュール１０２は、８連結コンポーネント２０５を用いて、前景情報から、前景データＳ_Ｄを取り出す。

図３は、本実施形態における前景データＳ_Ｄの臨界点を見つけるフローチャートである。臨界点を探すスケール不変特徴量変換（ＳＩＦＴ）のアルゴリズムが、図３のフローチャートに示される。最初に、特徴捕捉モジュール１２１は、図２中で得られる前景データＳ_Ｄを、尺度空間の表示方式に転換する（ステップ３０１）。その後、臨界点が尺度空間中で見つけられる（ステップ３０２）。探し出された臨界点にしたがって、臨界点の勾配方向が計算される（ステップ３０３）。最後に、臨界点の勾配方向にしたがって、臨界点の記述子が生成される（ステップ３０４）。臨界点の記述子を生成するプロセスは、以下で詳細に記述される。

まず、ステップ３０１において、特徴捕捉モジュール１２１は、前景データＳ_Ｄを、尺度空間の表示方式に転換する。つまり、イメージは、異なる尺度で、ガウシアンフィルタにより畳み込まれると共に、その後、所定尺度にしたがって、ダウンサンプルされる。本実施形態においては、ガウシアンフィルタの累乗、および、ダウンサンプリングの頻度は、通常、２の累乗に選択される。つまり、各逐次代入において、イメージは、まず、０．５倍の比例で、異なる尺度のイメージに形成され、続いて、異なる尺度のイメージは、ガウシアンフィルタにより、２の累乗で畳み込まれ、前景情報の尺度空間を生成する。

ステップ３０２において、尺度空間の臨界点を見つけるために、臨界点は、その後、複数の尺度で発生するガウシアンの差（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ、ＤｏＧ）の最大限／最小限とみなされる。図４は、図３の実施態様による尺度空間の臨界点の検出を示す図である。図４に示されるように、中間臨界点４０１とその同尺度の８個の隣接点と上下尺度に対応する９×２個の点２６点と比較する。一つの点が、もし、尺度空間本層、および、上下二層の２６個の領域中で最大、または、最小である場合、この点は、尺度の次の臨界点であると判断される。

ステップ３０３において、主目的は、固有値の方向を統一することである。固有値の方向を統一するために、スケール不変特徴量変換のアルゴリズムは、各固有値が異なる方向でも、その値を維持できるように確保する。公式は以下のようになる。

式１は、臨界点の勾配の幅の計算に用いられ、式２は、臨界点の勾配方向の計算に用いられ、Ｌ（ｘ，ｙ）は、ディスプレイ画素のグレイスケール地である。図５は、本発明の実施態様による臨界点の回転を示す図である。臨界点の勾配方向を得た後、図５に示されるように、ブロック全体を臨界点の中央とし、臨界点を囲む８×８サブブロックは、勾配方向に回転して、次のステップの計算を便利にする。

臨界点の方向の統一後、ステップ３０４を実行し、固有値の記述子を計算する。図６Ａ〜図６Ｄは、本実施形態における固有値を計算するフローチャートである。図６Ａに示されるように、ブロック全体が臨界点６０１を中心点とする周囲の１６×１６サブブロックの範囲は、すでに、勾配方向に回転している。よって、方向の統一後、固有値の記述子の計算を開始する。図６Ｂに示されるように、臨界点６０１を中心とし、周囲の１６×１６サブブロック範囲内の画素は、勾配方向に基づいて、ヒストグラムに変換され、ヒストグラムは、８方向に正規化され、つまり、４５度を単位とする。図６Ｂを例とすると、８×８をブロックとする２×２勾配方向のプロットである。

図６Ｃに示されるように、図６Ｂに示される４個のブロックが計算されて、４×４勾配方向のプロットを形成し、各勾配方向の幅は、図６Ｄに示されるような１２８次元勾配ヒストグラムに転換される。固有値に照射する影響を除去するため、図６Ｄに示される１２８次元勾配ヒストグラムが正規化され、各ヒストグラムのデータが収集されて、スケール不変特徴量変換の固有値を得る。その後、いくつかの臨界点が物体特徴Ｓ_Ｏで得られ、各臨界点は、１２８次元記述子を有する。特徴捕捉モジュール１２１は、１２８次元記述子にしたがって、特徴データベース１３０で比較すると共に、式３を用いて、相似度が高い物体を探し出す。

言い換えれば、特徴データベース１３０中、１２８次元記述子とのベクトル差が最小の物体を探索するためにユークリッド距離が用いられ、この物体は、すなわち、相似度が最も高い物体である。図１の特徴捕捉モジュール１２１は、よって、特徴データベース１３０中、相似度が最も高い物体にしたがって、物体特徴Ｓ_Ｏの物体情報Ｓ_ＩＯを生成する。

上述の探し出された物体特徴Ｓ_Ｏに関して、我々は、連続して変動する物体特徴Ｓ_Ｏに対し、物体特徴Ｓ_Ｏを表示するディスプレイブロック内の各ディスプレイ画素の変化時間を連続的に記録する。その後、これらの変化時間の勾配方向を引き出し、画面中の前景ブロックの運動方向を得る。

図７は、本実施形態における動作を検出するフローチャートである。図７に示されるように、最初に、主張した２次元記憶空間は、それぞれ、イメージ全体に対応し、運動履歴イメージと称される（ステップ７０１）。運動履歴イメージは前景データの動作追跡を有し、動作追跡上で、現在発生する移動の時間を記録する。本実施形態では、移動の時間は、ナノセカンド単位で発生する。

その後、運動履歴イメージ全体で、それぞれ、記録された位置と移動時間とにしたがって、勾配方向のＸ方向とＹ方向とが計算され（ステップ７０２）、移動速度のＸ軸とＹ軸とが得られる。最後に、イメージの前景データＳ_Ｄの移動方向が、三角関数により計算され（ステップ７０３）、一連の移動方向情報を収集することにより、動作追跡が得られる。その後、動作検出モジュール１２２は、物体移動情報Ｓ_Ｍ中に、移動方向と動作追跡とを記録し、物体移動情報Ｓ_Ｍの動作追跡と動作データベース１４０の動作行為とを比較し、取り込み空間情報Ｓ_Ｃの補助により、移動方向と実際の速度が得られる。動作検出モジュール１２２は、移動方向と速度などの関連情報を、行動情報Ｓ_ＩＭに記録する。

取り込み空間情報Ｓ_Ｃ、物体特徴Ｓ_Ｏ、および、物体移動情報Ｓ_Ｍの内容にしたがって、テキスト生成モジュール１０４は、ビデオデータＳ_Ｖで発生する事象に関連する事象記述情報Ｓ_Ｔを生成する。本実施形態においては、事象記述情報Ｓ_Ｔは、ｊｓｏｎフォーマットであるが、本発明の別の実施形態によると、事象記述情報Ｓ_Ｔは、ＸＭＬフォーマットであってもよい。本実施形態においては、動作検出モジュール１２２は、別のユーザーにより定義される動作データベース１４０の動作行為を検出することができ、本発明の検出方法を説明するためだけに使用されるが、任意の形式で、動作行為を移動に限定するものではない。

図８は、本発明の別の実施態様によるイメージアクセスシステムのブロック図である。図８に示されるように、イメージアクセスシステム８００は、情報取り込み装置１００、イメージ暗号化モジュール８０１、ストレージモジュール８１２、および、マイクロプロセッサ８０３を含む。情報取り込み装置１００のビデオ取り込み装置１０１がイメージデータＳ_Ｖを取り込んだ後、イメージデータＳ_Ｖが、イメージ暗号化モジュール８０１に送信されて、暗号化され、ストレージモジュール８１２に保存される。マイクロプロセッサ８０３は、データ取り込み装置１００により生成される事象記述情報Ｓ_Ｔにしたがって、ストレージモジュール８１２に保存される暗号化イメージデータＳ_Ｖに対応するイメージ部Ｓ_Ｆにアクセスする。

ストレージモジュール８０２に保存される暗号化ビデオデータＳ_Ｖは非常に大きいので、発生したいくつかの事象にしたがって、特定部分を検索するとき、人の操作により検索する必要がある。データ取り込み装置１００により生成される事象記述情報Ｓ_Ｔの事象を回収し、その後、事象記述情報Ｓ_Ｔ中に記録される時間記録にしたがって、対応部分にアクセスする場合、検索時間とコストは、大幅に減少する。

図９は、本発明の実施態様による情報取り込み方法のフローチャートである。図９に示されるように、最初に、ビデオデータが捕捉される（ステップＳ９１）。その後、ビデオデータが、背景データと前景データに分けられる（ステップＳ９２）。前景データにしたがって、物体特徴と物体移動情報が生成される（ステップＳ９３）。背景データにしたがって、ビデオデータに関連する取り込み空間情報が生成される（ステップＳ９４）。物体特徴、物体移動情報、および、取り込み空間情報にしたがって、事象記述情報が生成され（ステップＳ９５）、事象記述情報は、ビデオデータ中で発生する事象に関連する。事象記述情報は、事象の関連情報を含み、事象記述情報は、機械可読テキストファイル形式である。

ステップＳ９１に戻ると、ビデオデータの捕捉後、本方法は、ビデオデータを暗号化して、暗号化イメージを生成する工程（ステップＳ９６）と、暗号化イメージを、ストレージモジュールに保存する工程（ステップＳ９７）と、ステップＳ９５で生成される事象記述情報にしたがって、暗号化イメージにアクセスすると共に、事象記述情報の関連情報にしたがって、暗号化イメージの対応部分を検索する工程（ステップＳ９８）と、を含む。

本実施形態によると、本発明で開示される情報取り込み装置と情報取り込み方法は、大量の監視カメラ中に用いることができ、ナンバープレートにより、特定の車両を探す。コンピュータは、情報取り込み装置１００にしたがって、事象記述情報Ｓ_Ｔを生成すると共に、非常に短時間で、特定のナンバープレートを有する車両が、どのカメラに出現するかを特定することや、または、コンピュータが、事象記述情報Ｓ_Ｔにしたがって、容易に、特定のナンバープレートを有する車がどこからどこに行くのか探すことができる。従来の監視画面を人によって逐一フィルタリングしたり、人力で車両を追跡したりするのと比較して、処理時間とコストを大幅に減少することができる。

本発明の別の実施形態によると、本発明は、たとえば、地下鉄の管理システム等の大量の監視カメラに用いることができる。管理者が利用者の急速に増加に気がつくと、急速に増加する利用者のために、運転車両を増やすなどの適切な反応を実施することができる。たとえば、情報取り込み装置１００は、ビデオ取り込み装置１０１により捕捉されるビデオデータＳ_Ｖにしたがって、ビデオデータＳ_Ｖ中の人数を有する事象記述情報Ｓ_Ｔを生成する。管理者は、事象記述情報Ｓ_Ｔの人数にしたがって、即時に、利用者数の変化に気づくことができ、最適な決定を下すことができる。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明の範囲を限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができる。本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

１００ 情報取り込み装置
１０１ ビデオ取り込み装置
１０２ プレ処理モジュール
１０３ イメージ処理モジュール
１０４ テキスト生成モジュール
１１０ 背景イメージ処理モジュール
１２０ 前景イメージ処理モジュール
１２１ 特徴捕捉モジュール
１２２ 動作検出モジュール
２０１ ビデオデータ
２０２ 背景情報
２０３ バックグラウンド除去法
２０４ 膨張・収縮オペレータ
２０５ ８連結コンポーネント
４０１、６０１ 臨界点
８００ イメージアクセスシステム
８０１ イメージ暗号化モジュール
８０２ ストレージモジュール
８０３ マイクロプロセッサ
Ｓ_Ｖ ビデオデータ
Ｓ_Ｄ 前景データ
Ｓ_Ｓ 背景データ
Ｓ_Ｃ 取り込み空間情報
Ｓ_Ｏ 物体特徴
Ｓ_Ｍ 物体移動情報
Ｓ_Ｔ 事象記述情報
Ｓ_ＩＯ 物体情報
Ｓ_ＩＭ 行動情報
Ｓ_Ｆ イメージ部

Claims (11)

1. 情報取り込み装置であって、
   ビデオデータを取り込むビデオ取り込み装置と、
   前記ビデオデータを、背景データと前景データとに分割するプレ処理モジュールと、
   前記前景データにしたがって、物体特徴と物体移動情報とを生成し、前記背景データにしたがって、前記ビデオデータの取り込み空間情報を生成するイメージ処理モジュールと、
   前記物体特徴、前記物体移動情報、および、前記取り込み空間情報にしたがって、事象記述情報を生成するテキスト生成モジュールと、を有し、
   前記事象記述情報は、前記ビデオデータ中で発生する事象に関連し、前記事象記述情報は、機械可読テキストファイル形式の当該事象に関する情報を含むことを特徴とする情報取り込み装置。
2. 前記イメージ処理モジュールは、さらに、
   前記前景データにしたがって、前記物体特徴と前記物体移動情報とを生成する前景イメージ処理モジュールと、
   前記背景データにしたがって、前記ビデオデータの前記取り込み空間情報を生成する背景イメージ処理モジュールと、を有することを特徴とする請求項１に記載の情報取り込み装置。
3. 前記前景イメージ処理モジュールは、
   前記前景データにしたがって、前記物体特徴を抽出すると共に、前記物体特徴と特徴データベースとを比較して、物体情報を生成する特徴捕捉モジュールと、
   オブジェクト移動アルゴリズムにしたがって、前記物体の動作行為を得ると共に、前記動作行為と行為データベースとを比較して、行動情報を生成する動作検出モジュールと、を有し、
   前記テキスト生成モジュールは、前記物体情報と前記行動情報とにしたがって、前記事象記述情報を生成することを特徴とする請求項２に記載の情報取り込み装置。
4. 前記特徴捕捉モジュールは、前記前景データの少なくともひとつの臨界点を捕捉し、前記臨界点の中央を囲む複数の固有ベクトルを生成すると共に、前記特徴データベース中、前記固有ベクトルとの差異が最小の一物体にしたがって、前記物体情報を生成することを特徴とする請求項３に記載の情報取り込み装置。
5. 前記動作検出モジュールは、さらに、前記行動情報と前記取り込み空間情報とにしたがって、動作追跡を生成し、前記テキスト生成モジュールは、さらに、前記動作追跡にしたがって、前記事象記述情報を生成することを特徴とする請求項３に記載の情報取り込み装置。
6. さらに、前記ビデオデータを暗号化して、暗号化イメージを生成するイメージ暗号化モジュールと、
   前記暗号化イメージを保存するストレージモジュールと、
   前記事象記述情報にしたがって、前記暗号化イメージにアクセスすると共に、前記事象記述情報にしたがって、前記暗号化イメージの対応部分を検索するマイクロプロセッサと、を有することを特徴とする請求項１に記載の情報取り込み装置。
7. 情報取り込み方法であって、
   ビデオデータを取り込む工程と、
   前記ビデオデータを、背景データと前景データとに分割する工程と、
   前記前景データにしたがって、物体特徴と物体移動情報とを生成する工程と、
   前記背景データにしたがって、前記ビデオデータに関連する取り込み空間情報を生成する工程と、
   前記物体特徴、前記物体移動情報、および、前記取り込み空間情報にしたがって、事象記述情報を生成する工程と、を有し、
   前記事象記述情報は、前記ビデオデータ中で発生する事象に関連し、前記事象記述情報は、機械可読テキストファイル形式の当該事象に関する情報を含むことを特徴とする情報取り込み方法。
8. さらに、前記前景データにしたがって、前記物体特徴を抽出し、前記物体特徴と特徴データベースとを比較して、物体情報を生成する工程と、
   オブジェクト移動アルゴリズムにしたがって、前記物体の動作行為を得て、前記動作行為と行為データベースとを比較して、行動情報を生成する工程と、
   前記物体情報および前記行動情報にしたがって、前記事象記述情報を生成する工程と、を有することを特徴とする請求項７に記載の情報取り込み方法。
9. さらに、前記前景データの少なくともひとつの臨界点を取り込む工程と、
   前記臨界点の中心を囲む複数の固有ベクトルを生成する工程と、
   前記特徴データベース中、前記固有ベクトルとの差異が最小の一物体にしたがって、前記物体情報を生成する工程と、を有することを特徴とする請求項８に記載の情報取り込み方法。
10. さらに、前記行動情報と前記取り込み空間情報にしたがって、動作追跡を生成する工程と、
    前記動作追跡にしたがって、前記事象記述情報を生成する工程と、を有することを特徴とする請求項８に記載の情報取り込み方法。
11. さらに、前記ビデオデータを暗号化して、暗号化イメージを生成する工程と、
    前記暗号化イメージを、ストレージモジュール中に保存する工程と、
    前記事象記述情報にしたがって、前記暗号化イメージにアクセスすると共に、前記事象記述情報にしたがって、前記暗号化イメージの対応部分を検索する工程と、を有することを特徴とする請求項８に記載の情報取り込み方法。

Images