JP4912028B2 - 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム - Google Patents

逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム Download PDF

Info

Publication number
JP4912028B2
JP4912028B2 JP2006127357A JP2006127357A JP4912028B2 JP 4912028 B2 JP4912028 B2 JP 4912028B2 JP 2006127357 A JP2006127357 A JP 2006127357A JP 2006127357 A JP2006127357 A JP 2006127357A JP 4912028 B2 JP4912028 B2 JP 4912028B2
Authority
JP
Japan
Prior art keywords
feature vector
spatio
frame
feature
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006127357A
Other languages
English (en)
Other versions
JP2007299250A (ja
Inventor
恭子 数藤
佳織 若林
貴之 安野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006127357A priority Critical patent/JP4912028B2/ja
Publication of JP2007299250A publication Critical patent/JP2007299250A/ja
Application granted granted Critical
Publication of JP4912028B2 publication Critical patent/JP4912028B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像監視システムにおける非定常映像検出に関するものである。
現在、画像に基づいて放置物などの異常を検出する移動監視ロボットシステムが知られてきている。この移動監視ロボットは、固定カメラによる画像監視システムと異なり、小数のカメラで広い領域を監視できる(例えば、非特許文献1参照)。
しかし、移動監視ロボットシステムでは、取得した画像間に位置ずれが生じるため、異常検出(即ち、非定常映像検出)手法を採用した装置を搭載する必要がある。
非定常映像検出手法は、映像から定常または非定常を識別する技術(以下、非定常映像検出技術と称する)であって、辞書を固定的に備え、予め学習を行うものであった。
なお、非定常検出技術に関連する技術として、1クラスSVM(Support Vector Machine(サポートベクターマシン))(例えば、非特許文献2参照)、映像からの類似シーン検索の分野で用いられている圧縮手法(例えば、非特許文献3参照)、が知られている。
横井、「画像に基づく監視ロボットのための異常検出手法」、信学技報PRMU2004−144、2004(平成16年)、pp.61−65。 麻生英樹,津田宏治,村田昇、「パターン認識と学習の統計学」、岩波書店、平成15年4月、pp.126−127。 野田,目加田,井手,村瀬、「特徴次元圧縮による長時間映像中における同一区間映像の高速検出法」、FIT2004、2004(平成16年)、No.I−039。
上述のような非定常映像検出技術において、短時間の映像を検出対象とする場合に、辞書が固定でも問題がない。しかし、長時間の映像を対象とする場合で、さらに、環境条件が変化していくような映像から非定常映像検出を行う場合、固定の識別軸では時間の経過と共に識別精度が低下する恐れがあった。
このような識別精度の低下を防止するためには、入力映像を学習データに加え再学習を行う必要がある。しかし、リアルタイムで非定常映像検出を動作させるためには次のような問題があった。
蓄積映像に対してオフライン処理を行う場合には、一定の入力フレーム(即ち、動画像中のフレーム画像)ごとに再学習を行って辞書を更新できる。しかし、リアルタイム処理の場合には高速処理を要求されるため、辞書更新中でも次々入力されるデータに対して識別結果を出力する仕組みが必要である。
蓄積映像に対してオフライン処理を行う場合には、映像カット(映像を構成するフレームの集まり;以後、単にカットという)に定常と非定常のラベル付けをあらかじめ行っておくことができる。しかし、リアルタイム処理の場合には高速処理を要求されるため、辞書更新のために人手によってラベル付けを行うことは現実的でなく、教師なし学習が適している。この教師なし学習を非定常検出に適応する場合、辞書更新前後の連続した入力に対し識別判定パラメータが急激に変わることは望ましくない。そこで、入力データ集合に重なりをもたせて学習する仕組みが必要である。
本発明は、前記課題に基づいてなされたものであって、辞書更新中でも次々入力されるデータに対して識別結果を出力する仕組み、入力データ集合に重なりをもたせて学習する仕組みを備えた逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラムを提供することにある。
本発明は、前記課題の解決を図るために、請求項1記載の発明は、連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出装置であって、映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力手段と、その入力された映像から特定の時間単位に含まれるフレームをカットと見做して取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成手段と、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習手段と、該学習手段が学習した変換パラメータを記憶する辞書手段と、その辞書手段に記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定手段と、その判定された結果を出力する非定常性出力手段と、を含むことを特徴とする。
請求項2記載の発明は、請求項1記載の発明において、前記特徴ベクトル生成手段が、取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成手段と、その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成手段と、を含み、前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、を制御する制御手段を含む、ことを特徴とする。
請求項3記載の発明は、請求項2記載の発明において、前記制御手段は、カットを特定する情報と、学習すべき時空間特徴ベクトルの枚数と、を外部から入力する外部インタフェース手段、を含むことを特徴とする。
請求項4記載の発明は、請求項2または3に記載の発明において、前記時空間特徴ベクトル生成手段が、前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮手段によって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮手段によってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、ことを特徴とする。
請求項5記載の発明は、連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出方法であって、映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力ステップと、その入力された映像から特定の時間単位に含まれるフレームを取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成ステップと、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習ステップと、該学習ステップで学習した変換パラメータを辞書手段に記憶させる辞書ステップと、その辞書ステップで記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定ステップと、その判定された結果を出力する非定常性出力ステップとを含むことを特徴とする。
請求項6記載の発明は、請求項5に記載の発明において、前記特徴ベクトル生成ステップが、取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成ステップと、その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成ステップと、を含み、前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、を制御する制御ステップを含む、ことを特徴とする。
請求項7記載の発明は、請求項6に記載の発明において、前記制御ステップは、カットを特定する情報と、学習すべき時空間特徴ベクトルの枚数と、が外部から入力されるステップ、を含むことを特徴とする。
請求項8記載の発明は、請求項6または7に記載の発明において、前記時空間特徴ベクトル生成ステップが、前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮ステップによって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮ステップによってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、ことを特徴とする。
請求項9記載の発明は、プログラムであって、請求項5乃至8のいずれかに記載の逐次学習式非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。
前記請求項1,5の発明によれば、連続して入力された映像(逐次入力された映像)に対する特徴量を抽出できる。その抽出された特徴量を統計的に学習し、全体の分布から外れている特徴量に対応するカットを検出できる。
前記請求項2,6の発明によれば、フレーム特徴ベクトルと時空間特徴ベクトルを取得できる。
前記請求項3,7の発明によれば、カットを特定する情報を取得できる。学習すべき時空間特徴ベクトルの枚数を取得できる。
前記請求項4,8の発明によれば、次元圧縮された時空間特徴ベクトルを取得できる。
前記請求項9の発明によれば、請求項5乃至8のいずれかに記載の逐次学習式非定常映像検出方法をコンピュータプログラムとして取得できる。
以上示したように請求項1,5の発明によれば、連続して入力された映像からリアルタイムに非定常なカットを検出できる。
請求項2,6の発明によれば、時空間特徴ベクトルに基づいて統計的な学習を行うことができる。
請求項3,7の発明によれば、カットを特定できる。限定された数の時空間特徴ベクトルに関して学習できる。
請求項4,8の発明によれば、次元圧縮された時空間特徴ベクトルを学習に使用できるため、処理速度を向上できる。
請求項9の発明によれば、逐次学習式非定常映像検出方法を実装したコンピュータプログラムを実行できる。
これらを以って監視装置分野に貢献できる。
以下、本発明の実施形態を図面等に基づいて詳細に説明する。
本実施形態では、映像における一定量の最新のカットを学習することによって、非定常映像識別のための辞書を逐次更新する。なお、辞書とは、非定常の度合い(即ち、非定常度)を算出する演算式のパラメータ(即ち、変換式の係数、または、変換パラメータ)が格納されるものである。例えば、識別対象の特徴ベクトルをxとし、その特徴ベクトルxに関する非定常度を算出する変換式を二次多項式Q(x)=ax2+bx+cとすると、辞書は、a,b,cの値を格納したものである。
また、画像から特徴ベクトルを生成する特徴ベクトル生成部と学習部は順次に辞書を使用する。即ち、学習部は辞書を更新し、非定常性判定部では書き換えられた最新の辞書を使って識別を行う。
さらに、常に最新の画像の入力時刻から起算して一定時間過去の時刻までの固定長のフレーム(画像)を切り出したものを1つのカットとみなし、カット間における変化が少ないカット(例えば、時間的に少しずつ重なるようなカット)を切り出して多数のカットを生成し、一定量の最新のカットを学習する。即ち、時間的に少しずつ重なるようにカットを切り出して、カットに重なりをもたせることで連続した入力に対して急激に識別パラメータが変化することがないようにできる。
なお、本実施形態において、学習部における学習とは、入力された特徴ベクトルの統計的な分布に基き識別に最適な識別空間にサンプルを写像するための変換パラメータを求めることを指し、その変換パラメータを記憶したデータベースを辞書と呼ぶことにする。
[第1実施形態]
第1実施形態における逐次学習式非定常映像検出装置の構成を図1に基づいて説明する。なお、第1実施形態は、以降の実施形態の基本形態となるものである。
第1実施形態における逐次学習式非定常映像検出装置は、映像入力部101,特徴ベクトル生成部102,学習部103,非定常性判定部104,非定常性出力部105から構成される。
映像入力部101には、多数の連続したフレーム(以下、連続フレームと称する)を含む映像(例えば、長時間の監視映像など)が入力される。
特徴ベクトル生成部102は、映像入力部101によって逐次に入力された連続フレームから、特定の時間範囲(例えば、最新のフレームが入力された時刻から特定の時間分遡った時刻まで)に含まれるフレーム(即ち、カット)を抜き出し、そのカットに対して特徴(即ち、特徴ベクトル)抽出処理を行う。なお、カットの抜き出しは、最新のフレームが入力された度に行っても良い。
学習部103は、特徴ベクトル生成部102において生成された特徴ベクトルに基づいて、識別空間を生成する。
非定常性判定部104は、特徴ベクトル生成部102で生成された特徴ベクトルを統計的に学習し、学習部103で生成された識別空間全体の分布から外れている特徴量に対応するカットを検出する(例えば、識別軸を用いて識別して検出する)。
非定常性出力部105は、非定常性判定部104において判定された識別結果を出力する。
[第2実施形態]
第2実施形態における逐次学習式非定常映像検出装置の構成を図2に基づいて説明する。
第2実施形態における逐次学習式非定常映像検出装置は、映像入力部201,制御部202,特徴ベクトル生成部203,学習部204,非定常性判定部205,非定常性出力部206から構成される。
映像入力部201は、連続フレームを含む映像情報蓄積する映像蓄積部2011を備え、その映像蓄積部2011から所望の連続フレームを含む映像情報を取得する。なお、映像蓄積部2011は、一般的なデータベースシステムや外部記憶装置(例えば、ハードディスク)を含んで実現されていても良い。
特徴ベクトル生成部203は、フレームから特徴を生成するフレーム特徴生成部2031と時空間情報から特徴ベクトルを生成する部(以後、時空間特徴ベクトル生成部と称する)2032を備え、映像入力部201から入力された連続フレームに対して特徴抽出処理を行なう。
フレーム特徴生成部2031における特徴抽出(特徴生成)方法を以下に説明する。
まず、各フレームに対してフレームごとの特徴抽出を行う。例えば、抽出される特徴は、例えば、動領域やオプティカルフローなどが挙げられる。なお、以下の説明では、動領域の場合を例として説明する。
フレーム特徴生成部2031で、背景更新を行いながら背景差分により動領域を抽出し、動領域に「1」、背景領域に「0」を割り当てた二値画像を生成する。例えば、元の入力映像の各フレームのサイズをx×y(縦x画素、横y画素)とすると、二値画像のサイズもx×yである。このフレームのサイズを要素数x×yのベクトル(即ち、フレーム特徴ベクトル)と見做してフレーム特徴生成部2031から出力する。
フレーム特徴生成部2031におけるフレーム特徴ベクトル生成処理を以下に説明する。
まず、1つのカットを構成する複数枚のフレームに対し、そのフレーム毎に変化検出処理を行う。なお、変化検出処理は、変化検出単位(例えば、1枚のフレームに含まれる特定の小領域または画素)毎に行なうものとする。変化検出単位(例えば、特定の小領域毎、画素毎)の選択、変化検出単位として小領域を選択した場合における特定の小領域の大きさ予め設定しておくものとする。その特定の小領域の大きさは、すべてのフレーム、すべてのカットに共通のものとする。
そして、変化検出処理の結果、各フレームの各画素に対応し、その画素の時間的な変化の有無を数値と見做した画像(即ち、フレーム特徴ベクトル)が生成される。
例えば、各フレームに背景差分を施し、変化画像を生成する。なお、変化画像とは、即ち、差分の絶対値が一定の閾値を超えた点を「1」、越えない点を「0」と見做した二値画像、差分の絶対値を正規化した多値画像である。
時空間特徴ベクトル生成部2032は、要素数x×yの1次元ベクトルを、特定の時刻から連続して固定長(例えば、n枚のフレームから構成されたカット)分並べたものをx×y×n次元の時空間特徴ベクトルとして出力する。
非定常性判定部205は、n枚のフレームに相当する映像を一つのカットと見做し、各カットに対して非定常性の判定を行う。
学習部204は、上述の時空間特徴ベクトルをN本学習して識別空間を構成する。なお、学習に関して統計的学習手法を用いる場合に、Nの値は制御部202で決定し、Nはx×y×nに対して充分大きい値であることが望ましい。
制御部202は、上述の学習に関するタイミングを制御する。制御部202は、Nが一定数以上を超えて(即ち、一定数以上の時空間特徴ベクトルが生成されて)から学習を開始することと、特徴ベクトル生成部203の処理と学習とを適当な時間間隔をおいた順序動作で行うことを可能にする。
非定常性出力部206は、上記図1中の非定常性出力部105と同じ動作を行うため、説明を省略する。
[第3実施形態]
第3実施形態における逐次学習式非定常映像検出装置の構成を図3に基づいて説明する。
制御部302は、ユーザからの入力をとりこむ外部インタフェース(例えば、キーボード装置,ポインティング装置,ディスプレイ装置など)3021を備えた制御部である。即ち、カットを特定する情報(例えば、時間範囲),学習を行なう時間の範囲(例えば、学習する時空間特徴ベクトルの枚数N)などをアプリケーションに応じてユーザが指定することができる。
例えば、屋外を監視する映像において、その野外環境が1日の昼と夜とで著しく変化する場合、時間範囲を指定し、昼用の学習データと夜用に別の学習データを備えることによって、安定した識別を行っていた。また、オフィスを監視する映像において、人の出入りの様子が昼休みの時間帯のみ通常と異なる場合にも、その時間帯のデータを別に学習することによって、安定した識別を行っていた。なお、その時間帯のデータに対する学習データは、1時間ごと、または、半日ごとに更新してもよい。
即ち、時系列において重ならないように切り出したカット間における変化が少ない場合、それらのカットに対して映像逐次学習を行っても良いことになる。
以上のように、時間帯ごとの変化が既知の場合に、外部インタフェース3021から制御部302へ学習タイミング(例えば、時刻など)を入力できる。
また、学習タイミングを入力する場合、ユーザが蓄積された映像を見て判断できるように、映像入力部3011は映像蓄積部(図示省略)を備え、制御部302は映像入力部3011へ特定の時刻の映像の呼び出して、その特定の時刻の映像を受け取ることができる。
また、制御部302は、特徴ベクトル生成部303から抽出される時空間特徴ベクトルの時間方向の長さ(即ち、1つのカットと見做す時間の長さ)を指定する手段(例えば、キーボード装置)を備えているものとする。
非定常性判定部305は、カット間における変化が少ないカット(例えば、時間的にずらしながら、固定長分のフレーム数から構成されるカットを生成し、そのずらされて生成されたカット)に対して非定常性の判定を行う。実際に、映像中の1カットにおけるフレーム数は不特定である。そのため、1カットを自動的に認識することは困難であるから、ずらされる固定長のフレーム分のカットに対して非定常性の判定を行う。
なお、特徴ベクトル生成部303は上記特徴ベクトル生成部203、非定常性判定部305は上記非定常性判定部205、非定常性出力部306は上記非定常性出力部206、学習部304は上記学習部204とそれぞれ同じであるため、詳細な説明は省略する。
上記学習部304(204)の動作を図4に基づいて説明する。
学習部304は、特徴ベクトル生成部303で生成された特徴ベクトルを学習して識別空間を生成する。
この識別空間の生成には、教師なし学習手法(例えば、1クラスSVM((Support Vector Machine(サポートベクターマシン))(非特許文献2参照))を用いる。1クラスSVMは、図4のように、もとの特徴空間における特徴ベクトルV1が高次元特徴空間に写像mされるときに、もとの特徴空間におけるはずれ点が原点付近Hに写像されることを利用して、はずれ点検出を行なう方法である。即ち、識別軸上に写像された特徴ベクトルV2の原点からの距離が非定常度と見做される。
[第4実施形態]
上記逐次学習式非定常映像検出装置に備えられた特徴ベクトル生成部の他の例について、図5に基づいて説明する。
以下に、特徴ベクトル生成部601の動作について説明する。図5中の特徴ベクトル生成部601は、フレーム特徴生成部5011,特徴ベクトル圧縮部5012,時空間特徴ベクトル生成部5013から構成される。
フレーム特徴生成部5011は、生成されたフレーム特徴ベクトル(図5B中では、画像サイズはX×Y、フレーム数はT1の特徴ベクトル)V11を生成するものである。
時空間特徴ベクトル生成部5013は、特徴ベクトル圧縮部5012を用いて、フレーム特徴ベクトルV11を以下のように次元圧縮し、次元圧縮された時空間特徴ベクトルを出力する。
なお、特徴ベクトルに対する次元圧縮は、映像からの類似シーン検索の分野で用いられている圧縮手法(非特許文献3参照)と同様に、主成分分析を用いた段階的な圧縮を行う。
例えば、すべてのカットに対応する時空間特徴ベクトルF(k)(k=1,...,K、Kはカットの数)の主成分分析を行なう。さらに、予め定めた寄与率を超える次数までの主軸に投影した係数を用いてF(k)の次元数を削減する(即ち、統計的処理を施す)ことによって圧縮を行う。なお、時空間特徴ベクトルとは、元となる映像の複数フレームの情報を含む特徴ベクトルである。
第4実施形態における次元圧縮では、まず、次数X×Y(XにYを乗じた次数)の特徴ベクトル(即ち、図5B中の特徴ベクトルV11)に対して主成分分析(PCA(Principal Component Analysis))した結果の主成分の上位p1個を用いて、p1個の数値の並び(即ち、p1次の特徴ベクトル)に圧縮する(ステップ1;即ち、図5B中の符号PCA1)。
次に、p1次の特徴ベクトルをT1個並べて、p1×T1次の特徴ベクトル(即ち、図5B中の特徴ベクトルV12)を形成する(ステップ2)。
上述のように、1フレーム目からT1フレーム目の情報を有するp1×T1次の1つの特徴ベクトルを生成する。同様に、2フレーム目から(T1+1)フレーム目の情報を有するp1×T1次の特徴ベクトルが生成する。
以上のステップ1から2をもう一段階繰り返す(ステップ3)。
次に、次数p1×T1の特徴ベクトルを主成分分析した結果の上位p2個を用いて、p2個の数値の並び(即ち、p2次の特徴ベクトル)に圧縮する(ステップ4;即ち、図5B中の符号PCA2)。
次に、p2次の特徴ベクトルをT2個並べてp2×T2次の特徴ベクトル(即ち、図5B中の特徴ベクトルV13)を形成する(ステップ5)。即ち、p3はp2×T2となる。
そして、最終的に、次元圧縮された時空間特徴ベクトルV14を出力する(ステップ6)。
本実施の逐次学習式非定常映像検出装置に関する逐次学習式非定常映像検出方法を図6乃至図8に基づいて説明する。なお、特徴ベクトルリスト管理部602と辞書部603は、特徴ベクトル生成部と非定常性判定部、学習部からアクセスできるように接続されている(あるいは、共有されている)ものとする。また、辞書部603が管理する辞書は、学習部によって、新しいリストが学習される度に辞書部603を介し更新されていくものとする。
図6に基づいて特徴ベクトル生成部と非定常性判定部に関する処理手順を説明する。
まず、特徴ベクトル生成部がt番目のカットを読み込む(S601)。例えば、映像入力部を介して映像蓄積部からカットを読み込む。
ステップS602では、特徴ベクトル生成部が、読み込まれたt番目のカットから時空間特徴ベクトル(以下、単に特徴ベクトルという)F(t)を作成する。例えば、図7において、入力映像801に新しいフレーム(例えば、JPEG(Joint Photographic Experts Group)ファイル)J1が加わるに伴って、カットが切り出されて特徴ベクトルF(t)の列802に特徴ベクトル(例えば、特徴ベクトルが含まれるファイル;即ち、特徴ベクトルファイル)Vf1が増加していく。なお、特徴ベクトルは、例えば、データ管理手段(コンピュータに実装されたデータベースなど)によって管理されているものとする。
次に、特徴ベクトル生成部が、新しい特徴ベクトルを生成する度に、最新のリストを追加して特徴ベクトルリスト管理部602によって管理される特徴ベクトルリストLを更新する(S603)。
次に、特徴ベクトルリスト管理部602から特徴ベクトルリストL(t)を読み込む(S604)。
次に、特徴ベクトルリストL(t)に基づいて辞書部603の辞書D(t-1)から辞書D(t)を作成する(S605)。
ステップS603からS605に関して、例えば、図7に基づいて説明すると次の通りである。図7中の特徴ベクトルリスト管理部803において、現在の特徴ベクトルリストL(t-1)に含まれる最も古い特徴ベクトル(例えば、図7中の符号Vold)を捨て、t番目のカットから生成された最新の特徴ベクトル(例えば、図7中の符号Vnew)を加えた特徴ベクトルリストL(t)を生成する(即ち、FIFO(First in First Out)形態あるいはキュー形態で処理を施して特徴ベクトルリストL(t)を生成する)。そして、生成された特徴ベクトルリストL(t)に基づいて、辞書部804の辞書Dを更新する(即ち、辞書Dに学習させる)。
次に、非定常性判定部が、辞書部603によって管理される辞書D(t-1)を読み込む(S606)。
次に、非定常性判定部が、特徴ベクトルF(t)に対して辞書部603の辞書D(t-1)を用いて非定常判定処理を行う(S607)。
そして、映像が終了したか否かを判定する(S608)。映像が終了した場合は、終了処理S609を実行する。映像が終了していない場合は、ステップS601に戻る。
次に、特徴ベクトルリストの更新(S603)と辞書の更新(S605)に関して、図8に基づいて、さらに詳しく説明する。
なお、特徴ベクトルリストの更新タイミングと辞書の更新タイミングは、入力映像のフレームが加わってカットが切り出される度に行っても良いし、ある程度の時間のまとまりごとに行なってもよい。図8中では、時間のまとまりを半日と設定し説明する。その時間のまとまりを任意の長さ(例えば、数時間,数日など)に設定できることは述べるまでもない。また、特徴ベクトルリストの更新タイミングと辞書の更新タイミングは、制御部か、特徴ベクトル生成部と学習部内で時刻を監視して行っても良い。
図8において、例えば、午前に入力映像901の新しいフレームが加わってカットが切り出されて特徴ベクトルF(t)の列902に特徴ベクトルが1つ増えると、特徴ベクトルリスト管理部903は、現在の午前の特徴ベクトルリストLam (t-1)から最も古い特徴ベクトルを捨て、最新の特徴ベクトルを加えた特徴ベクトルリストLam (t)を生成する。
午後に入力映像901の新しいフレームが加わってカットが切り出されて特徴ベクトルF(t)の列902に特徴ベクトルが1つ増えると、特徴ベクトルリスト管理部903は、現在の午後の特徴ベクトルリストLpm (t-1)の最も古い特徴ベクトルを捨て、最新の特徴ベクトルを加えた特徴ベクトルリストLpm (t)を生成する。
これらの特徴ベクトルリストについて、それぞれの辞書部804の辞書Dam (t)、辞書Dpm (t)が作成される。即ち、特徴ベクトルリストLam (t)に基づいて識別空間を生成し、その識別空間を辞書部804の辞書Dに保管することによって、辞書Dam (t-1)から辞書Dam (t)を作成したものと見做す。
特徴ベクトルリストLpm (t)に基づいて識別空間を生成し、その識別空間を辞書部804の辞書Dに保管することによって、辞書Dpm (t-1)から辞書Dpm (t)を作成したものと見做す。
以上の逐次学習式非定常映像検出装置に関する方法をコンピュータプログラムとして記述し、コンピュータに実行させることによって、逐次学習式非定常映像検出装置を実現できる。
また、以上の逐次学習式非定常映像検出装置に関する方法を記述したコンピュータプログラムを、逐次学習式非定常映像検出装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
例えば、本実施形態において、特徴ベクトル,特徴ベクトルリスト,辞書は、高速に処理される必要があるため、高速かつ大容量なバッファ装置に記憶されても良い。
第1実施形態における逐次学習式非定常映像検出装置の構成図。 第2実施形態における逐次学習式非定常映像検出装置の構成図。 第3実施形態における逐次学習式非定常映像検出装置の構成図。 第4実施形態における像逐次学習装置に備えられた学習部の動作概念図。 本実施形態における逐次学習式非定常映像検出装置に備えられた特徴ベクトル生成部の構成図及び動作概念図。 本実施形態における逐次学習式非定常映像検出装置に関する逐次学習式非定常映像検出方法を示すフローチャート。 本実施形態における特徴ベクトルリスト管理部及び辞書部の動作概念図。 本実施形態における特徴ベクトルリスト管理部及び辞書部の動作の一例を示す図。
符号の説明
101,201,3011…映像入力部
102,203,302,601…特徴ベクトル生成部
103,204,304…学習部
104,205,305…非定常性判定部
105,206,306…非定常性出力部
2011…映像蓄積部
2031,5011…フレーム特徴生成部
2032,5013…時空間特徴ベクトル生成部
3021…外部インタフェース
5012…特徴ベクトル圧縮部
602,803,903…特徴ベクトルリスト管理部
603,804,904…辞書部
801,901…入力映像
802,902…特徴ベクトル
PCA1,PCA2…次元圧縮処理
V1…特徴ベクトル
V1’…射影された特徴ベクトル
V2…高次元特徴空間に写像されたベクトル
m…写像
H…原点付近
V11…フレーム特徴ベクトル
V12,V13,V14…時空間特徴ベクトル
T1,T2…フレーム数
p1,p2,p3…圧縮された特徴ベクトルの次数
Vf1…特徴ベクトルファイル
Vnew…生成された最新の特徴ベクトル
Vold…特徴ベクトルリストに含まれる最も古い特徴ベクトル
J1…JPEGファイル
(t-1),Lam (t-1),Lpm (t-1)…更新前の特徴ベクトルリスト
(t),Lam (t),Lpm (t)…更新後の特徴ベクトルリスト
(t-1),Dam (t-1),Dpm (t-1)…更新前の辞書
(t),Dam (t),Dpm (t)…更新後の辞書
am (t),Fpm (t),Fam (t-1),Fpm (t-1)…特徴ベクトル

Claims (9)

  1. 連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出装置であって、
    映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力手段と、
    その入力された映像から特定の時間単位に含まれるフレームをカットと見做して取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成手段と、
    その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習手段と、
    該学習手段が学習した変換パラメータを記憶する辞書手段と、
    その辞書手段に記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定手段と、
    その判定された結果を出力する非定常性出力手段と、
    を含むことを特徴とする逐次学習式非定常映像検出装置。
  2. 前記特徴ベクトル生成手段が、
    取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成手段と、
    その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成手段と、
    を含み、
    前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、
    を制御する制御手段を含む、
    ことを特徴とする請求項1に記載の逐次学習式非定常映像検出装置。
  3. 前記制御手段は、
    カットを特定する情報と、
    学習すべき時空間特徴ベクトルの枚数と、
    を外部から入力する外部インタフェース手段、
    を含むことを特徴とする請求項2に記載の逐次学習式非定常映像検出装置。
  4. 前記時空間特徴ベクトル生成手段が、
    前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮手段によって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、
    その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮手段によってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、
    ことを特徴とする請求項2または3に記載の逐次学習式非定常映像検出装置。
  5. 連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出方法であって、
    映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力ステップと、
    その入力された映像から特定の時間単位に含まれるフレームを取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成ステップと、
    その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習ステップと、
    該学習ステップで学習した変換パラメータを辞書手段に記憶させる辞書ステップと、
    その辞書ステップで記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定ステップと、
    その判定された結果を出力する非定常性出力ステップと、
    を含むことを特徴とする逐次学習式非定常映像検出方法。
  6. 前記特徴ベクトル生成ステップが、
    取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成ステップと、
    その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成ステップと、
    を含み、
    前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、
    を制御する制御ステップを含む、
    ことを特徴とする請求項5に記載の逐次学習式非定常映像検出方法。
  7. 前記制御ステップは、
    カットを特定する情報と、
    学習すべき時空間特徴ベクトルの枚数と、
    が外部から入力されるステップ、
    を含むことを特徴とする請求項6に記載の逐次学習式非定常映像検出方法。
  8. 前記時空間特徴ベクトル生成ステップが、
    前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮ステップによって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、
    その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮ステップによってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、
    ことを特徴とする請求項6または7に記載の逐次学習式非定常映像検出方法。
  9. 請求項5乃至8のいずれかに記載の逐次学習式非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする逐次学習式非定常映像検出プログラム。
JP2006127357A 2006-05-01 2006-05-01 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム Expired - Fee Related JP4912028B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006127357A JP4912028B2 (ja) 2006-05-01 2006-05-01 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006127357A JP4912028B2 (ja) 2006-05-01 2006-05-01 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム

Publications (2)

Publication Number Publication Date
JP2007299250A JP2007299250A (ja) 2007-11-15
JP4912028B2 true JP4912028B2 (ja) 2012-04-04

Family

ID=38768686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006127357A Expired - Fee Related JP4912028B2 (ja) 2006-05-01 2006-05-01 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム

Country Status (1)

Country Link
JP (1) JP4912028B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4792069B2 (ja) * 2008-09-03 2011-10-12 株式会社日立製作所 画像認識装置
JP5159654B2 (ja) * 2009-01-23 2013-03-06 株式会社東芝 映像処理装置および映像処理方法
JP5701005B2 (ja) * 2010-10-15 2015-04-15 キヤノン株式会社 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
JP5455101B2 (ja) * 2011-03-25 2014-03-26 日本電気株式会社 映像処理システムと映像処理方法、映像処理装置及びその制御方法と制御プログラム
JP6633267B2 (ja) 2014-03-20 2020-01-22 株式会社東芝 次元削減装置、方法及びプログラム
KR102205087B1 (ko) * 2016-06-17 2021-01-20 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 공유형 머신 러닝 데이터 구조
KR102357729B1 (ko) * 2019-09-10 2022-02-03 라온피플 주식회사 복수의 이미지들에 대해 기계학습 및 테스트를 수행하기 위한 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
JP3486229B2 (ja) * 1994-07-27 2004-01-13 株式会社東芝 画像変化検出装置
JP2000266570A (ja) * 1999-03-15 2000-09-29 Omron Corp 定常状態と非定常状態を弁別する信号処理装置
JP4641450B2 (ja) * 2005-05-23 2011-03-02 日本電信電話株式会社 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム
JP4572175B2 (ja) * 2006-04-25 2010-10-27 日本電信電話株式会社 非定常映像検出装置,非定常映像検出方法及びその方法を実装したプログラム

Also Published As

Publication number Publication date
JP2007299250A (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
JP4912028B2 (ja) 逐次学習式非定常映像検出装置,逐次学習式非定常映像検出方法及びその方法を実装したプログラム
CN111010590B (zh) 一种视频裁剪方法及装置
CN110175580B (zh) 一种基于时序因果卷积网络的视频行为识别方法
EP3511862B1 (en) System and method for dynamically ordering video channels according to rank of abnormal detection
KR102560308B1 (ko) 외관 탐색을 위한 시스템 및 방법
KR102519085B1 (ko) 로컬 및 글로벌 모션에 효율적인 멀티-프레임 초해상도 방법 및 장치
EP3312770B1 (en) Crowd state recognition device, method, and program
EP0955599B1 (en) Automated video interpretation system
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
CN111444878A (zh) 一种视频分类方法、装置及计算机可读存储介质
JP4641450B2 (ja) 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム
WO2010030816A2 (en) Long-term memory in a video analysis system
JPWO2010079556A1 (ja) 移動体検出方法および移動体検出装置
CN112889068A (zh) 用于图像处理的神经网络对象识别的方法和系统
Stagliano et al. Online space-variant background modeling with sparse coding
US20070274402A1 (en) Application of short term and long term background scene dynamics in motion detection
JP4572175B2 (ja) 非定常映像検出装置,非定常映像検出方法及びその方法を実装したプログラム
CN110602504A (zh) 一种基于YOLOv2目标检测算法的视频解压缩方法及系统
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
JP4641492B2 (ja) 特異映像検出装置、特異映像検出方法およびプログラム
Delibasoglu et al. Motion detection in moving camera videos using background modeling and FlowNet
CN115988182B (zh) 面向数字孪生的远程视频监测方法
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
CN114333057A (zh) 基于多级别特征交互融合的组合动作识别方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080903

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090604

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120117

R150 Certificate of patent or registration of utility model

Ref document number: 4912028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees