JP2006517366A - 場面変化検出器を伴う映像コンテンツ解析系 - Google Patents

Abstract

多重化動画ストリーム（例えばビデオ）を多重分離する。この動画ストリームには、複数の各カメラソースからの１つ以上の画像が入っている。このストリームを多重分離するプロセスは自動化されており、ユーザ介入を必要としない。このストリームは、画像ストリーム内の画像を識別し、それらの画像をカメラソースからの代表画像と比較することにより多重分離する。比較時には、不一致値を求め、これを不一致閾値と比較する。不一致値が不一致閾値より小さければ、その画像をカメラに関連したチャンネルに割り当てる。いくつかの実施態様においては、多重分離後、唯一の保存されたチャンネルの所与の画像まで前進することにより、いくつかの異なるチャンネルの保存された動画を同じ画像で同時に見ることができる。

Description

本発明は、広義にはビデオ解析に関するものである。

一般に、アナログカメラ監視システムは、テープに保存される時分割多重化出力を発生する。カメラは、所定間隔でカメラを切り換えるマルチプレクサに接続されている。このようなシステムは、Ｔ０で画像を出力する第１のカメラ、Ｔ１で画像を出力する第２のカメラというように複数のカメラを有する。そのために、出力テープには各カメラからの画像が順に書き込まれる。時分割多重化によれば、大量の情報を保存することが可能である。しかしながら、ビデオテープを見直すことが必要な事態が起こった場合に、特定のインシデントを探し出してテープを多重分離することは困難で時間のかかる作業になる。

デジタルカメラを使用してデジタル出力を発生させるにしても、多重化デジタルストリームは、ある事象を識別・確認するのに多大の人間による介入を必要とする。このように、現在、ビデオストリームを多重分離するための自動化されたシステムが必要とされている。

（発明の要約）
本発明の一局面においては、多重化動画ストリーム（例えばビデオ）は、画像認識技術を用いてリアルタイムで多重分離される。いくつかの実施態様においては、異なったチャンネルに記憶された動画が、一つの記憶チャンネルの所定の画像への促進によって、同一画像において同時に見られ得る。この動画ストリームには、複数の各カメラソースからの１つ以上の画像が入っている。

本発明のいくつかの実施例は、コンピュータ可読プログラムコードが書き込まれたコンピュータ可用媒体を有するコンピュータプログラム製品として実施される。これらのコンピュータ可読プログラムコードは、コンピュータシステムによって従来のプロセスに従い読み出し、利用することができる。

本発明のこの方法は、複数のビデオ画像よりなるビデオストリームの少なくとも一部をプロセッサに受け取るステップを含む。このビデオストリームから第１のビデオ画像および第２のビデオ画像をパースする。これらの第１と第２のビデオ画像間の不一致の量を決定する。この不一致量の算出は、いくつかの比較技術の中の任意の方法を用いて行うことができる。例えば、画素毎の比較を行うことができる。あるいは、領域毎の比較を行うこともできる。不一致が不一致閾値より小さければ、第１および第２のビデオ画像を第１のチャンネルに割り当てる。この第１のチャンネルは、例えば、第１のカメラと関連した記憶場所である。不一致が不一致閾値より大きければ、第１のビデオ画像を第１のチャンネルに割り当て、第２のビデオ画像を第２のチャンネルに割り当てる。第２のチャンネルは、第２のカメラと関連した第２の記憶場所である。

ビデオストリームからカレント画像をパースし、チャンネルに割り当てられた各画像と比較するこのプロセスを続けて実行する。いくつかの画像をパースした後では、システム内の各カメラは各々のカメラに関連した画像を有する。あるチャンネル（カメラ）と関連した最新の画像が参照画像になる。この参照画像を、以後における画像ストリーム中のカレント画像とのすべての比較で使用する。すべてのチャンネルに画像が割り当てられたならば、各チャンネルについて不一致レベルを決定する。いずれかの不一致値が不一致閾値より小さければ、そのカレント画像を不一致が最も小さいチャンネルに割り当てる。すべての不一致値が不一致閾値より大きければ、その不一致値を廃棄閾値と比較し、すべての不一致値が廃棄閾値より大きいならば、カレント画像を廃棄する。本願で「廃棄（した、された）」という用語を使用する場合、それは、廃棄した画像はカメラ／チャンネルと関連づけられないが、それらの画像を以後の見直しができるように記憶し、保存することができるということを意味する。画像は、すべてのチャンネルが代表画像を持った時にのみ廃棄される。すべてのチャンネル／カメラが各々に関連したビデオ画像を持ってはいない場合、廃棄閾値は使用されない。このシステムは、カメラの数を自動的に決定することができ、またいつ廃棄閾値を使い始めるかを自動的に判断することができる。システムはこれらのカメラの参照画像を取得して、ある特定のカメラ（例えばカメラ１）に所定数の画像が割り当てられたときに、すべてのカメラが計上されたと認識し、また廃棄閾値を使用できるものと認識する。

この方法は、コンピュータシステムのプロセッサ内で行われ、プロセッサはユーザの介入なしに自動的にビデオストリームを処理する。

一部の実施態様においては、ユーザはグラフィカルユーザインタフェースとの対話により種々のパラメータを変更することができる。例えば、ユーザは、不一致閾値を変える決定をしたり、廃棄閾値を変える決定をしたりすることができる。また、ユーザは、すべての参照画像を廃棄させて、システムにビデオストリームからの画像の取得および各チャンネルへのそれらの画像の割り当てを再開させることもできる。また、ユーザは、ある画像があるチャンネルの不一致閾値より大きい場合でも、任意の画像を任意のチャンネルに割り当てることができる。多重分離プロセス中または多重分離プロセス後に、ユーザは特定のチャンネルから画像を呼び戻して、画像列を前送りすることもできれば、逆送りすることもできる。同時に、単一のカメラと関連した画像を送り進めるだけで、他のすべてのカメラ画像を同時に表示して、順番に見ることができる。

この方法は、メモリまたはマルチプレクサから受け取ったストリームから画像をリアルタイム・パーシングする形で実行することができる。リアルタイム比較を支援するために、参照画像およびカレント画像をサブサンプリングすることができる。他の実施態様では、ビデオディスプレイのサブセクションを選択してから、参照画像とカレント画像のサブセクションのデータを比較することができる。このようなやり方によれば、比較に使用するデータがビデオ画像全体に比して少なくなる。

本発明の特徴は、下記の添付図面と共に以下の詳細な説明を参照することによってより容易に理解することができると思われる。

以下の説明で使用する「デジタルビデオ」という用語は、表示装置に時間軸に沿って表示することができる画像列のデジタル表現を意味する。通常、デジタルビデオは、各々別個の画像を表す複数のフレームを有する。フレームは、さらに分割して、フレームが一連の画素で構成されるようにすることができる。以下の説明で使用する「画素」という用語は、画像の単一の点を意味するものとする。画像に含まれる画素数が多ければ多いほど、ビデオの解像度は高くなる。解像度は、従来、長さ方向および幅方向に数えた画素数で表され、例えば、解像度８００×６００という場合、画像の長さ方向に８００画素と画像の幅方向に６００画素がある。

本願において「チャンネル」とは、情報をメモリに記憶し、取り出すことを可能にする情報の物理的分離または仮想分離と定義する。例えば、チャンネルは、特定のカメラと関連づけられたメモリ中の指定記憶場所である。同様に、チャンネルは、単に、情報のカメラ名または番号のようなデリニエータ（ｄｅｌｉｎｅａｔｏｒ）との関連づけであってもよい。

本発明の一実施例においては、複数のビデオソースより形成された画像ストリームにおけるビデオ画像を、所与のビデオソースからの画像を収集し、分析し、見ることができるように多重分離する。

図１は、本発明の一実施例を実施するための環境の一例を示したものである。図１には、複数のカメラ（カメラＡ、カメラＢ、およびカメラＣ）が示してある。各カメラは、多重化されてプロセッサ２０に付随するメモリにデジタル形式で記憶されるか、またはデジタル形式あるいはアナログ形式で磁気テープ２５に記憶されたビデオ情報を含むビデオ信号を発生する。多重化情報にはソースを識別するためのヘッダ情報が含まれることもあるが、本発明は、情報を多重分離するのにヘッダを必要としない。実際、ヘッダ情報がある場合、本発明では、本願で説明するように、ヘッダ情報を除去するかまたはヘッダ情報をスキップして、画像を形成する情報のみを処理する。その後、多重化情報はプロセッサによって多重分離される。ビデオ情報がアナログ形式の場合、情報はまず当業者に周知のアナログ−デジタル変換プロセスに寄ってデジタル化される。ビデオ情報がデジタル化されたならば、そのデジタルデータ列はプロセッサへ転送される。画像は、フィールド形式またはフレーム形式で圧縮あるいは圧縮解除することができる。情報が圧縮されている場合、プロセッサは、まず画像を圧縮解除してからビデオ画像ストリームを多重分離する。同様に、デジタルビデオは、ＲＧＢおよびＹＵＶを含め、いくつかの色空間表現中の任意の表現形式とすることができるプロセッサは、情報がカメラから取り込まれ、多重化されるにつれて、それらの情報がストリーム形式でプロセッサに送られ、多重分離されるように、情報をリアルタイムで多重分離することもできる。同様に、この情報のストリームをまずメモリに保存し、その後プロセッサに供給するようにしてもよい。

プロセッサは、図１Ａのフローチャートを参照しつつ説明したように動作してビデオ画像ストリームを多重分離する。ビデオ画像ストリームは、ユーザの介入なしにプロセッサによる全面的制御下に多重分離することができる。いくつかの実施例においては、ユーザがパラメータを変えたり、システムをリセットしたり、あるいはいずれかの独立したチャンネルに関連づける画像を手動で選択することができる。しかしながら、この形の実施例の場合でも、システムは画像ストリームを自動的に処理することができる。

本願において、フレームという用語は、指定長さの時間にわたって表示されるビデオ画像を意味するものとして使用されると解すべきである。本願開示の発明は、インターレース画像を表示する表示装置に合わせて通常形成されるビデオフィールドにも適用可能である。

図１Ａに示すように、ステップ１１０でビデオストリーム中の第１のビデオ画像を識別する。前に述べたように、ビデオストリームは、複数のカメラからの画像を多重化してそれらのカメラから直接取り込むこともできれば、プロセッサに接続されたメモリから取得することもできる。ビデオストリーム中のこの第１のビデオ画像は、パースして（ｐａｒｓｅｄ）、プロセッサに関連した記憶場所に保存する。プロセッサは、この第１のビデオ画像を第１のカメラと関連づけ、この画像が第１のカメラの参照画像としてマークされる（ステップ１２０）。この画像は、カメラの参照画像として、以下に説明するようにビデオストリーム中の画像との比較のために用いられる。

ビデオストリーム１３０中の次の画像（「カレント画像」）を識別する。画像データをパースして、プロセッサに付随するメモリに保存する。次に、プロセッサはすべての参照画像およびカレント画像を呼び戻して、画像データを比較する（ステップ１４０）。この比較時には、不一致値を計算する。この不一致値は、例えば、参照画像とカレント画像の画素間の誤差率である。不一致値は、参照画像とカレント画像との間の共用情報の量の比較である限り、いろいろな方法で計算することができる。例えば、カレント画像と識別されたソース（カメラ）の各参照画像との間の差比を計算することができる。カレント画像の画素と参照画像の画素との差の絶対値の和を計算し、その和をカレント画像の画素の光強度値の和で割ることができる。この比は、カレント画像と所与のカメラの参照画像との間の差を表す。

不一致値は各参照画像およびカレント画像について格別に計算する。フローチャートでこの段階では、１つしかカメラが識別されていないので、参照画像は１つしかないが、異なる参照カメラからより多くの画像が取り込まれるようになるにつれて、各カメラに参照フレームが関連づけられて行く。

次に、プロセッサは、求めたいずれかの不一致値が不一致閾値より小さいかどうかを自動的に見分ける（ステップ１４５）。ここでは、「より小さい」という言い方をしたが、これは、本発明の範囲を逸脱することなく「以下」という用語に置き換えることが可能である。さらに、上記の比較プロセスは、不一致値は、それが不一致閾値より小さい場合、代表画像とカレント画像が閾値より不一致値が大きい場合よりも多くの情報を共有することを示すという尺度でもたらされるという仮定に基づいている。この点、不一致値が閾値より大きいほど、カレント画像と代表画像とでより多くの情報が共有されるという逆の尺度も実施できるものと解すべきである。このような場合、比較はすべて上記と逆の関係になる。

不一致値が不一致閾値より小さければ、カレント画像を最も小さい不一致値を持つカメラ（参照画像）と関連づける（ステップ１５７）。すると、カレント画像がそのカメラについての参照画像となり、前の参照画像に取って代わる（ステップ１６０）。どの不一致値も不一致閾値より小さくなければ、プロセッサは不一致値を廃棄閾値と比較する（ステップ１４７）。この廃棄閾値は、画像がすべてのチャンネル／カメラと関連づけられたときの比較のためにのみ用いられる。

いずれかの不一致値が廃棄閾値より大きくなければ、プロセッサはカレントビデオ画像を新しいカメラに割り当てる（ステップ１５０）。例えば、カレント画像は、第１の参照画像をカメラ１に関連づけたので、カメラ２と関連づけることになる。カレントビデオ画像を新たなカメラに割り当てるこのプロセスにおいては、カレント画像にそれが第２のカメラのカメラからのものであることを示すヘッダを設けるようにすることも可能である。このプロセッサは、カレント画像を第２の画像と関連した記憶場所に保存することもできる。記憶場所は他のカメラとの共用記憶域でもよく、あるいはカメラ２専用の独立の記憶場所でもよい。記憶場所が共用記憶域の場合、プロセッサは、画像データを一特定のカメラと関連づけて、そのカメラの画像を検索して取り出し、表示することができるように、ルックアップテーブル（ＬＵＴ）を構築する。すべての不一致値が廃棄閾値よりも大きければ、システムは自動的にカレントビデオ画像を廃棄することができる（ステップ１５５）。画像は、別の記憶場所に保存し、セーブしておき、後で見直すことも可能である。他のいくつかの実施例においては、画像は廃棄し、保存しない。

カレントビデオ画像が新たなカメラに割り当てられると、プロセッサはそのカレント画像を新たなカメラの参照画像として識別する（ステップ１６０）。

次に、プロセッサは、さらに別の画像があるかどうか確かめ、画像がなければプロセスは終了する（ステップ１６５）。さらに画像があれば、新たな画像を取り出して、プロセスは続行される。プロセスが続行されるに従って、より多くのカレント画像が新たなカメラに割り当てられ、この動作がシステムのすべてのカメラが参照画像を割り当てられるまで続く。プロセッサにカメラの総数プログラムすることもできるし、あるいはプロセッサが自動的にカメラの総数を判断できるようにすることもできる。監視産業においては、多重化ビデオは、各カメラからの画像または複数の画像がビデオストリーム内で逐次形式（カメラ１、カメラ２等々）で保存されるように多重化される。例えば、カメラが３台ある場合、各カメラからの１つの画像を、第１の画像はＴ０で取得し、第２の画像はＴ１で取得し、第３の画像はＴ２で取得するようにして、ビデオストリーム中に保存することができる。他のいくつかの実施例では、一部のカメラは、他のカメラが画像をビデオストリームに供給する前に、２つ以上の画像をビデオストリームに供給することができる。例えば、カメラ１がＴ０、Ｔ１およびＴ２でそれぞれ取得した３つの画像をビデオストリームに供給した後、カメラ２がＴ３で、カメラ３がＴ４でそれぞれ画像を供給するようにすることができる。その結果、プロセッサが第１のいくつかの画像を上に説明したビデオストリームを多重分離する方法を用いて処理した後では、通常すべてのカメラが識別されている。例えば第１のカメラの様なカメラに所定数の画像、例えば１０画像が関連づけられているとしても、プロセッサは画像を割り当てられたカメラの総数を数えることができる。あるカメラ（この場合第１のカメラ）に複数の画像が関連づけられた後は、すべてのカメラの画像が処理され、多重化ビデオストリームが逐次各カメラにルーピングされて、再度第１のカメラに戻ってくる可能性が非常に高い。

ビデオストリームを処理する速度を高めるために、画像をサブサンプリングすることも可能である。画像は画像を比較する前に縦横両方向にサブサンプリングすることができる。一実施例においては、ＮＴＳＣフレームなどの画像は、保存に先立ってサイズを例えば元のサイズの１／８に圧縮する。画像サイズの圧縮は、画素を一部除去することにより簡単に行うことができる。例えば、８００×６００画素の画像で画素数を４分の１に減じるためには、画素を４００×３００画素となるように１つ置きに除去すればよい。もう一つの実施例では、画像はフーリエ変換またはその他の変換を用いて変換コーディングしてから周波数ドメインでサブサンプリングすることができる。別の実施例では、データは平均法によって圧縮することができる。例えば、８画素からなる行を８行毎に平均して、６４画素を１画素に圧縮することができる。

このサブサンプリングの仕方を図１Ｂに示す。参照画像およびカレント画像共、比較に先立ってサブサンプリングする（ステップ１２５Ｂ、１３５Ｂ）。これらのビデオ画像は、すべての画素情報と共に画像全体を表示できるように保存することも可能であるが、サブサンプリングすることによって比較プロセスの速度を速くする。さらに、図１Ｃに示すように、比較プロセスのためには、表示可能な画像データのすべてを用いるのではなく、画像データの部分を使用することも可能である（１２５Ｃ、１３５Ｃ）。システムのユーザまたはシステムは、比較する画像データの部分をあらかじめ選択することができる。本願で使用する「部分」という用語は、画像データを表示装置に表示して、ブロックまたは他の形状を選択することにより全画像データより小さい画像データが選択されるようにすることを意味する。部分があらかじめ決まっていれば、その画像データを表示装置に表示する必要はない。画像データは、ユーザが比較したい表示装置の部分に関連した記憶場所のアドレスに基づいて選択される。

当業者ならば、画像のサブサンプリングと画像のサブセクションの選択を共に併用することによって、画像の比較と画像ストリームの多重分離の速度をさらに向上させることが可能なことは理解されるはずである。

いくつかの実施例においては、参照画像とカレント画像の比較に先立って、画像の選択された領域を正規化して、比較による輝度／強度のなんらかの変化を防ぐようにする。例えば、参照画像におけるユーザ選択領域とカレント画像における同じ領域の画素の平均強度値を計算して求める。その平均強度値を各画素強度値から減じる。このステップによって、突然の閃光のような輝度変化に起因する値が正規化される。このようにして、２つの画像の中央値を基準とした変動の絶対値のみを比較する。例えば、カメラが現金自動預け払い機（ＡＴＭ）を監視していて、自動車がその機械に接近し、そのヘッドライトが急に表示画面を照らした場合、その照明の変化が比較で考慮される。この正規化は、ユーザ選択領域についての平均強度ではなく、ＲＭＳ（自乗平均）値を用いるなど、この技術分野で周知のいくつかの方法の中の任意の方法で行うことができる。

画像の多重分離時には、その多重分離プロセスを表示装置８００に表示することができる。いずれかのカメラに関連した画像は単独のウィンドウ８１０に表示される。参照画像は、図１Ｄに示すように、各カメラ毎にウィンドウに表示される。各カメラについての参照画像を連続して表示し、再セーブすることによって、種々の各カメラ間の時間軸同期が維持される。例えば、カメラ１がカメラ２が画像を取り込む前に３つの画像を取り込み、カメラ３および４が各々１画像を取り込む４カメラ時分割監視システムの場合、その各動作サイクル毎に、１つのカメラと関連する各チャンネルには６つの画像がセーブされる。カメラ１については、Ｔ０、Ｔ１、およびＴ２で画像が表示された後、これに続く３つの時点でＴ２の画像が反復して表示される。カメラ２については、３つの空白画像があり、その後Ｔ３で自己の画像が表示され、その後に続く２つの時点でＴ３の画像が反復して表示される。カメラ３は、４つの空白画像が保存され、その後に続けてＴ４の画像が２回繰り返され、カメラ４は、５つの空白画像があって、その後に続くＴ５で画像が取り込まれる。これが、全カメラを通しての第１の動作サイクルである。その後のサイクルでは、新たなカレントフレームがカメラに関連づけられ、参照フレームが更新されるまで、参照フレームが繰り返される。従って、すべてのカメラについて画像が表示装置に表示されることになる。

カメラの各チャンネルは等しい数の画像が保存されるので、これらの画像は同期方式で見ることができる。従って、システムのユーザは、多重分離プロセスの間、あるいはすべての画像が多重分離された後、時間軸上の任意の点にアクセスして、それらの期間中にすべてのカメラにより取り込まれたすべての画像を見ることができる。例えば、システムのユーザは、ある特定のカメラの画像の単一集合を巻き戻すか、前送りする下を選択することができ、その場合、システムは、その選択されたカメラの画像と同時に生じるすべてのカメラの画像を表示することができる。

上に説明したシステムおよび方法は、ユーザの介入なしにビデオストリームを多重分離するよう動作し、作用する。しかしながら、ユーザは、システムを無効にしてシステム内の設定を変更することができる。例えば、図１Ｄに示すように、ユーザは廃棄閾値８２０、あるいは不一致閾値８３０を変更することができる。ユーザは、システムが画像を廃棄するか、またはあるカメラに割り当てるべきであると指示する場合においても、その画像を別のカメラに割り当てることができる。このように、上に説明したシステムおよび方法は、システムの種々のパラメータを変更し、またシステムを向こうにするための制御手段としてのグラフィカルユーザインタフェースをユーザにもたらす。

参照画像をカレント画像に置き換えるプロセスは、昼と夜の間における照明の変化やカメラパンニングのようなゆっくり起こる変化の効果が最小限に抑えられるので、ソース識別を促進する。

本発明の一実施例おいては、カメラはある領域にわたって掃引することによりその領域を撮影する。相互に多重化接続されたカメラの掃引によって取り込まれた画像は、図３に示すように、引き続き多重分離される。この実施例では、画像をカメラと関連づけるための不一致閾値を設定する場合、カメラの掃引に伴う画像から画像への時間による変化を考慮に入れる。例えば、図３は、各カメラからの画像を経時により画像列に加えるようにした多重化ビデオ画像列３２０を生成する３台のカメラ（カメラ１、カメラ２、およびカメラ３）を示す。３台のすべてのカメラから画像が画像列にセーブされた後は、このプロセスを反復して行う。図３Ａでは、カメラ１からの画像はＴ０とＴ３で生じる。図３Ｂに示すように、Ｔ０で得られた画像がＴ０とＴ３との間のカメラの移動に対応する３画素だけ移動して画像が互いに被さると、Ｔ０の画像からの画素の大半がＴ３の画像と重なり合うことになる。参照画像をカレント画像に置き換え、比較時にその更新した参照画像を用いることによって、参照画像とカレント画像との間の移動量が最小限に抑えられ、その結果、より手の込んだ追跡技術および比較技術を用いる必要がなくなる。カメラの動きがセーブされる画像間の時間と比較して緩慢な場合は、この動きに対応して閾値を調整することができる。

他の実施例においては、参照画像の画素をカレント画像との比較に先立って位置を変えることによりカメラの掃引に適応させる。さらに、比較プロセスにおいては、差比を計算し、その比を閾値と比較するために、カレント画像をいくつかの方向に数回移動させることができる。さらに、この移動方向は、移動方向が同じソースの前回の移動に基づく傾向分析によって予期することができる。このように、移動方向を追跡することによって、データ位置の移動回数および比較回数が少なくなる。

さらにもう一つの実施例においては、監視システム内のすべてのカメラにシステム内の画像が関連づけられたならば、プロセッサは画像がカメラと関連づけられた順序を識別するのに十分な情報を有する。この順序が分かると、システムまたはユーザは不一致閾値を高くして、各カメラについて別個の不一致閾値を割り当て、画像の有意な変化のみを識別するようにすることができる。例えば、照明の移動またはかなり大きい変化があると、システムは、これらの画像を識別して、ユーザが以後それらの画像を見直すときに探すことができるように、デジタルデータにタグを割り当てることができる。もう一つの実施例においては、記憶空間を節約するために、動きのあるビデオ画像のみをカメラと関連したチャンネルに記録し、セーブすることが可能である。

一定の状況下では、ビデオ画像を時刻および／または日付によって分けることも可能である。カメラがＣＣＤ（電荷結合素子）を含むようなデジタルカメラである一部の多重化システムの場合、デジタル画像を含むデジタルデータストリームは、それらのデジタルビデオ画像の前に日付およびタイムスタンプを入れることができる。このような場合においては、画像を日付および時刻に従って保存し、分けることができる。カメラが日付および時間をスーパーインポーズしたアナログ信号を発生するか、あるいはデジタルカメラが日付および時刻をデジタル画像に入れるようにした他の多重化システムにおいては、ビデオ画像を時刻および日付によってさらに分割することも可能である。この実施例では、ビデオ信号がデジタル化された後、関心対象のユーザ選択領域を時刻または日付の表示に選択する。ビデオ画像を時刻によって分ける場合は、ユーザ選択領域は例えば図４Ａに示すような「時」の表示領域４００Ａとなるように選択して、ビデオ画像のこの領域に何らかの変化があるといつでも、ビデオ画像のデータをその時の台と関連した異なる記憶場所にセーブすることができる。同様に、図４Ｂには、「日」が選択されたユーザ定義領域であるデジタル画像のビデオディスプレイ４１０が示されている。そして、システムは、上記と異なる日に発生した画像を識別するために、選択されたユーザ定義領域内の閾値より大きいデータの変化を連続的に探すことができる。

図５は、５００で示す装置形態よりなる本発明のもう一つの実施例を示す。装置５００は、例えば、プログラムドＦＰＧＡモジュールまたはＡＳＩＣチップのような電子装置である。装置５００は、デジタル画像データ５５０を受け取る検索・取り出しモジュール５０１を有する。デジタル画像データには、複数のソースからのビデオデータの画像が含まれる。検索・取り出しモジュール５０１は、第１の画像を表す第１のデジタルビデオデータの集合を検索して取り出し、また、カレント画像を表すデジタルビデオデータのカレント集合を検索して取り出す。検索・取り出しモジュール５０１は、デジタルビデオデータの第１の集合を記憶モジュール５０２に転送する。記憶モジュール５０２は、デジタルビデオデータの第１の集合をメモリ５６０の第１のソースに対応した記憶場所５６１に保存する。このデータは、第１のソースの代表ビデオデータとしても識別される。検索・取り出しモジュール５０１は、デジタルビデオデータの第１の集合をデジタルビデオデータのカレント集合と共に計算モジュール５０３へ転送する。

計算モジュール５０３は、上に説明したようなデジタルビデオデータ第１の集合およびデジタルビデオデータのカレント集合を用いて差比を計算する。既に２つ以上のソースが識別されている場合は、ソースの各代表画像のデジタルビデオデータを検索して取り出し、各ソースについて差比を計算する。差比（「不一致値」）は問合わせモジュール５０４に転送される。問合わせモジュール５０４は差比を不一致閾値と比較する。カメラソースの代表画像についての差比が閾値より小さければ、カレント画像をそのカメラと関連づける。

次に、デジタルビデオデータを識別されたカメラ５６２と関連したメモリに保存する。例えば、第４のカメラの代表画像に関する不一致値が不一致閾値ならば、カレントのデジタルビデオデータをこのカメラに関連づける。さらに、カレント画像がこの第４のカメラの代表画像になる。カメラと関連づけるメモリは、識別子を画像データに関連づけて、カメラと関連づけられる画像データを識別するようにした共有メモリでもよく、あるいは独立型メモリまたはセグメント状メモリでもよい。メモリが完全に独立型の場合、プロセッサは関連の画像データをＲＡＭチップのような特定の物理的メモリ片に転送する。メモリがセグメント型の場合、種々のメモリアドレスが一特定のカメラと関連づけられ、プロセッサはＬＵＴ（ルックアップテーブル）を有して、デジタル画像データをそのカメラと関連したメモリセグメントに割り当てることになる。

すべての差比が不一致閾値より大きい場合、問合わせモジュール５０４は不一致値を廃棄閾値と比較する。システムは、不一致値がすべて廃棄閾値より大きければ、画像データをユーザの介入なしに自動的に廃棄する。不一致値が必ずしもすべて廃棄閾値より大きくなければ、問合わせモジュールは画像データを新たなカメラソースに自動的に割り当てる。他のいくつかの実施例においては、ユーザは、ビデオデータのカレント画像は、不一致値が閾値より大きいため、一特定のソースと容易に関連づけることはできないというメッセージを表示装置５１０上で受け取る。すると、ユーザは、図示装置に接続されたキーボードやマウスのような入力機器５１１を介して、カレント画像が第１のソース、あるいは前に識別された他のソースからのものであり、新たなソースと関連づけるか、廃棄するべきであることを指示する応答を送ることができる。問合わせモジュール５０４はこの情報を受け取って、記憶モジュール５０２にビデオのカレント画像に関するカレントのデジタルビデオデータをその識別されたソースと関連する記憶場所に保存するよう指示する。システムのユーザには、各カメラのカレント画像および各代表画像が表示される。これによって、ユーザは目視比較を行うことが可能になり、識別プロセスをはかどらせることができる。

ここで認識しなければならないのは、ユーザがカレントのデジタルビデオデータは新たなソースから供給されたものであると識別した場合、そのカレントのデジタルビデオデータは新たなカメラソースと関連した記憶場所に関連づけられるということである。また、図示装置には、正規化モジュール５０５を設けることができる。正規化モジュールは、代表ビデオ画像と比較した形でカレントビデオ画像のデジタルビデオデータを正規化する。上に説明したように、デジタルビデオデータの正規化によれば、昼から夜に向けて起こる変化のような照明の変化に適応することができる。正規化は、差比の計算に先立って行われる。

ここで留意しなければならないのは、本願で、フローチャートは本発明の種々の態様を例示説明するために使用するものであり、本発明を何らかの特定の論理の流れあるいは論理手段に限定する意味を有するものと解すべきではないということである。ここで説明した論理は、本発明の全体的効果を変えることなく、あるいは他の何らかの形で本発明の範囲を逸脱することなく、異なる論理ブロック（例えば、プログラム、モジュール、関数、あるいはサブルーチン）に分けることができる。多くの場合、本発明の全体的効果を変えることなく、あるいは他の何らかの形で本発明の範囲を逸脱することなく、論理素子を付加し、修正し、省略し、異なる順序で実施し、あるいは異なる論理構成体（例えば、論理ゲート、ループ型基本命令、条件付きロジック、およびその他の論理構成体）を用いて実装することが可能である。

本発明は、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、汎用コンピュータ）と共に使用するコンピュータプログラム論理、プログラマブル論理デバイス（例えば、フィールドプログラマブル・ゲートアレイ（ＦＰＧＡ）または他のＰＬＤ）、ディスクリート部品、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ））と共に使用するプログラマブルロジック、あるいはこれらの任意の組合せを含む任意の他の手段を含め（ただし、これらに限定されない）、多くの異なる形態で実施することが可能である。

本願で上に記載した機能性の全部または一部を実施するコンピュータプログラム論理は、ソースコード形式、コンピュータ実行可能形式、および種々の中間形式（例えば、アセンブラ、コンパイラ、リンカ、あるいはロケータにより生成される形式）を含め（ただし、これらに限定されない）、種々の形態で実施することが可能である。ソースコードとしては、種々のオペレーティングシステムあるいは動作環境で使用する種々の中の任意のプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、あるいはフォートラン、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、またはＨＴＭＬのような高水準言語）で実装される一連のコンピュータプログラム命令がある。ソースコードは、種々のデータ構造および通信メッセージを定義し、使用することができる。ソースコードは、コンピュータ実行可能形式（例えば、インタプリタを介する）とすることができ、あるいはコンピュータ実行可能形式に変換することができる（翻訳プログラム、アセンブラ、またはコンパイラを介して）。

コンピュータプログラムは、半導体記憶装置（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュプログラマブルＲＡＭ）、磁気記憶装置（例えば、ディスケットまたは固定ディスク）、光記憶装置（例えば、ＣＤ−ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、あるいは他の記憶装置のような有形記憶媒体に永久的にあるいは一時的に任意の形式（例えば、ソースコード形式、コンピュータ実行可能形式、または中間形式）で固定することができる。コンピュータプログラムは、アナログ技術、デジタル技術、光技術、ワイヤレス技術、ネットワーキング技術、およびインターネットワーキング技術を含め（ただし、これらに限定されない）、種々の任意の通信技術を用いてコンピュータに転送可能な信号として任意の形式で固定することが可能である。コンピュータプログラムは、コンピュータシステムであらかじめロードされ（システムＲＯＭまたは固定ディスク上に）、印刷文書または電子文書を添付した取り外し可能記憶媒体（例えば、パーケージソフトウェアまたは磁気テープ）のような任意の形式で配布することができ、あるいはサーバまたは電子掲示板から通信システム（インターネットあるいはワールドワイドウェブ）を介して配布することができる。

本願で以上に説明した機能性の全部または一部を実装するハードウェア論理（プログラマブル論理デバイスで使用するプログラマブルロジックを含む）は、従来の手作業による方法で設計することもできれば、コンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬまたはＡＨＤＬ）、あるいはＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、またはＣＵＰＬ）のような種々のツールを用いて電子的に設計し、取り込み、シミュレートし、あるいは文書化することもできる。

本発明は、本発明の正確な範囲を逸脱することなく、他の具体的な形態で実施することが可能である。以上説明した実施例は、あらゆる点において、例示説明的なものであって、限定的な意味を有するものではない。

図１は、ビデオ画像を多重分離するための本発明の第１の実施態様の環境を示すブロック図である。 図１Ａは、複数のカメラから供給されるビデオ画像ストリームの形のビデオ画像を多重分離する動作の流れを図解したフローチャートである。 図１Ｂは、ビデオ画像をサブサンプリングする形で多重分離する動作のもう一つの態様の流れを図解したフローチャートである。 図１Ｃは、画像のサブセクションを比較するようにしたビデオ画像を多重分離する動作のもう一つの態様を示すフローチャートである。 図１Ｄは、複数のカメラからのビューのグラフィカルディスプレイを示すスクリーンショットである。 図２Ａは、表示装置に表示された参照画像を示し、太線の枠はユーザ定義領域を示す。 図２Ｂは、表示装置に表示されたカレント画像を示し、図２Ａと同じユーザ定義領域が比較のために用いられることを示している。 図３は、各カメラからの画像を経時により画像列に加えるようにした多重化ビデオ画像列を生成する３台のカメラ（カメラ１、カメラ２、およびカメラ３）を示す。 図４は、ユーザが選択した関心領域に日付と時刻が表示されている状態を示す。 図５は、本願開示の方法の諸機能を遂行するモジュールをハードウェアとして構築した本発明の一実施例を示す。

Claims (56)

1. 複数のカメラにより生成されるビデオストリーム中のビデオ画像を多重分離する方法であって：
   複数のビデオ画像で構成された該ビデオストリームの少なくとも一部をプロセッサで受け取るステップと；
   該ビデオストリームの第１のビデオ画像をパースするステップと；
   該ビデオストリームの第２のビデオ画像をパースするステップと；
   該第１のビデオ画像と該第２のビデオ画像との不一致量を決定するステップと；
   該不一致量が不一致閾値より小さい場合に、該第１のビデオ画像および該第２のビデオ画像を第１のチャンネルに割り当てるステップと；
   を包含する、方法。
2. 前記第１のチャンネルが前記ビデオ画像を記憶するための記憶場所を含む、請求項１に記載の方法。
3. 前記第１のチャンネルを第１のカメラと関連づける、請求項１に記載の方法。
4. 前記不一致量が不一致閾値より大きい場合に、前記第１のビデオ画像を第１のチャンネルに割り当て、前記第２のビデオ画像を第２のチャンネルに割り当てる、請求項１に記載の方法。
5. 前記第２のチャンネルを第２のカメラと関連づける、請求項４に記載の方法。
6. カメラと関連した各チャンネルにビデオ画像が割り当てられた後、
   前記ビデオストリームからの新たなビデオ画像を各チャンネルからの少なくとも１つのビデオ画像と比較するステップと；
   該新たなビデオ画像と各チャンネルからの該少なくとも１つのビデオ画像との間の不一致量を決定するステップと；
   該新たなビデオ画像を最小不一致量を有するチャンネルに割り当てるステップと；
   を行う、請求項４に記載の方法。
7. 前記最小不一致量が廃棄閾値より大きい場合に、前記新たなビデオ画像をチャンネルに割り当てることなく廃棄する、請求項６に記載の方法。
8. 第３のビデオ画像を前記第１のビデオ画像および前記第２のビデオ画像と比較して、第１および第２の不一致量を決定するステップと；
   該第１および該第２の不一致量が不一致閾値より大きい場合に、該第３のビデオ画像を第３のチャンネルに割り当てるステップと；
   をさらに包含する、請求項４に記載の方法。
9. 第３のビデオ画像を前記第１のビデオ画像および前記第２のビデオ画像と比較して、第１および第２の不一致量を決定するステップと；
   該第１および該第２の不一致量が不一致閾値より小さい場合に、該第３のビデオ画像を小さい方の不一致値と関連したチャンネルに割り当てるステップと；
   をさらに包含する、請求項４に記載の方法。
10. 第３のビデオ画像を前記第１のビデオ画像および前記第２のビデオ画像と比較して、第１および第２の不一致量を決定するステップと；
    該第１および第２の不一致が両方とも廃棄閾値より大きい場合に、該第３のビデオ画像を廃棄するステップと；
    をさらに包含する、請求項４に記載の方法。
11. 各チャンネルをカメラと関連づける、請求項４に記載の方法。
12. カメラ台数を前記プロセッサに知らせるステップをさらに包含する、請求項１に記載の方法。
13. 複数の画像を有する画像ストリームを多重分離する方法であって：
    該画像ストリーム中の各新たな画像をカメラと関連した代表画像と比較して不一致値を決定するステップと；
    該不一致値の各々が不一致閾値より大きい場合に、該新たな画像を新たなカメラと関連づけるステップと；
    を包含する、方法。
14. 前記不一致値のいずれかが前記不一致閾値より小さい場合に、最小不一致値を選択し、前記新たなビデオ画像を該最小不一致値と関連したカメラに関連づける、請求項１３に記載の方法。
15. 前記不一致値がすべて廃棄レベルより大きい場合に前記新たなビデオ画像を廃棄する、請求項１４に記載の方法。
16. 所定数のビデオ画像を特定のカメラに割り当てた後、カメラの総数を決定することができる、請求項１４に記載の方法。
17. チャンネル割り当てをリアルタイムで行う、請求項１に記載の方法。
18. デジタル画像ストリームをパースし、前記ビデオ画像をチャンネルにリアルタイムで割り当てる、請求項１に記載の方法。
19. 前記第１のビデオ画像と前記第２のビデオ画像を比較に先立ってサブサンプリングする、請求項１に記載の方法。
20. ビデオ画像ストリームにヘッダ情報が入っている場合に、該ヘッダ情報を廃棄する、請求項１に記載の方法。
21. 不一致レベルを設定するためのユーザインタフェースを設けるステップと；
    該不一致レベルのユーザ入力を受け取るステップと；
    をさらに包含する、請求項１に記載の方法。
22. 廃棄レベルを設定するためのユーザインタフェースを設けるステップと；
    該不一致レベルのユーザ入力を受け取るステップと；
    をさらに包含する、請求項１に記載の方法。
23. 前記不一致量が廃棄誤差レベルより大きい場合にも、ユーザがビデオ画像をカメラに割り当てることを可能にするステップをさらに包含する、請求項１５に記載の方法。
24. ユーザが廃棄するビデオ画像を比較に先立って選択することができる、請求項１５に記載の方法。
25. ビデオ画像がカメラに関連づけられ、また新たなビデオ画像が該カメラに関連づけられている場合に、該新たなビデオ画像がそれ以後のすべての比較のための参照画像になる、請求項１５に記載の方法。
26. ユーザが、すべての参照画像をクリアして、ビデオ画像を各カメラに割り当てるプロセスを開始することができる、請求項１３に記載の方法。
27. 参照ビデオ画像および新たなビデオ画像内の輝度を、比較に先立って輝度レベルが実質的に同じになるよう自動的に調節するステップをさらに包含する、請求項２６に記載の方法。
28. 新たなビデオ画像の同じ部分との比較に使用する参照画像の部分を選択するステップをさらに包含する、請求項１３に記載の方法。
29. 複数のカメラによって生成されるビデオストリーム中のビデオ画像を多重分離するためのコンピュータ可読なコンピュータコードが書き込まれたコンピュータプログラム製品であって、該コンピュータコードが：
    複数のビデオ画像で構成されるビデオストリームをプロセッサに逐次受け取るためのコンピュータコードと；
    該ビデオストリームから第１のビデオ画像をパースするためのコンピュータコードと；
    該ビデオストリームから第２のビデオ画像をパースするためのコンピュータコードと；
    該第１のビデオ画像と該第２のビデオ画像との間の不一致量を決定するためのコンピュータコードと；
    該不一致量が不一致閾値より小さい場合に、該第１のビデオ画像および該第２のビデオ画像を第１のチャンネルに割り当てるためのコンピュータコードと；
    を備える、コンピュータプログラム製品。
30. 前記割り当てるためのコンピュータコードにおいて、該コンピュータコードが前記第１のビデオ画像および第２のビデオ画像を記憶場所に割り当てる、請求項２９に記載のコンピュータプログラム製品。
31. 前記第１のチャンネルを第１のカメラと関連づける、請求項２９に記載のコンピュータプログラム製品。
32. 前記不一致量が不一致閾値より大きい場合に、前記第１のビデオ画像を第１のチャンネルに割り当て、前記第２のビデオ画像を第２のチャンネルに割り当てるためのコンピュータコードをさらに備える、請求項２９に記載のコンピュータプログラム製品。
33. 前記第２のチャンネルを第２のカメラと関連づける、請求項３２に記載のコンピュータプログラム製品。
34. ビデオストリームからの新たなビデオ画像を、カメラと関連した各チャンネルにビデオ画像が割り当てられた後、各チャンネルからの少なくとも１つのビデオ画像と比較するためのコンピュータコードと；
    該新たなビデオ画像と各チャンネルからの該少なくとも１つのビデオ画像との間の不一致量を決定するコンピュータコードと；
    該新たなビデオ画像を最小不一致量を有するチャンネルに割り当てるためのコンピュータコードと；
    を備える、請求項３２に記載のコンピュータプログラム製品。
35. 前記最小不一致量が廃棄閾値より大きい場合に、前記新たなビデオ画像をチャンネルに割り当てずに、該新たなビデオ画像を廃棄するためのコンピュータコードをさらに備える、請求項３４に記載のコンピュータプログラム製品。
36. 第３のビデオ画像を前記第１のビデオ画像および前記第２のビデオ画像と比較して、第１および第２の不一致量を決定するためのコンピュータコードと；
    該第１および第２の不一致量が不一致閾値より大きい場合に、該第３のビデオ画像を第３のチャンネルに割り当てるためのコンピュータコードと；
    をさらに備える、請求項３２に記載のコンピュータプログラム製品。
37. 第３のビデオ画像を前記第１のビデオ画像および前記第２のビデオ画像と比較して、第１および第２の不一致量を決定するためのコンピュータコードと；
    該第１および第２の不一致量が不一致閾値より小さい場合に、該第３のビデオ画像を最小不一致量と関連したチャンネルに割り当てるためのコンピュータコードと；
    をさらに備える、請求項３２に記載のコンピュータプログラム製品。
38. 第３のビデオ画像を前記第１のビデオ画像および前記第２のビデオ画像と比較して、第１および第２の不一致量を決定するためのコンピュータコードと；
    該第１および第２の不一致量が廃棄閾値より大きい場合に、該第３のビデオ画像を廃棄するためのコンピュータコードと；
    をさらに備える、請求項３２に記載のコンピュータプログラム製品。
39. 各チャンネルにカメラを関連づける、請求項３２に記載のコンピュータプログラム製品。
40. カメラの台数を入力するためのユーザインタフェースを提供するコンピュータコードをさらに備える、請求項２９に記載のコンピュータプログラム製品。
41. 複数の画像を有する画像ストリームを多重分離するためのコンピュータで使用するコンピュータコードを持つコンピュータプログラム製品であって、該コンピュータコードが：
    該画像ストリーム中の各新たな画像をカメラと関連した代表画像と比較して不一致値を決定するためのコンピュータコードと；
    該不一致値の各々が不一致閾値より大きい場合に、該新たな画像を新たなカメラと関連づけるためのコンピュータコードと；
    をさらに備える、コンピュータプログラム製品。
42. いずれかの不一致値が不一致閾値より小さい場合に、最小不一致値を選択し、前記新たなビデオ画像を該最小不一致値と関連したカメラと関連づけるためのコンピュータコードを備える、請求項４１に記載のコンピュータプログラム製品。
43. 前記不一致値がすべて廃棄レベルより大きい場合に、前記新たなビデオ画像を廃棄するためのコンピュータコードをさらに備える、請求項４２に記載のコンピュータプログラム製品。
44. 特定のカメラに所定数のビデオ画像が割り当てられた後に、カメラの総数を決定するためのコンピュータコードを備える、請求項４２に記載のコンピュータプログラム製品。
45. チャンネル割り当てをリアルタイムで行う、請求項２９に記載のコンピュータプログラム製品。
46. コンピュータプログラムがデジタル画像ストリームをパースし、ビデオ画像がリアルタイムでチャンネルに割り当てられる、請求項２９に記載のコンピュータプログラム製品。
47. 比較に先立って前記第１のビデオ画像および前記第２のビデオ画像をサブサンプリングするためのコンピュータコードをさらに備える、請求項２９に記載のコンピュータプログラム製品。
48. ビデオ画像と関連したヘッダ情報を識別し、該ヘッダ情報を廃棄するためのコンピュータコードをさらに備える、請求項２９に記載のコンピュータプログラム製品。
49. 不一致レベルを設定するためのユーザインタフェースを提供するコンピュータコードと；
    該不一致レベルのユーザ入力を受け取るためのコンピュータコードと；
    をさらに備える、請求項２９に記載のコンピュータプログラム製品。
50. 廃棄レベルを設定するためのユーザインタフェースを提供するコンピュータコードと；
    該廃棄レベルのユーザ入力を受け取るためのコンピュータコードと；
    をさらに備える、請求項２９に記載のコンピュータプログラム製品。
51. 前記不一致量が廃棄誤差レベルより大きい場合にも、ユーザがビデオ画像をカメラに割り当てることを可能にするコンピュータコードをさらに備える、請求項４３に記載のコンピュータプログラム製品。
52. 比較に先立って、ユーザが廃棄するビデオ画像を選択できるようにするコンピュータをさらに備える、請求項４３に記載のコンピュータプログラム製品。
53. ビデオ画像がカメラに関連づけられ、また新たなビデオ画像が該カメラに関連づけられている場合に、該新たなビデオ画像がそれ以後のすべての比較のための参照画像になる、請求項４１に記載のコンピュータプログラム製品。
54. ユーザがすべての参照画像をクリアして、参照ビデオ画像を各カメラに割り当てるプロセスを開始できるようにするコンピュータコードをさらに備える、請求項４１に記載のコンピュータプログラム製品。
55. 参照ビデオ画像および新たなビデオ画像内の輝度を、比較に先立って輝度レベルが実質的に同じになるよう自動的に調節するためのコンピュータコードをさらに備える、請求項５４に記載のコンピュータプログラム製品。
56. 新たなビデオ画像の同じ部分との比較に使用する参照画像の部分を選択するためのコンピュータコードをさらに備える、請求項４１に記載のコンピュータプログラム製品。

Images