JP2004336172A - 画像処理システム - Google Patents

Abstract

【課題】画像系列の連続表示に際し、明確な画像で確実かつ短時間に内容確認が可能な画像処理システムを提供する。
【解決手段】本発明の画像処理システム１０は、複数の画像を基準画像と比較して各々の画像について変化の有無を判別し、変化有りと判別された画像の変化領域を抽出する画像変化処理部１１１と、変化有りと判別された時間的に連続する区間の画像群をシーンとして設定するシーン設定部１１２と、画像系列から背景画像を選択し、シーンを構成する画像である前景画像とを時間軸に関連付けた合成条件（キューシート）を設定するキューシート設定部１１３と、合成条件に従って前景画像の変化領域と背景画像との合成画像を生成する画像合成部１１４を備えて構成される。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、時間軸上で系列化された複数の画像からなる画像系列を処理する画像処理システムの技術分野に属し、特に、画像系列のうち変化の有る画像に着目して短時間で確認を行うための構成を備えた画像処理システムの技術分野に属するものである。
【０００２】
【従来の技術】
従来から、蓄積された大量の画像の内容を短時間で把握することが要望されている。例えば、所定箇所に設置された監視カメラで長時間にわたって撮影された画像群の中から侵入者等の異常を確認する場合などである。このような監視用途においては、記録された画像を表示させて、「いつ、どこで、どのような現象が、どの順で」発生したかを効率的に確認する必要がある。この場合、監視カメラでは常時撮影を続けることから記録される画像が膨大な量となるため、上述のような確認を明確な画像で短時間内に行うことが求められる。特に、犯罪の発生時に、画像から犯罪の状況を把握するときは、短時間内で画像を確認する作業中に見落としは許されないので、迅速かつ確実に画像の確認を行うことが可能な画像処理システムの導入が望まれる。
【０００３】
そこで、従来、長時間にわたる画像の内容確認を短時間で行うための種々の方法が提案されている。特許文献１に記載の方法によれば、一定時間以上にわたって変化のない画像が続く時間区間を高速で再生し、移動物体を含む画像の時間区間を低速で再生することにより映像要約を実現する。また、特許文献２の記載の方法によれば、動画像の全体又は一部に現れる人物等のオブジェクトを抜き出し、２人の人物が会話中であるなどのオブジェクト間の関連情報に基づいて、各オブジェクトを再配置した画像を合成する。また、特許文献３に記載の方法によれば、動画像を符号化する際、動きのない背景部分等を省き、動きのある部分のみを用いるようにして、データ量を削減する。
【０００４】
【特許文献１】
特許第３２４０８７１号
【特許文献２】
特開２００１−１４２４５３
【特許文献３】
特開２００２−２７１７９９
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の方法を採用したとしても、監視用途等における要望を満たすには不十分である。すなわち、上記特許文献１に記載の方法等では、各々の画像は明確であるものの、人物等の移動体が画像中に頻繁に現れる場合には、要約画像においては、各々の移動体が現れる時間を累積しただけの時間が必要となるため、確認時間を短縮する効果には限界がある。さらに、要約画像に対し単純な早送り再生を行ったとしても、画像中の移動体の動きが速くなりすぎ、人間の動体視力の制約等によって見落としが多くなる危険性がある。また、上記特許文献２に記載の方法等では、画像数は削減できるものの、予め定まったオブジェクトを画像中で単に再配置するだけなので、侵入者等のように、いつどこに何人現れるか予測できない移動体を適切に配置したり、各々の移動体の出現順を考慮して画像を合成することは困難である。さらに、上記特許文献３に記載の方法では、画像中の背景部分を除いた前景部分のみが表示され、前景画像の撮影時刻に応じた背景画像が表示されず、合成した画像で異なる前景画像どうしが重なるなどして、不自然で見にくい画像になってしまう。このように、上記従来のいずれの方法であっても、大量の画像の内容を短時間内で確実に確認することが困難であるという問題がある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像処理システムは、時間軸上で系列化された複数の画像からなる画像系列から前景画像と背景画像とを設定し、前記前景画像と前記背景画像とを合成する画像処理システムであって、前記複数の画像を基準画像と比較して各々の画像について変化の有無を判別し、変化有りと判別された画像の変化領域を抽出する画像変化処理手段と、変化有りと判別された時間的に連続する区間の画像群をシーンとして設定するシーン設定手段と、前記画像系列から選択された背景画像と、前記シーンを構成する画像である前景画像とを時間軸に関連付けた合成条件を設定する合成条件設定手段と、前記合成条件に従って前記前景画像の変化領域と前記背景画像との合成画像を生成する画像合成手段とを備えることを特徴とする。
【０００７】
この発明によれば、画像処理システムにおいて、処理対象の画像系列に対し、各々の画像の変化の有無を判別して変化領域を抽出し、変化のある区間をシーンとして設定し、背景画像と前景画像を用いた合成条件を設定し、その合成条件に従って合成画像を生成する。このとき、各シーンを構成する画像を前景画像として、その変化領域を背景画像に上書きするので、生成された合成画像系列には、各シーン中で変化のある画像部分をそのままの状態で上書きした合成画像が生成され、複数の背景画像を元の画像系列に含まれる画像の個数より少なく選択すれば、全体の合成画像系列の連続表示を短時間で行うことができる。よって、画像系列における変化のある区間に着目して連続表示する際、変化のある画像を明確な画像で表示でき、かつ短時間に確認を完了させることができる。
【０００８】
請求項２に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記合成条件設定手段は、前記シーンに含まれる先頭画像の時間軸上の位置に最も近い背景画像に対し、前記先頭画像を前景画像として関連付けることを特徴とする。
【０００９】
この発明によれば、請求項１に記載の発明の作用に加えて、合成画像系列中のシーンの先頭画像を本来の時間軸上の位置にほぼ合致させることができるので、画像中に現れる変化の時間的な関係を維持した状態で違和感なく内容確認を行うことができる。
【００１０】
請求項３に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記合成条件設定手段は、前記画像系列から所定の時間間隔で複数の背景元画像を選択し、変化有りと判別された前記背景元画像に対して変化無しと判別された補完用画像を関連付けて設定し、前記背景元画像と前記補完用画像に基づいて前記背景画像を選択し、前記画像合成手段は、前記背景元画像の変化領域を前記補完用画像の画像部分で補完して前記背景画像を作成する、ことを特徴とする。
【００１１】
この発明によれば、請求項１に記載の発明の作用に加えて、背景元画像の変化領域を補完用画像で補完した背景画像を用いて合成画像を生成するようにしたので、背景元画像の選択は時間的な規則性を持たせる一方、背景画像における不要な変化領域を除外でき、的確な背景画像に前景画像を合成して内容確認の確実性を高めることができる。
【００１２】
請求項４に記載の画像処理システムは、請求項３に記載の画像処理システムにおいて、前記合成条件設定手段は、前記変化有りと判別された背景元画像に対し、前記画像系列における過去方向の直近の変化無しと判別された画像を前記補完用画像として関連付けることを特徴とする。
【００１３】
この発明によれば、請求項３に記載の発明の作用に加えて、補完用画像として背景元画像の過去直近で変化無しと判別された画像を用いるようにしたので、背景元画像と補完用画像の時間なずれを最小にし、合成画像の違和感を減少させることができる。
【００１４】
請求項５に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記画像合成手段は、前記画像系列における時間軸上の所定位置に一の前記前景画像が設定されている場合、当該前景画像を前記合成画像とするとともに、前記画像系列における時間軸上の所定位置に複数の前記前景画像が設定されている場合、一の前景画像を選択して背景画像として用い、他の前景画像の変化領域と前記前景画像との合成画像を生成することを特徴とする。
【００１５】
この発明によれば、請求項１に記載の発明の作用に加えて、前景画像が設定されている場合、一の前景画像を背景画像として置き換えて用いることができ、背景画像と前景画像の合成時に変化領域の不完全な抽出に起因するゴーストを防止することができ、視認性を高めることができる。
【００１６】
請求項６に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記合成条件設定手段は、前記画像系列における時間軸上の同一位置に設定される前景画像について所定の上限登録数を設定することを特徴とする。
【００１７】
この発明によれば、請求項１に記載の発明の作用に加えて、特定の背景画像に上書きされる前景画像の個数が所定の上限登録数に制限されるので、合成画像に多数の移動体が同時に現れて混雑した状態となることを防止し、適度な混雑度の合成画像により見落とし等を防止することができる。
【００１８】
請求項７に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記合成条件設定手段は、連続する所定個数の背景画像に対し同一の前記前景画像を関連付けることを特徴とする。
【００１９】
この発明によれば、請求項１に記載の発明の作用に加えて、連続する所定個数の背景画像に同一の前景画像が上書きされることになるので、例えば、合成画像系列を高速再生する場合、変化のある部分の速度が早くなり過ぎないように設定でき視認性を高めることができる。
【００２０】
請求項８に記載の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記画像変化処理手段は、画像を複数のブロックに分割し、各々のブロック毎に前記変化の有無を判別し、前記画像合成手段は、前記前景画像の変化有りと判別されたブロック群と前記背景画像とを合成するとともに、複数の前景画像の前記ブロック群が重複する場合は、各々の前景画像の重複領域に含まれる各画素を前記背景画像と比較し、最も差分が大きい前景画像の画素と前記背景画像とを合成することを特徴とする。
【００２１】
この発明によれば、ブロック分割された画像についての変化の有無の判別をブロックごとに行い、複数の前記画像を背景画像に上書きする際に変化ありのブロック群が重複する場合、その重複領域で差分が大きい画素を選択的に用いるようにしたので、ブロック分割により画像処理を簡素化しつつ、ブロック分割に起因して合成画像が不自然になることを避けることができる。
【００２２】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。本実施形態においては、所定箇所に設置された監視カメラにより所定の撮影領域の画像を撮影し、撮影された画像を処理する画像処理システムに対し本発明を適用した場合を説明する。
（第１の実施形態）
以下、本発明の基本的な構成に対応する第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理システムの全体構成を示すブロック図である。図１に示す画像処理システム１０は、例えば、パーソナルコンピュータに所定のプログラムを搭載して構築可能なシステムである。図１に示すように、画像処理システム１０は、制御部１０１と、画像記憶部１０２と、表示部１０３と、操作部１０４を備えるとともに、本発明の画像処理プログラム１１０の機能に対応する構成部として、画像変化処理部１１１と、シーン設定部１１２と、キューシート作成部１１３と、画像合成部１１４を備えている。また、外部の所定箇所に設置された監視カメラ２０によって撮影されたカメラ画像は、画像処理システム１０に入力される構成になっている。
【００２３】
なお、図１において、画像変化処理部１１１は本発明の画像変化処理手段として機能し、シーン設定部１１２は本発明のシーン設定手段として機能し、キューシート作成部１１３は本発明の合成条件設定手段として機能し、画像合成部１１４は本発明の画像合成手段として機能する。
【００２４】
以上の構成において、制御部１０１は、ＣＰＵやメモリ等から構成され、画像処理システム１０全体の動作を制御する。制御部１０１は、入力されたカメラ画像を画像記憶部１０２に記憶させるように制御を行うとともに、必要に応じて画像記憶部１０２からカメラ画像を読み出して、画像処理プログラム１１０に引き渡して所望の処理を実行制御する。
【００２５】
図１において、画像記憶部１０２としては、大量のカメラ画像を蓄積可能なハードディスク装置等を利用することができる。表示部１０３は、入力されたカメラ画像や画像処理プログラム１１０による処理後の画像を表示する手段である。操作部１０４は、制御部１０１に対する各種設定情報等を入力するための手段であり、マウスやキーボードからなる。
【００２６】
次に、図１に示す画像処理プログラム１１０は、制御部１０１により所定のタイミングで実行開始される。ここで、図２は、画像処理プログラム１１０に基づく一連の画像処理の概略を説明するフローチャートである。図２に示すフローチャートにおいて、処理対象である複数のカメラ画像からなる画像系列が取得される（ステップＳ１１）。
【００２７】
そして、画像変化処理部１１１により画像の変化判別処理（ステップＳ１２）と変化領域の抽出処理（ステップＳ１３）が実行され、シーン設定部１１２によりシーンの設定処理（ステップＳ１４）が実行され、キューシート作成部１１３によりキューシート作成処理（ステップＳ１５）が実行され、画像合成部１１４により画像合成処理（ステップＳ１６）が実行される。最後に、これら一連の画像処理によって得られた合成画像が、操作部１０４の所定の操作に従って表示部１０３に表示される（ステップＳ１７）。以下、図２における各ステップの詳しい処理の内容を順次説明する。
【００２８】
まず、ステップＳ１１では、所定の監視カメラ２０によって処理対象とすべき撮影時間の範囲等を指定することにより、内容確認を行うべき所望の画像系列が処理対象として取得される。図３は、このような画像系列の一例を示す図である。この画像系列は所定の監視カメラ２０により、例えば１秒に１コマや２コマ程度の時間間隔で撮影された複数のカメラ画像を、撮影された時間の順番に従って時間軸上で系列化したものである。図３の例では、連続する３５個のカメラ画像からなる画像系列を示しており、各々のカメラ画像に対し、撮影された順番を示す画像番号が付与されている。なお、画像番号は、カメラ画像とともに画像記憶部１０２に記憶される。
【００２９】
図３の画像系列は、車両や人間が通過する道路を撮影範囲とする監視カメラ２０によって撮影された３５個（画像番号０〜３４）の連続するカメラ画像を含んでいる。そして、図３に示すように、画像番号１０〜１４の５個のカメラ画像には、一人の人物が撮影領域の右から左に移動する状態が撮影されている。また、画像番号２５〜２７までの３個のカメラ画像には、１台の車両（トラック）が撮影領域の右から左に移動する様子が撮影されている。また、画像番号３０〜３３の４個のカメラ画像には、１台の車両（普通車）が撮影領域の左から右に移動する様子が撮影されている。以下では、図３に示すような画像系列を処理対象として用いる場合の画像処理について説明する。
【００３０】
次に、ステップＳ１２の画像の変化判別処理は、上述の画像系列に含まれる各カメラ画像に対して画像中の変化の有無を判別する処理である。すなわち、監視カメラ２０により撮影されたカメラ画像は、図３に示すように、撮影領域中に人物や車両などの移動物体が存在する状態と存在しない状態がある。このとき、移動体が存在しない通常時の基準画像を用いて、これを処理対象のカメラ画像と画素ごとに比較することにより画像中の変化の有無を判別することができる。なお、実際には監視カメラ２０による撮影領域は時間経過とともに明るさ等の変動の影響を受けるので、画像の変化判別処理で用いる基準画像は固定的ではなく、時間経過に応じて所定の処理により更新している。
【００３１】
続いて、ステップＳ１３の変化領域の抽出処理では、ステップＳ１２で変化有りと判別されたカメラ画像についての変化領域を抽出する。すなわち、カメラ画像を基準画像と画素ごとの差分をとって差分２値画像を求めることにより変化領域を抽出することができる。ここで、図４及び図５を参照して、カメラ画像における変化領域の抽出について説明する。
【００３２】
図４（ａ）には、図３に示す画像系列のうち、変化無しに対応する例として画像番号０のカメラ画像を示している。図４（ａ）のカメラ画像には、撮影領域中に人物や車両が存在しない状態の道路が撮影されており、比較対象である基準画像にほぼ合致するカメラ画像となっている。図４（ｂ）には、図４（ａ）のカメラ画像を基準画像と画素ごとに比較して求めた差分２値画像を示している。図４（ｂ）の差分２値画像においては、撮影領域中に移動体が存在しないことを反映して、画像全体に変化が無いことを示す白で表されている。この場合、カメラ画像の変化領域は抽出されないことになる。
【００３３】
一方、図５（ａ）には、図３に示す画像系列のうち、変化有りに対応する例として画像番号１２のカメラ画像を示している。図５（ａ）のカメラ画像には、撮影領域中の中央付近に人物が存在する状態で撮影されており、基準画像とは異なるカメラ画像となっている。図５（ｂ）には、図５（ａ）のカメラ画像を画像系列と画素ごとに比較して求めた差分２値画像を示している。図５（ｂ）の差分２値画像においては、画像系列の白で表される領域に重なって、移動体である人物の部分で変化有りと判別されたことを示す黒で表されている。このように差分２値画像中で黒く示される領域が、ステップＳ１３で抽出される変化領域に対応している。
【００３４】
画像変化処理部１１１は、上記のステップＳ１２、Ｓ１３における処理結果を画像変化情報テーブルに記録する。図６は、図３の画像系列を用いる場合の画像変化情報テーブルを示す図である。図６に示す画像変化情報テーブルには、画像系列の画像番号と、ステップＳ１２で判別された画像の変化の有無と、ステップＳ１３で求めた差分２値画像を格納したファイルのファイル名が記録されている。
【００３５】
例えば、画像番号０のカメラ画像については、変化の有無が「無」と記録され、変化領域が存在しないことがファイル名に「ＮＵＬＬ」として記録される。また、画像番号１２のカメラ画像については、変化の有無が「有」と記録され、図５（ｂ）に示す変化領域に対応する差分２値画像がファイル名「ｄｉｆｆ＿１２．ｐｂｍ」として記録される。このように、処理対象となる画像系列に含まれる全てのカメラ画像について上述の変化の有無及びファイル名を順次記録することにより、必要な画像変化情報テーブルを得ることができる。
【００３６】
次に、ステップＳ１４のシーンの設定処理では、処理対象の画像系列において、変化の有無が「有」となる時間的に連続する区間を判別し、その区間の画像群を「シーン」として設定する。シーン設定部１１２は、ステップＳ１４の設定内容をシーン情報テーブルに記録する。図７は、図３の画像系列を用いる場合のシーン情報テーブルを示す図である。図７に示すシーン情報テーブルには、ステップＳ１４で設定されたシーンについて、時間順に付与されるシーン番号と、最初に変化有りと判別された先頭のカメラ画像の画像番号を示す開始画像番号と、最後に変化有りと判別された最後のカメラ画像の画像番号を示す終了画像番号が記録されている。
【００３７】
例えば、シーン番号０のシーンは、図３の画像系列に示すように、変化有りと判別される最初の区間として、撮影領域を人物が移動する画像番号１０〜１４の５個の連続するカメラ画像からなる。よって、この区間に対応するシーンに関し、シーン情報テーブルには、シーン番号が０、開始画像番号が１０、終了画像番号が１４と記録されている。同様に、撮影領域をトラックが移動する区間に対応するシーンに関し、シーン番号が１、開始画像番号が２５、終了画像番号が２７と記録されている。また、撮影領域を普通車が移動する区間であるシーンに関し、シーン番号が２、開始画像番号が３０、終了画像番号が３３と記録されている。
【００３８】
次に、ステップＳ１５のキューシートの作成処理では、画像合成処理において必要となる合成条件を設定する情報が記録されるキューシートを作成する。以下、図８〜図１０を参照して、ステップＳ１５のキューシート作成処理について具体的に説明する。
【００３９】
図８は、キューシート作成処理の流れを説明するフローチャートである。また、図９は、キューシート作成処理により作成されるキューシートの一例を示す図であり、図３の画像系列を対象として画像合成を行う場合の例を示している。図８に示すように、まず、操作部１０４の所定の操作により、キューシート作成処理に必要なパラメータが設定される（ステップＳ２１）。ステップＳ２１で設定されるパラメータとしては、合成画像における背景画像の元として用いる背景元画像を画像系列の中から選択する際の始点Ｓと間隔Ｗがある。例えば、図９のキューシートにおいては、始点Ｓが画像番号０に設定され、間隔Ｗが５に設定された（カメラ画像５個おき）場合の例を示している（Ｓ＝０、Ｗ＝５）。なお、ステップＳ２１においては、画像処理システム１０で予め設定済みのパラメータを用いてもよい。
【００４０】
次に、キューシートにおいて、合成画像の再生順を示す合成画像番号を付与し（ステップＳ２２）、併せて画像系列中の背景元画像に対応する画像番号である背景元画像番号を決定する（ステップＳ２３）。図９に示すように、合成画像番号は０から順番に付与されるとともに、背景元画像番号は、上述のように設定された例では、始点Ｓ＝０、間隔Ｗ＝５により順次決定される。これにより、キューシートの任意の合成画像番号に基づく画像合成を行う際、対応する背景元画像番号を参照すれば、背景元画像とすべきカメラ画像を判別可能となる。
【００４１】
次に、キューシートの背景元画像番号で示されるカメラ画像について、図６の画像変化情報テーブルを参照して画像の変化の有無を判別する（ステップＳ２４）。ステップＳ２４は、背景元画像に変化領域が含まれる場合、その変化領域を変化の無い画像部分で補完（置き換え）するための補完用画像を決定するために必要となる。よって、ステップＳ２４において変化無しと判別された背景元画像については、背景元画像に変化領域が存在しないため置き換えが不要であり、背景元画像番号をそのまま補完用画像番号として決定する（ステップＳ２５）。
【００４２】
一方、ステップＳ２４において変化有りと判別された背景元画像については、背景元画像に存在する変化領域の置き換えが必要であり、画像系列のうち背景元画像から過去方向の直近の変化無しであるカメラ画像の画像番号を、補完用画像番号として決定する（ステップＳ２６）。
【００４３】
図９のキューシートの例では、背景元画像番号１０、２５、３０については、いずれも変化有りのカメラ画像に対応するため、ステップＳ２６に従って補完用画像番号９、２４、２９が記録されている。それ以外の背景元画像番号は変化無しのカメラ画像番号に対応するため、ステップＳ２５に従って補完用画像番号が背景元画像番号と一致している。図３の画像系列からわかるように、補完用画像番号９、２４、２９は、いずれも背景元画像の１つ前に位置する変化無しのカメラ画像に対応している。
【００４４】
次に、ステップＳ２５又はステップＳ２６に続いて、キューシートの所定の合成画像番号に所定数の前景画像を対応付けた前景画像登録処理を行い（ステップＳ２７）、前景画像登録リストを生成する。前景画像とは、画像合成を行う際に背景画像に上書きする変化領域を含むカメラ画像である。図９に示すように、キューシートの各合成画像番号に対し、任意の個数の画像番号を含む前景画像を登録することができる。例えば、図９のキューシートにおける前景画像登録リストを参照すると、合成画像番号２〜９の範囲では、それぞれ１〜３個の前景画像が登録されるとともに、合成画像番号０、１、１０の範囲では、前景画像が登録されていないことがわかる。なお、キューシートにおける前景画像登録リストは、上述のように設定されたシーンに対応付けられたカメラ画像が配列されているが詳細については後述する。
【００４５】
次に図１０は、ステップＳ２７の前景画像登録処理を具体的に説明するフローチャートである。図１０に示す前景画像登録処理では、ステップＳ１４で設定されたシーンを対象としてキューシートに登録する前景画像を決定する。よって、以下の処理は、シーン毎にシーン番号の順で実行することによりキューシートに前景画像登録リストが付加される。なお、図１０に示す前景画像登録処理を開始する時点では、キューシートの前景画像登録リストの初期値が全て「空」になっているものとする。
【００４６】
図１０において、前景画像登録処理が開始されると、シーン番号用のカウンタＡの初期値として０をセットする（ステップＳ３１）。そして、シーン情報テーブルを参照し、シーン番号Ａのシーン情報として開始画像番号ＳＳ及び終了画像番号ＳＥを取得する（ステップＳ３２）。例えば、図７の場合には、最初にシーン番号０について開始画像番号ＳＳ＝１０、終了画像番号ＳＥ＝１４が取得されることになる。
【００４７】
次に、画像合成処理の際にシーン番号Ａの合成を開始する合成画像番号Ｃを以下の（１）式に従って算出する（ステップＳ３３）。
【００４８】
Ｃ ＝ ［（ＳＳ−Ｓ）／Ｗ］ （１）
ＳＳ：シーンＡの開始画像番号
Ｓ：背景元画像の始点
Ｗ：背景元画像の間隔
［ ］：ガウス記号（中の値を越えない整数）
上述したように、図８のステップＳ２１において始点Ｓと間隔Ｗが設定され、上記ステップＳ３２において開始画像番号ＳＳが取得されているので、（１）式における合成画像番号Ｃを一律に決定できる。（１）式は、シーンの先頭位置が背景画像に対して最も時間軸上で近くなる状態で画像合成を行うことを意味している。例えば、Ｓ＝０、Ｗ＝５に設定されている場合、図７に示すシーン番号０についてはＳＳ＝１０となり、（１）式によってＣ＝２と算出される。同様に、シーン番号１についてはＣ＝５と算出され、シーン番号２についてはＣ＝６と算出される。
【００４９】
次に、合成画像番号用のカウンタＸと画像系列の画像番号用のカウンタＹについての初期設定として、それぞれ、Ｘ＝Ｃ、Ｙ＝ＳＳを実行する（ステップＳ３４）。この時点で、画像合成処理に必要なパラメータとして、前景画像速度倍数Ｍが予め設定されているものとする。この前景画像速度倍数Ｍは、合成画像の系列において１つの前景画像を連続して繰り返し表示させる回数であり、任意の整数値に設定可能である。なお、第１の実施形態においては、Ｍ＝１に設定された場合を説明するものとする。この場合、合成画像番号が１つ進む度に前景画像登録リストの前景画像の画像番号が１つ進むことになる。
【００５０】
そして、キューシートにおいて、合成画像番号ＸからＸ＋Ｍ−１の範囲で、画像番号Ｙのカメラ画像を前景画像として登録する（ステップＳ３５）。例えば、図９のキューシートにおける図７のシーン番号０に関しては、Ｍ＝１であるとすると、最初に合成画像番号２に対する前景画像登録リストに画像番号１０が記録されることになる。これにより、後述の画像合成処理の際、キューシートに基づき合成画像番号２の前景画像として画像番号１０のカメラ画像を用いるべきことを判断可能となる。
【００５１】
次に、合成画像番号用のカウンタＸにＭを加える（ステップＳ３６）。Ｍ＝１であると仮定すると、Ｘ＝Ｘ＋１となる。また、画像系列の画像番号用のカウンタＹに１を加える（ステップＳ３７）。図９のキューシートの例では、ステップＳ３６、Ｓ３７により、最初の時点でのＸ＝２、Ｙ＝１０の状態からＸ＝３、Ｙ＝１１に更新されることになる。
【００５２】
そして、上述のように更新されたカウンタＹが、ステップＳ３２で取得された終了画像番号ＳＥを越えた場合、すなわち、Ｙ＞ＳＥを満たすときは（ステップＳ３８；ＹＥＳ）、その時点で処理対象のシーンの登録を終えたことになるので、シーン番号用のカウンタＡに１を加える（ステップＳ３９）。例えば、図７において、最初にシーン番号０のシーンが処理対象であった場合、後続のシーン番号１のシーンに移行させることができる。一方、カウンタＹが終了画像番号ＳＥ以下であって、Ｙ＞ＳＥを満たさないときは（ステップＳ３８；ＮＯ）、その時点で処理対象のシーンには未登録のカメラ画像が残った状態にあるので、ステップＳ３５に戻って同様の処理を実行する。
【００５３】
次に、ステップＳ３９に続いて、画像系列に含まれる全てのシーンについてキューシートへの登録処理が完了したと判断されると（ステップＳ４０；ＹＥＳ）、図１０の前景画像登録処理を終える。ステップＳ４０では、シーン番号用のカウンタＡが処理すべきシーン数を越えたか否かで判断すればよい。一方、画像系列に含まれるシーンのうち、登録処理が完了していないシーンが残っているときは（テップＳ４０；ＮＯ）、残っている後続のシーンの登録処理を行うべく、ステップＳ３２に戻って同様の処理を実行する。
【００５４】
上記の図１０に示す前景画像登録処理を終了した時点で、図８のキューシート作成処理が終了することになり、前景画像登録リストが付加された状態のキューシートが作成される。図９のキューシートの例では、前景画像登録リストに３つのシーンが含まれる状態であることがわかる。すなわち、合成画像番号２〜６の範囲にはシーン番号０に対応する画像番号１０〜１４が前景画像として登録されている。同様に、合成画像番号５〜７の範囲にはシーン番号１に対応する画像番号２５〜２７が、合成画像番号６〜９の範囲にはシーン番号２に対応する画像番号３０〜３３が、それぞれ前景画像として登録されている。
【００５５】
次に、図２に戻って、ステップＳ１６の画像合成処理では、上述のように作成されたキューシートに基づく画像合成処理を実行する。以下、図１１及び図１２を参照して、ステップＳ１６の画像合成処理について具体的に説明する。
【００５６】
図１１は、画像合成処理の手順に関し、図９のキューシートの合成画像番号５を対象として画像合成を行う場合を例にとって説明する図である。まず、図９に示すように、キューシートの背景元画像番号及び補完用画像番号を参照して、画像系列の中から必要な背景元画像及び補完用画像を取得する。図９のキューシートの合成画像番号５については、背景元画像番号２５及び補完用画像番号２４に対応するそれぞれのカメラ画像が取得されることになる。
【００５７】
そして、背景元画像に対し、補完用画像を用いた補完処理を行う。具体的には、背景元画像の画像変化情報テーブルを参照して、背景元画像番号に対応する差分２値画像を格納したファイルを読み出して変化領域を判別するとともに、補完用画像における背景元画像の変化領域に相当する画像部分を抽出し、その画像部分を用いて背景元画像の変化領域を上書きすることにより補完する。図１１に示すように、補完処理の結果、背景元画像において車両が撮影された変化領域が置き換えられ、変化領域が存在しない背景画像が生成されることになる。
【００５８】
なお、かかる補完処理は、変化無しの背景元画像については行うことなく、そのまま背景画像として用いればよい。変化無しの背景元画像の場合は、上述したように背景元画像番号と補完用画像番号が同一になっているので、キューシートを参照することにより判断できる。
【００５９】
次に、上述のように得られた背景画像に対し、前景画像を用いた上書き処理を行う。具体的には、キューシートの前景画像登録リストを参照して、所定の合成画像番号に対応する前景画像番号を判別する。そして、画像変化情報テーブルを参照して、前景画像番号に対応する差分２値画像を格納したファイルを読み出して変化領域を抽出し、その変化領域を用いて上述の背景画像に上書きすることにより合成画像が生成される。図１１の例では、２つの前景画像番号１３、２５に対応する２つの変化領域（人物、車両）が背景画像に上書きされ、人物と車両が同時に存在する状態の合成画像（合成画像番号５）が生成されることになる。これら生成された合成画像は、画像記憶部１０２に順次蓄積される。
【００６０】
なお、複数の前景画像を背景画像に上書きする際の順番は、例えば、カメラ画像の撮影日時が古い順に行えばよい。ここで、複数の前景画像における変化領域が互いに重なる場合、最後に上書きされる前景画像の変化領域が合成画像に現れることになる。よって、撮影日時が古い順で上書きを行う場合は、最新のカメラ画像の変化領域が合成画像に現れることになる。
【００６１】
キューシートの全ての合成画像番号を対象として、図１１に示すような画像合成処理を実行することにより、画像表示に必要な全ての合成画像が時間軸上で系列化された合成画像系列を得ることができる。図１２は、図３の画像系列と図９のキューシートとに基づいて得られた合成画像系列の一例を示す図である。図１２の例では、全部で１１個の合成画像を時間順に系列化して示している。各々の合成画像には合成画像番号を付して示し、図９のキューシートの該当する合成画像番号を参照することにより、合成画像、背景元画像、前景画像の組み合わせを判別できる。
【００６２】
図１１の合成画像系列と図３の画像系列を比較すればわかるように、撮影領域を移動する人物と２台の車両は、元の画像系列では互いに異なる時間帯に存在しているのに対し、合成画像系列では互いに時間的な重なりを生じて存在する状態となっている。これにより、元の画像系列に含まれる画像は３５個であったのに対し、合成画像系列に含まれる合成画像は１１個となり、観察に必要な合成画像の個数が少なくて済む。よって、観察すべき各シーンを漏れなく観察できるとともに、合成画像の個数が少なくなった分だけ観察時間を短縮することができる。
【００６３】
次に、図２のステップＳ１７の合成画像の表示処理では、ステップＳ１６において得られた合成画像の表示処理を実行する。画像処理システム１０は、操作部１０４により合成画像の表示指令を受けると、画像記憶部１０２に蓄積された合成画像系列に含まれる各合成画像を合成画像番号の順に読み出し、表示部１０３に順次切り替えながら連続表示する。
【００６４】
このとき、表示部１０３において合成画像を表示する時間間隔は、通常は撮影時の時間間隔と同様になるが、必要に応じて高速又は低速に可変してもよい。ここで、現実の撮影時間に比べた合成画像の観察時間（合成画像系列の連続表示に要する時間）の短縮倍率は、背景元画像を選択する間隔Ｗと合成画像を表示する速度により定まる。例えば、合成画像を２倍速で表示すると、観察時間の短縮倍率が２Ｗとなり、全体の合成画像系列を元の画像系列の撮影時間に対して１／（２Ｗ）の時間で観察することができる。
【００６５】
以上説明した第１の実施形態により、処理対象の画像系列において、侵入者等の変化領域に着目して異常を確認する場合、上述のように生成された合成画像系列を連続表示することにより、確認時間を大幅に短縮することができる。この場合、背景画像に上書された前景画像には、上述のように設定された全てのシーンを構成する画像群の変化領域が含まれるとももに、シーンが多い場合には時間的に重なって同一の合成画像に表示させ、元の画像系列に含まれる変化領域を見落とすことなく確実かつ迅速に観察可能となる。
【００６６】
上述した第１の実施形態は、画像処理システム１０の処理対象に応じて適宜に変形して適用することができる。以下、第１の実施形態の変形例に相当する第２〜第５の実施形態について順次説明する。
（第２の実施形態）
第２の実施形態は、第１の実施形態を基本としつつ、合成画像中のゴースト除去性能の向上を図るために画像合成方法に工夫を施したものである。ここで、合成画像を表示する際、図１１に示す補完処理に起因して合成画像中にゴーストが現れる可能性がある。すなわち、背景元画像の変化領域の抽出が完全ではない場合、補完用画像で上書きをして得られた背景画像において、変化領域に相当する形状の濃淡変化であるゴーストが生じ、例えば、人物や車両などの外形が合成画像中に浮かび上がって観察されるものである。このようなゴーストを合成画像中に生じないように、第２の実施形態では、画像合成処理の補完処理を行わないようにして、上述したようなゴーストが合成画像中に生じないようにしている。
【００６７】
第２の実施形態においては、第１の実施形態におけるキューシート（図９）の構成及び画像合成処理の手順（図１１）を変更している。なお、それ以外の構成や処理については、第１の実施形態と共通するので説明を省略する。
【００６８】
図１３は、第２の実施形態において、図９の場合と同様、図３の画像系列を対象として画像合成を行う場合のキューシートの一例である。図１３に示すキューシートは、合成画像番号、背景元画像番号、前景画像登録リストからなり、これらは図９と同様の内容になっている。一方、図１３に示すキューシートには、補完用画像番号が含まれておらず、この点で図９の場合と異なっている。
【００６９】
そして、図１４は、第２の実施形態における画像合成処理の手順に関し、図１３のキューシートの合成画像番号１、２、５をそれぞれ対象として画像合成を行う場合を例にとって説明する図である。第２の実施形態では、合成画像番号に対応する前景画像登録リストにおける前景画像の個数に応じて処理が異なっている。まず、図１４（ａ）は、図１３のキューシートの合成画像番号１についての画像合成を示している。この場合、前景画像登録リストが「空」となっているので、背景元画像番号５に対応するカメラ画像をそのまま合成画像として用いる。
【００７０】
一方、図１４（ｂ）は、図１３のキューシートの合成画像番号２についての画像合成を示している。この場合、前景画像登録リストには１個の前景画像が登録されているので、その前景画像番号１０に対応するカメラ画像をそのまま合成画像として用いる。
【００７１】
また、図１４（ｃ）は、図１３のキューシートの合成画像番号５についての画像合成を示している。この場合、前景画像登録リストには２個の前景画像が登録されているが、図１１に示す第１の実施形態とは異なり、補完処理を行うことなく、前景画像番号１３に対応するカメラ画像をそのまま背景画像として用いる。そして、前景画像番号２５に対応するカメラ画像の変化領域を抽出し、その変化領域を用いて上記の背景画像に上書きする。その結果、２個の前景画像番号１３、２５の両方の変化領域が存在する状態の合成画像が生成されることになる。
【００７２】
上記の図１４（ｃ）に示す処理は、２個に限らず複数の前景画像が前景画像リストに登録されている場合に適用される。なお、背景画像として用いる前景画像としては、撮影日時が最も過去の前景画像を選べばよい。また、複数の前景画像を上書きする順についても、撮影日時が古い順とすればよい。
【００７３】
このように、第２の実施形態は、画像合成処理において背景元画像と補完用画像を用いた補完処理を省略しているので、補完すべき変化領域が背景元画像と補完用画像で合致しないことによるゴーストの発生を避けることができる。
【００７４】
（第３の実施形態）
第３の実施形態は、第１の実施形態を基本としつつ、背景画像に上書きする前景画像の個数を制限することにより、合成画像に多数の人物や車両が同時に現れて観察時に混雑した状態となることを防止し、適度な混雑度の合成画像を得るための処理を行う。
【００７５】
第３の実施形態においては、第１の実施形態におけるキューシート（図９）の構成を変更するとともに、第１の実施形態における前景画像登録処理（図１０）を部分的に他の処理で置き換えている。なお、それ以外の構成や処理については、第１の実施形態と共通するので説明を省略する。
【００７６】
図１５は、第３の実施形態において、図９の場合と同様、図３の画像系列を対象として画像合成を行う場合のキューシートの一例である。図１５に示すキューシートのうち、合成画像番号、背景元画像番号、補完用画像番号については、図９と同様の内容になっている。一方、図１５に示すキューシートにおける前景画像登録リストの内容は、図９の場合とは異なっている。
【００７７】
図１５に示すように、シーン番号０、１に対応する前景画像は図９と同様の配置になっているが、シーン番号２に対応する画像番号３０〜３３の前景画像が合成画像番号７〜１０に登録され、図９と比べると１個分下にシフトした状態になっている。これにより、図９のキューシートでは合成画像番号６について３個の前景画像が登録されていたのに対し、図１５のキューシートではいずれの合成画像についても２個以下の前景画像が登録された状態になっている。
【００７８】
上述のようにキューシートにおける各々の合成画像についての前景画像の登録数を制限するため、第３の実施形態では、所望の上限登録数（例えば、２個）を予め設定可能であるものとする。そして、第１の実施形態における前景画像登録処理（図１０）の実行時に、ステップＳ３３の処理を図１６に示す処理で置き換えることにより、図１５のキューシートを作成することができる。
【００７９】
図１６に示す処理では、図１０のステップＳ３１、Ｓ３２に続いて、画像合成処理の際にシーン番号Ａの合成を開始する合成画像番号Ｃを上述の（１）式に従って算出する（ステップＳ３３１）。なお、ステップＳ３３１では、第１の実施形態と同様に（１）式を用いればよい。次いで、（１）式で算出した合成画像番号Ｃについて、作成中のキューシートを参照し、その時点の前景画像登録リストに登録されている前景画像の登録数Ｒを判別する（ステップＳ３３２）。
【００８０】
そして、ステップＳ３３２で判別した登録数Ｒと、上述のように設定済みの上限登録数とを比較し、登録数Ｒが上限登録数に満たないときは（ステップＳ３３３；ＹＥＳ）、図１６に示す処理を終えて、図１０のステップＳ３４に移行する。この場合、合成画像番号Ｃがシーン番号Ａの合成を開始する位置として確定することになる。一方、登録数Ｒが上限登録数以上となるときは（ステップＳ３３３；ＮＯ）、ステップＳ３３１で算出された合成画像番号Ｃに１を加え（ステップＳ３３４）、再度ステップＳ３３２に移行する。この場合、ステップＳ３３３で「ＹＥＳ」と判断されるまで合成画像番号Ｃに順次１ずつ加えられ、シーン番号Ａの合成を開始する位置が所定数だけシフトすることになる。
【００８１】
例えば、上限登録数２が設定された状態では、シーン番号２に対して図１６の処理を実行する際、当初は図９に示すように合成画像番号６が算出される。この時点で合成画像番号６についての前景画像登録リストは登録数２であり（前景画像番号１４、２６）、ステップＳ３３２でＲ＝２と判別される結果、Ｒ＝上限登録数となる。そのため、最初のステップＳ３３３の判断は「ＮＯ」となり、ステップＳ３３４により合成画像番号７に更新される結果、次回のステップＳ３３３の判断が「ＹＥＳ」となり、合成画像番号７がシーン番号Ａの合成を開始する位置として確定する。
【００８２】
このように、第３の実施形態は、キューシートの前景画像登録リストに関し、前景画像の登録数を制限するようにしたので、シーンの密度が高い場合であっても特定の合成画像に多数の前景画像が合成されることはなく、合成画像の観察時に同時に現れる人物や車両で混雑する状態に起因する見落とし等を防止することができる。
【００８３】
（第４の実施形態）
第４の実施形態は、第１の実施形態を基本としつつ、合成画像系列を高速で再生することを前提にする場合、合成画像における前景画像の動きが高速になり過ぎることを防止し十分な視認性を確保するための処理を行う。
【００８４】
第４の実施形態においては、第１の実施形態におけるキューシート（図９）の構成を変更するとともに、第１の実施形態で説明した前景画像速度倍数Ｍを２以上の所定値に設定した状態で図８のキューシート作成処理を実行する。なお、それ以外の構成や処理については、第１の実施形態と共通するので説明を省略する。
【００８５】
図１７は、第４の実施形態において、図９の場合と同様、図３の画像系列を対象として画像合成を行う場合のキューシートの一例である。図１７に示すキューシートのうち、合成画像番号、背景元画像番号、補完用画像番号については、図９と同様の内容になっている。一方、図１７に示すキューシートにおける前景画像登録リストの内容は、図９の場合とは異なっている。
【００８６】
図１７のキューシートにおいては、特定の画像番号の前景画像が２つの連続する合成画像番号の前景画像登録リストに登録されている。この場合、前景画像速度倍数Ｍが２に設定されているものとする。例えば、シーン番号０の先頭の画像番号１０は、合成画像番号２、３の両方の前景画像登録リストに登録されていることがわかる。
【００８７】
第４の実施形態では、第１の実施形態と同様、図１０に示す前景画像登録処理を実行するが、第１の実施形態では前景画像速度倍数Ｍ＝１に設定される場合を説明したのに対し、第４の実施形態では前景画像速度倍数Ｍが２以上に設定されることを前提とする。例えば、Ｍ＝２に設定されている場合、図１０のステップＳ３５で合成画像番号Ｘ、Ｘ＋１に両方について画像番号Ｙのカメラ画像が前景画像として登録される。その後、ステップＳ３６でＸに２が加えられ、後続の合成画像番号Ｘ＋２、Ｘ＋３について同様の処理が行われることになる。
【００８８】
画像処理システム１０において合成画像系列を再生する場合、撮影速度に対して所定倍の再生速度を自在に設定することができる。ここで、撮影速度を再生速度のＫ倍に設定する場合、背景元画像を選択する上述の間隔をＷとして、合成画像系列の再生時間は元の画像系列に比べ、１／（Ｋ・Ｗ）に短縮される。このとき、第１の実施形態のキューシートでは、前景画像が実際の速度のＫ倍で動くことになり高速になり過ぎる。一方、第４の実施形態では、前景画像速度倍数Ｍを用いると、実際の速度のＫ／Ｍ倍で動くことになる。
【００８９】
このように、第４の実施形態は、前景画像速度倍数Ｍを最適に設定することにより、合成画像中の前景画像を観察に適した速度に設定することができる。例えば、Ｋ＝Ｍ＝２と設定すれば、合成画像系列の再生時間は、１／（２Ｋ）に短縮される一方、前景画像については実際の速度で動くことになるので、見落としを有効に防止し確実な観察を可能とする。
【００９０】
（第５の実施形態）
第５の実施形態は、第１の実施形態を基本としつつ、処理対象の画像を複数のブロックに分割し、画像のブロックごとに変化の有無を判別した上で画像合成を行うことにより、画像処理に必要なデータ量の削減を図っている。
【００９１】
第５の実施形態においては、第１の実施形態のうち画像変化処理部１１１及び画像合成部１１４のそれぞれの処理を、画像のブロック分割に対応して変更している。なお、それ以外の構成や処理については、第１の実施形態と共通するので説明を省略する。
【００９２】
図１８は、第５の実施形態における画像の変化の判別と変化領域の抽出について説明する図である。図１８の各画像中に点線で示すように、処理対象の画像を１６個（４×４個）の方形のブロックで等分割し、ブロックごとに設定される基準画像と画素ごとに比較することにより、各ブロックの変化の有無を判別する。そして、図１８の右側に示すように、変化有りのブロックを「１」と表し、変化無しのブロックを「０」と表す。
【００９３】
なお、画像を分割するブロック数は１６個に限らず自在に設定でき、ブロックの形状も方形に限られない。
【００９４】
図１８（ａ）には、図３に示す画像系列のうち画像番号０のカメラ画像の例を示している。この場合、画像全体で変化無しであるため１６個のブロック全てが「０」となる。一方、図１８（ｂ）には、図３に示す画像系列のうち画像番号１２のカメラ画像の例を示している。この場合、撮影領域中の中央付近に人物が存在する状態であるため、人物が重なる４個のブロックが「１」となり、それ以外の１２個のブロックが「０」となる。
【００９５】
図１９は、第５の実施形態で得られる画像変化情報テーブルを示す図であり、第１の実施形態の図６に対応する図である。図１９に示す画像変化情報テーブルには、画像系列の画像番号と、各画像の変化の有無と、上述のようにブロックごとに判別された変化の有無を表すブロック変化情報が記録されている。
【００９６】
図１９の画像変化情報テーブルのうち、図１８（ａ）の画像番号０については、変化の有無が「無」と記録され、ブロック変化情報が「００００００００００００００００」として記録される。また、図１９の画像変化情報テーブルのうち、図１８（ｂ）の画像番号１２については、変化の有無が「有」と記録され、ブロック変化情報が「０００００００００１１００１１０」として記録される。なお、ブロック変化情報には、１６個のブロックに分割された画像に対し、例えば、左上のブロックから右下のブロックに「０」又は「１」を順次記録していけばよい。
【００９７】
次に図２０は、第５の実施形態における画像合成処理の概念を説明する図である。第５の実施形態における画像合成処理は、第１の実施形態の場合と概ね共通するが、ブロック分割に伴う相違点がある。すなわち、背景元画像に対する補完用画像を用いた補完処理と、補完処理により得られた背景画像に対する前景画像の上書き処理は、いずれもブロック単位で行われる。そして、図２０に示す例では、複数の前景画像を用いた上書き処理の際、画像中の変化有りと判別された変化ブロック群に重複領域が存在する場合を示している。
【００９８】
図２０の例では、背景画像、２つの前景画像Ａ、Ｂ、合成画像をそれぞれ示すとともに、説明の便宜上、各画像の１６個のブロックと各ブロックの変化の有無（０又は１）を示している。そして、背景画像Ａ、Ｂの上書き処理の際、各々の変化ブロック群が重ならない領域は、そのまま背景画像に上書きすればよいが、図２０に示すように各々の変化ブロック群が重なる重複領域が問題となる。例えば、撮影順などに従って背景画像Ａ、Ｂの一方の変化ブロック群を用いるとすると、いずれも移動体とその周辺部分を含んでいるので、ブロックの境界が移動体の外形に一致せず不自然な合成画像になる。
【００９９】
そこで、第５の実施形態では、複数の前景画像の変化ブロック群が重なる場合、その重複領域において各前景画像を背景画像と画素ごとに比較して差分を計算し、各前景画像の中で最も差分が大きい画素を背景画像に上書きする。かかる処理を重複領域中の全ての画素に対して行って合成画像を生成する。その結果、得られる合成画像の重複領域には、基本的には変化の度合いが大きい前景画像が上書きされるが、画素ごとに異なる前景画像が混在する場合もあり得る。
【０１００】
このように、第５の実施形態は、画像をブロックに分割して処理を行うようにしたので、変化領域を抽出したときに差分２値画像に比べデータ量の少ないブロック変化情報を用いることができる。また、画像合成処理においてブロック分割に起因して不自然な合成画像が生成されることを回避することができる。
【０１０１】
なお、上記の各実施形態における画像処理システム１０の構成は、適用対象に応じて適宜に変更することができる。すなわち、図１に示す画像処理システム１０においては、画像処理プログラム１１０による画像処理と表示部１０３による表示処理の双方を実行する構成であったが、画像処理システム１０において画像処理のみを実行し、得られた合成画像を蓄積する構成としてもよい。
【０１０２】
また、上記の各実施形態では、本発明を監視用途の画像処理システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像処理システムに対し広く本発明を適用することができる。この場合、本実施形態では監視カメラ２０で撮影されたカメラ画像を用いる構成を示したが、監視カメラ２０以外の各種機器から出力された画像を用いる構成であってもよい。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、多数の画像からなる画像系列に対し、背景画像や前景画像等を設定する所定の合成条件に従って画像合成を行うことにより、少ない画像数の合成画像系列を生成するとともに、合成画像系列を連続再生したときに画像系列に設定されたシーンを本来の順序で確実に観察することができる。よって、画像系列における変化のある部分に着目して連続表示を行う場合、明確な画像で見落としなく短時間に内容確認を行うことが可能となる。
【図面の簡単な説明】
【図１】本実施形態に係る画像処理システムの全体構成を示すブロック図である。
【図２】画像処理プログラムに基づく一連の画像処理の概略を説明するフローチャートである。
【図３】処理対象となる画像系列の一例を示す図である。
【図４】カメラ画像における変化領域の抽出について変化無しに対応する例を説明する図である。
【図５】カメラ画像における変化領域の抽出について変化有りに対応する例を説明する図である。
【図６】図３の画像系列を用いる場合の画像変化情報テーブルを示す図である。
【図７】図３の画像系列を用いる場合のシーン情報テーブルを示す図である。
【図８】キューシート作成処理の流れを説明するフローチャートである。
【図９】図３の画像系列を対象としてキューシート作成処理により作成されるキューシートの一例を示す図である。
【図１０】図８のステップＳ２７の前景画像登録処理を具体的に説明するフローチャートである。
【図１１】画像合成処理の手順に関し、図９のキューシートの合成画像番号５を対象として合成を行う場合を例にとって説明する図である。
【図１２】図３の画像系列と図９のキューシートとに基づいて得られた合成画像系列の一例を示す図である。
【図１３】第２の実施形態において、図３の画像系列を対象として画像合成を行う場合のキューシートの一例を示す図である。
【図１４】第２の実施形態における画像合成処理の手順に関し、図１３のキューシートの合成画像番号１、２、５をそれぞれ対象として画像合成を行う場合を例にとって説明する図である。
【図１５】第３の実施形態において、図３の画像系列を対象として画像合成を行う場合のキューシートの一例を示す図である。
【図１６】第３の実施形態において、図１の実施形態における前景画像登録処理の実行時に、ステップＳ３３の処理を置き換える処理である。
【図１７】第４の実施形態において、図３の画像系列を対象として画像合成を行う場合のキューシートの一例を示す図である。
【図１８】第５の実施形態における画像の変化の判別と変化領域の抽出について説明する図である。
【図１９】第５の実施形態で得られる画像変化情報テーブルを示す図であり、第１の実施形態の図６に対応する図である。
【図２０】第５の実施形態における画像合成処理の概念を説明する図である。
【符号の説明】
１０…画像処理システム
２０…監視カメラ
１０１…制御部
１０２…画像記憶部
１０３…表示部
１０４…操作部
１１０…画像処理プログラム
１１１…画像変化処理部
１１２…シーン設定部
１１３…キューシート作成部
１１４…画像合成部

Claims (8)

1. 時間軸上で系列化された複数の画像からなる画像系列から前景画像と背景画像とを設定し、前記前景画像と前記背景画像とを合成する画像処理システムであって、
   前記複数の画像を基準画像と比較して各々の画像について変化の有無を判別し、変化有りと判別された画像の変化領域を抽出する画像変化処理手段と、
   変化有りと判別された時間的に連続する区間の画像群をシーンとして設定するシーン設定手段と、
   前記画像系列から選択された背景画像と、前記シーンを構成する画像である前景画像とを時間軸に関連付けた合成条件を設定する合成条件設定手段と、
   前記合成条件に従って前記前景画像の変化領域と前記背景画像との合成画像を生成する画像合成手段と、
   を備えることを特徴とする画像処理システム。
2. 前記合成条件設定手段は、前記シーンに含まれる先頭画像の時間軸上の位置に最も近い背景画像に対し、前記先頭画像を前景画像として関連付けることを特徴とする請求項１に記載の画像処理システム。
3. 前記合成条件設定手段は、前記画像系列から所定の時間間隔で複数の背景元画像を選択し、変化有りと判別された前記背景元画像に対して変化無しと判別された補完用画像を関連付けて設定し、前記背景元画像と前記補完用画像に基づいて前記背景画像を選択し、
   前記画像合成手段は、前記背景元画像の変化領域を前記補完用画像の画像部分で補完して前記背景画像を作成する、
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記合成条件設定手段は、前記変化有りと判別された背景元画像に対し、前記画像系列における過去方向の直近の変化無しと判別された画像を前記補完用画像として関連付けることを特徴とする請求項３に記載の画像処理システム。
5. 前記画像合成手段は、前記画像系列における時間軸上の所定位置に一の前記前景画像が設定されている場合、当該前景画像を前記合成画像とするとともに、前記画像系列における時間軸上の所定位置に複数の前記前景画像が設定されている場合、一の前景画像を選択して背景画像として用い、他の前景画像の変化領域と前記背景画像との合成画像を生成することを特徴とする請求項１に記載の画像処理システム。
6. 前記合成条件設定手段は、前記画像系列における時間軸上の同一位置に設定される前景画像について所定の上限登録数を設定することを特徴とする請求項１に記載の画像処理システム。
7. 前記合成条件設定手段は、連続する所定個数の背景画像に対し同一の前記前景画像を関連付けることを特徴とする請求項１に記載の画像処理システム。
8. 前記画像変化処理手段は、画像を複数のブロックに分割し、各々のブロック毎に前記変化の有無を判別し、
   前記画像合成手段は、前記前景画像の変化有りと判別されたブロック群と前記背景画像とを合成するとともに、複数の前景画像の前記ブロック群が重複する場合は、各々の前景画像の重複領域に含まれる各画素を前記背景画像と比較し、最も差分が大きい前景画像の画素と前記背景画像を合成することを特徴とする請求項１に記載の画像処理システム。

Images