JP2004096557A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画像中の対象物の形状データが一時的に大きく変化した場合であっても、修正対象となるフレームを好適に検出して修正し、視覚的にも符号化効率的にも優れた動画像符号化をすることができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像入力部１０１から複数フレームで構成される動画像を取得し、背景画像生成部１０２で動画像の背景画像を取得する。そして、背景差分処理部１０３で動画像を構成するそれぞれのフレームと背景画像とを比較して対象物を抽出し、異常データ判定部１０５で抽出された対象物の形状データの異常の有無を判定し、異常の場合、形状データ修正部１０６で形状データを修正する。また、修正された形状データを用いて画像データ修正部１０７でフレームを修正し、修正された形状データと画像データとを符号化部１０４で符号化する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像中に含まれる対象物を抽出して異常フレームを検出する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、デジタル技術を利用して画像を対象物（オブジェクト）毎に分離、合成する処理が注目されている。特に、動画像の符号化においては、国際標準としてＭＰＥＧ−４符号化方式が規格化されている。ＭＰＥＧ−４符号化方式では、オブジェクト毎の符号化／復号化が可能となり、符号化効率の向上、伝送路に応じたデータ配分、画像の再加工等の従来は困難であったさまざまな応用が期待されている。
【０００３】
また、動画像処理における対象物の抽出方法としては、一般に背景差分方式という手法が知られている。これは、予め撮影した背景画像と実際の入力画像とを比較することにより、変化点を検出する方法である。以下、簡単にその原理について説明する。
【０００４】
まず、画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）とする。このとき、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対値をあるしきい値Ｔｈと比較する。
【０００５】
判定式の例を示すと次の通りである。
｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜　≦　Ｔｈ　…　（１）
そして、式（１）において差分絶対値がしきい値Ｔｈ以下の場合、この点（ｘ，ｙ）は変化なしということで、Ｐｃは背景と判定される。一方、差分絶対値がしきい値Ｔｈを超えている場合は、値が変化したということで抽出対象とみなされる。画面上のすべての点において上記の判定を行うことで、１フレーム分の抽出が完了する。
【０００６】
図１３は、背景差分方式とＭＰＥＧ−４符号化方式を組み合わせた従来のシステムの構成を示すブロック図である。図１３において、画像入力部１２０１は、例えばカメラの撮像部であり、動画像を入力する部分である。また、背景差分法では参照する背景画像が必要となるため、背景画像生成部１２０２において背景画像を生成する。これは、予め対象物が映っていない状態で１フレーム分の画像を取り込むことによって生成することが最も簡単な方法である。
【０００７】
また、背景差分処理部１２０３では、画像入力部１２０１からの入力画像と背景生成部１２０２からの参照画像とから、対象物の形状データを生成する。さらに、符号化部１２０４では、画像入力部１２０１からの入力画像と背景差分処理部からの形状データとがフレーム単位で入力され、符号化処理が行われる。以下、符号化部１２０４を、ＭＰＥＧ−４符号化方式として説明する。
【０００８】
オブジェクト（対象物）を符号化する場合には、オブジェクトの形と位置の情報を符号化する必要がある。そのために、まず、オブジェクトを内包する矩形領域を設定し、この矩形の左上位置の座標と矩形領域の大きさを符号化する。この矩形領域はバウンディングボックスと呼ばれる。また、画像信号、形状信号により表現されるオブジェクト内部の領域をＶＯＰ（Ｖｉｄｅｏ　Ｏｂｊｅｃｔ　Ｐｌａｎｅ）と呼ぶ。
【０００９】
図１４は、従来のＶＯＰ符号化を行う符号化部１２０４の細部構成を示すブロック図である。尚、入力される信号は画像の輝度・色差信号と形状信号であり、それらはマクロブロック単位で処理される。
【００１０】
まず、イントラモードでは、各ブロックをＤＣＴ部１３０１において離散コサイン変換（ＤＣＴ）し、量子化部１３０２で量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部１３１２で可変長符号化される。
【００１１】
一方、インターモードでは、動き検出部１３０７において時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部１３０８で対象マクロブロックに対して誤差のもっとも小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトルである。尚、予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。
【００１２】
検出された動きベクトルに基づいて、参照ＶＯＰを動き補償部１３０６において動き補償し、最適な予測マクロブロックを取得する。次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分信号に対してＤＣＴ部１３０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部１３０２で量子化する。
【００１３】
一方、形状データは、形状符号化ＣＡＥ部１３０９で符号化される。但し、ここで実際にＣＡＥ符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロック（ブロック内全てのデータがオブジェクト内）やＶＯＰ外のブロック（ブロック内全てのデータがオブジェクト外）はヘッダ情報のみが可変長符号化部１３１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部１３０７による動き検出を行い、動きベクトル予測部１３０８動きベクトルの予測を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行う。
【００１４】
【発明が解決しようとする課題】
しかしながら、上述した背景差分法には、以下に説明する２つの問題がある。一つ目の問題として、この方式は背景画像が変化しないことを前提としており、照明変化等により背景の値が変化した場合は、安定した抽出結果が得られないという問題がある。この問題の対応策としては、背景画像の変化を統計的な手法により検出し、適宜背景画像を更新するという方法が、特開平７―３０２３２８号等に開示されている。
【００１５】
２つ目の問題は、シーン中にフラッシュが当たったり、対象物の前を別の物体が横切ったときなどの対応である。これらの場合を図を用いて説明する。図１５は、従来例におけるシーン中にフラッシュが当たった場合の対象物の形状データについて説明するための図である。１４０１がある時間のフレームデータ、１４０２が次の時間のフレームデータで、このときフラッシュが当たっている。そして、１４０３はその次の時間のフレームデータである。このように、フラッシュが当たったフレーム（１４０２）は他の抽出結果（１４０１、１４０３）と大きく異なるものになってしまう。
【００１６】
一つ目の問題である背景の照明変化の場合は、主に輝度値の変化のみであるが、二つ目の問題であるフラッシュの場合には、色相も変化してしまうので、背景の正確な補正は困難である。また、仮に、対象物の正確な形状データが得られたとしても、対象物そのものの画像データも大きく変化してしまっているため、フレーム間差分を用いるＭＰＥＧ−４のような方式では、符号化効率を上げることができず、視覚的にも不自然なものとなってしまう。
【００１７】
図１６は、従来例における対象物の前を別の物体が横切った場合の対象物の形状データについて説明するための図である。図１６において、１５０１は別の物体（例えば、車両）が横切る直前のフレームデータ、１５０２と１５０３は車両が対象物（人）の前を横切っているときのフレームデータ、１５０４は車両が横切った直後のフレームデータである。このように、別の物体も併せて抽出してしまうと、形状データと画像データが大きく変化することによる情報量の増大のため、大きな画質劣化を招いてしまう。この場合、背景の照明変化とは全く別の現象のため、背景画像を更新方法で対応することは困難である。
【００１８】
本発明は、このような事情を考慮してなされたものであり、動画像中の対象物の形状データが一時的に大きく変化した場合であっても、修正対象となるフレームを好適に検出して修正し、視覚的にも符号化効率的にも優れた動画像符号化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、複数のフレームから構成される動画像を入力する動画像入力手段と、入力された前記動画像に関する背景画像を取得する背景画像取得手段と、前記動画像を構成するそれぞれのフレームと前記背景画像とを比較して対象物を抽出する対象物抽出手段と、抽出された前記対象物の形状データの異常の有無を判定する異常データ判定手段と、前記形状データの判定結果に基づいて該形状データを修正する形状データ修正手段と、前記形状データ修正手段で修正された前記形状データに応じた前記対象物の画像データを生成する画像データ修正手段と、前記形状データと前記画像データとを符号化する符号化手段とを備えることを特徴とする。
【００２０】
また、本発明に係る画像処理装置は、前記異常データ判定手段が、時間的に異なる複数のフレーム間で前記対象物の前記形状データを比較して、該形状データの修正の必要性を判定することを特徴とする。
【００２１】
さらに、本発明に係る画像処理装置は、前記異常データ判定手段が、現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較手段と、前フレームと後フレームとを用いて前記対象物の形状データを比較する第２の比較手段と、現フレームと前フレームとの間で前記対象物の形状データの差分が大きい場合であって、前フレームと後フレームとの間で前記対象物の形状データの差分が小さい場合、現フレームの修正が必要であると判定する判定手段とを備えることを特徴とする。
【００２２】
さらにまた、本発明に係る画像処理装置は、前記異常データ判定手段が、現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較手段と、現フレームと後フレームとを用いて前記対象物の形状データを比較する第２の比較手段と、現フレームと前フレームとの間で前記対象物の形状データの差分が大きい場合であって、現フレームと後フレームとの間で前記対象物の形状データの差分が大きい場合、現フレームの修正が必要であると判定する判定手段とを備えることを特徴とする。
【００２３】
さらにまた、本発明に係る画像処理装置は、前記異常データ判定手段が、現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較手段と、現フレーム以降のフレームと前フレームとを用いて前記対象物の前記形状データを比較する第２の比較手段と、現フレームと前フレームとの間の差分が大きい場合、前フレームと現フレーム以降のフレームとの間で前記対象物の形状データの差分が小さい場合、現フレーム以降の所定のフレームの修正が必要であると判定する判定手段とを備えることを特徴とする。
【００２４】
さらにまた、本発明に係る画像処理装置は、前記第１又は第２の比較手段が、前記形状データの面積、周囲長、ウェーブレット識別子、円形度、重心又はモーメントのいずれかによる比較若しくはそれらの組み合わせを用いて比較することを特徴とする。
【００２５】
さらにまた、本発明に係る画像処理装置は、前記形状データ修正手段が、異常と判定されたＮ番目のフレームにおける前記対象物の形状データを、正常と判定されたＮ−１番目以前のフレームと正常と判定されたＮ＋１番目以降のフレームとを用いて修正することを特徴とする。
【００２６】
さらにまた、本発明に係る画像処理装置は、前記形状データ修正手段が、さらに、Ｎ−１番目以前のフレームとＮ＋１番目以降のフレーム間の前記形状データ上の対応点を検出する検出手段をさらに備えることを特徴とする。
【００２７】
さらにまた、本発明に係る画像処理装置は、前記検出手段が、一つ又は複数の所定領域毎のパターンマッチングにより、前記対応点の動き量を求めることを特徴とする。
【００２８】
さらにまた、本発明に係る画像処理装置は、前記対応点の動き量が、アフィン変換による該対応点の位置の移動量と回転量とであることを特徴とする。
【００２９】
さらにまた、本発明に係る画像処理装置は、前記形状データ修正手段が、異常と判定されたＮ番目のフレームにおける形状データを正常と判定されたＮ−１番目以前のフレームの形状データに置き換えることを特徴とする。
【００３０】
さらにまた、本発明に係る画像処理装置は、前記画像データ修正手段が、現フレームとは時間的に異なるフレームから前記対象物の画像データを生成することを特徴とする。
【００３１】
さらにまた、本発明に係る画像処理装置は、前記画像データ修正手段が、異常と判定されたＮ番目のフレームを、正常と判定されたＮ−１番目のフレームと正常と判定されたＮ＋１番目のフレームとから生成することを特徴とする。
【００３２】
さらにまた、本発明に係る画像処理装置は、前記画像データ修正手段が、異常と判定されたＮ番目のフレームを正常と判定されたＮ−１番目のフレームに置き換えることを特徴とする。
【００３３】
さらにまた、本発明に係る画像処理装置は、前記符号化手段が、ＭＰＥＧ−４ビジュアル符号化方式に準じた符号化手段であることを特徴とする。
【００３４】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００３５】
図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図１において、画像入力部１０１、背景画像生成部１０２、背景差分処理部１０３、符号化部１０４は、図１４を用いて説明した画像入力部１２０１、背景画像生成部１２０２、背景差分処理部１２０３、符号化部１２０４と同一の機能を有する。すなわち、本実施形態では、符号化部１０４が、ＭＰＥＧ−４ビジュアル符号化方式に準じた符号化処理をすることを特徴とする。
【００３６】
本実施形態に係る画像処理装置はそれに加えて、さらに次に示す構成要素を備える。
【００３７】
すなわち、異常データ判定部１０５は、背景差分処理部１０３からの形状データを検証して異常を検出する。形状データ修正部１０６は、異常データ判定部１０５で異常が検出された場合に形状データの修正を行う。そして、画像データ修正部１０７は、形状データ修正部１０６で修正した形状データに合わせて画像データの修正を行う。尚、変更された画像データと形状データは、符号化部１０４に入力され、符号化が行われる。
【００３８】
図２は、本発明の一実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。図２に示すように、画像入力部１０１から動画像が入力され（ステップＳ１０１）、背景画像生成部１０２で背景画像（参照画像）が生成される（ステップＳ１０２）。そして、背景差分処理部１０３で、画像入力部１０１からの入力画像と背景生成部１０２からの参照画像とから、対象物の形状データを生成する（ステップＳ１０３）。そして、異常データ判定部１０５で異常フレームの判定がされ（ステップＳ１０４）、前記対象物の形状データの修正及び画像データの修正がそれぞれ形状データ修正部１０６、画像データ修正部１０７で行われる（ステップＳ１０５）。そして、符号化部１０４で、修正後の画像データと形状データとが符号化される（ステップＳ１０６）。
【００３９】
すなわち、本実施形態に係る画像処理装置は、画像入力部１０１から複数のフレームから構成される動画像を取得し、背景画像生成部１０２で動画像に関する背景画像を取得し、背景差分処理部１０３で動画像を構成するそれぞれのフレームと背景画像とを比較して対象物を抽出し、異常データ判定部１０５で抽出された対象物の形状データの異常の有無を判定し、異常と判定された場合、形状データ修正部１０６で形状データを修正し、形状データ修正部１０６で修正された形状データを用いて画像データ修正部１０７でフレームを修正し、修正された形状データと画像データとを符号化部１０４で符号化することを特徴とする。
【００４０】
以下、ステップＳ１０４の異常フレームの判定と、ステップＳ１０５の形状データ及び画像データの修正処理とについて以下の２つの実施形態に適用して詳細に説明する。尚、それ以外の処理手順については上述のとおりである。
【００４１】
＜第１の実施形態＞
本発明の第１の実施形態に係る画像処理装置について、図３から図８を用いて説明する。これは、図１５を用いて説明した問題（シーン中にフラッシュが当たった場合）に対応する処理である。
【００４２】
図３は、第１の実施形態における異常データ判定部１０５におけるフラッシュの当たった異常フレームの検出手順を説明するためのフローチャートである。まず、異常データ判定部１０５においては、現フレームの形状データが生成される（ステップＳ２０１）。これは、従来技術と同様の背景差分法を用いて抽出した結果のデータである。次に、前フレームの形状データと現フレームの形状データの比較が行われる（ステップＳ２０２）。
【００４３】
ここで、形状データの比較の方法として、いくつかの方法が考えられる。面積の比較は、最も簡単な比較例の一つである。例えば、オブジェクトとみなされた形状データの画素数がオブジェクトの面積となる。また、周囲長をパラメータとすることも可能であり、さらにはフーリエ記述子を用いた曲線表現も可能である。これらの詳細な説明については、「画像処理工学　基礎編」谷口慶治・編に詳しく記載されている。尚、本実施形態においては、形状データの比較にどのパラメータを選んでもよく、方式に何ら制限を加えるものではない。すなわち、本実施形態では、形状データの比較方法として、形状データの面積、周囲長、ウェーブレット識別子、円形度、重心又はモーメントのいずれかによる比較若しくはそれらの組み合わせを用いて比較することを特徴とする。
【００４４】
そして、比較結果に応じた処理の分岐が行われる（ステップＳ２０３）。その結果、差分が小さい場合（Ｎｏ）は異常なしと判定され、差分が大きい場合（Ｙｅｓ）は形状データの検証が行われる。例えば、図１５における１４０１を前フレームの形状データ、１４０２を現フレームの形状データとすると、フレーム間の差分が大きいため１４０２が異常フレームかどうかの検証が行われる。
【００４５】
検証の手順としては、まず、後フレームの形状データが生成される（ステップＳ２０４）。次に、前フレームの形状データと後フレームの形状データとの比較を行う（ステップＳ２０５）。この場合の比較の方法は、ステップＳ２０２における比較方法と同じものでよい。そして、比較結果に応じた処理の分岐を行う（ステップＳ２０６）。
【００４６】
ステップＳ２０６における判定で、差分が小さい場合（Ｙｅｓ）、現フレームの形状データが異常であると判断する。一方、差分が大きい場合（Ｎｏ）、瞬間的な変化ではないため、フラッシュではないと判断する。例えば、図１３においては、１４０１が前フレーム、１４０３が後フレームの形状データである。そして、前フレームのデータ１４０１と後フレームのデータ１４０３との差分が小さいので、１４０２はフラッシュの当たったフレーム（異常のフレーム）と判定される。そして、異常と判定された場合は、現フレームのデータ（形状データ及び画像データ）の修正（再生成）を行う（ステップＳ２０７）。
【００４７】
すなわち、本実施形態に係る画像処理装置では、異常データ判定部１０５が、時間的に異なる複数のフレーム間で対象物の形状データを比較して、当該形状データの修正の必要性を判定することを特徴とする。
【００４８】
また、本実施形態に係る画像処理装置では、異常データ判定部１０５が、現フレームと前フレームとを用いて対象物の形状データを比較し（ステップＳ２０２）、前フレームと後フレームとを用いて対象物の形状データを比較し（ステップＳ２０５）、現フレームと前フレームとの間で対象物の形状データの差分が大きい場合であって、前フレームと後フレームとの間で対象物の形状データの差分が小さい場合、現フレームの修正が必要であると判定することを特徴とする。
【００４９】
尚、ステップＳ２０７における修正処理については、後に詳しく説明する。
【００５０】
次に、図４は、第１の実施形態における異常データ判定部１０５におけるフラッシュの当たったフレームを検出する他の判定手順を説明するためのフローチャートである。図４のフローチャートにおいては、ステップＳ２０８、Ｓ２０９以外の処理ステップは全て図３のフローチャートと同じ処理ステップである。
【００５１】
ステップＳ２０８では、現フレームの形状データと後フレームの形状データの比較が行われる。また、ステップＳ２０９における判定では、差分が大きい場合はフラッシュであり、差分が小さい場合はフラッシュではないと判定する。ここで、差分が小さい場合とは、オブジェクトの状態が遷移して、新たな状態になったと考えることができる。例えば、図１５では、現フレームの形状データ１４０２と後フレームの形状データ１４０３の差分が大きいため、１４０２はフラッシュの当たったフレームと判定される。
【００５２】
また、特殊な例として、形状データの急激な変化がフラッシュ以外に考えられないような場合には、後フレームのデータを使用することなく、ステップＳ２０３の判定結果のみでステップＳ２０７の処理に移ることも可能である。
【００５３】
すなわち、本実施形態に係る画像処理装置では、異常データ判定部１０５が、現フレームと前フレームとを用いて対象物の形状データを比較し（ステップＳ２０２）、現フレームと後フレームとを用いて対象物の形状データを比較し（ステップＳ２０８）、現フレームと前フレームとの間で対象物の形状データの差分が大きい場合であって、現フレームと後フレームとの間で対象物の形状データの差分が大きい場合、現フレームの修正が必要であると判定することを特徴とする。
【００５４】
次に、修正が必要と判定されたフレームの処理（ステップＳ２０７）について説明する。
【００５５】
図５は、本発明の第１の実施形態における形状データと画像データの修正手順を説明するためのフローチャートである。ここで、抽出対象が剛体の場合は全体が１つの動きであるが、そうでない場合は局所的に別の動きをする部分が現れる。そこで、以下では、全体の動きが一致する対応領域を「共通領域」、それ以外の局所的な動きをする領域を「動領域」と称す。
【００５６】
まず、形状データ修正部１０６では、前後のフレームの形状データから共通領域が検出される（ステップＳ３０１）。これは、前フレームの形状データと後フレームの形状データのＡＮＤ処理をすることで簡単に求めることができる。図７は、本発明の第１の実施形態における形状データについて説明するための図である。図７において、５０１は前フレームの形状データ、５０２は後フレームの形状データ、５０３はこの２フレームから検出した共通領域を示す。
【００５７】
また、画像データ修正部１０７では、現フレームの画像データの共通領域が生成される（ステップＳ３０２）。これは、前フレームの画像データと後フレームの画像データの平均値を求めることによって生成する。すなわち、ある点（ｘ，ｙ）の前フレームにおける画素値をＰｐ（ｘ，ｙ）、後フレームにおける画素値をＰｂ（ｘ，ｙ）とすると、平均値は、（Ｐｐ（ｘ，ｙ）＋Ｐｂ（ｘ，ｙ））／２で求めることができる。
【００５８】
一方、形状データ修正部１０６では、前フレームの形状データの動領域が検出される（ステップＳ３０３）。これは、前フレームの形状データ５０１と前後フレームの共通領域５０３のＸＯＲ処理で求めることができる。図７において、５０４は検出された前フレームの動領域である。
【００５９】
また、画像データ修正部１０７では、前フレームの画像データの動領域が検出される（ステップＳ３０４）。これは、検出した動領域の形状データの位置に画像データをそのまま対応付ければよい。同様に、形状データ修正部１０６では、後フレームの形状データの動領域が求められる（ステップＳ３０５）。この場合も、後フレームの形状データ５０２と前後フレームの共通領域５０３のＸＯＲ処理で求めることができ、図７における５０５が検出結果である。そして、画像データ修正部１０７では、後フレームの画像データの動領域が検出される（ステップＳ３０６）。これも、検出した動領域の形状データの位置に画像データをそのまま対応付ければよい。
【００６０】
次に、形状データ修正部１０６では、前後フレーム間の形状データの動領域の動きが検出される（ステップＳ３０７）。対応点の検出には、アフィン変換などを使ったパターンマッチングを用いる。アフィン変換の一例を以下に示す。
Ｘ＝（ｘ−ｘ０）ｃｏｓθ−（ｙ−ｙ０）ｓｉｎθ＋ｘ０
Ｙ＝（ｘ−ｘ０）ｓｉｎθ＋（ｙ−ｙ０）ｃｏｓθ＋ｙ０　…　（２）
ここで、（ｘ０，ｙ０）が回転の中心、θが回転角となる。パターンマッチングは、この計算で求めた値と実際の値との差分の総和若しくは差分の二乗和を評価値とし、この値が最小となるような回転の中心位置および回転角を求める。
【００６１】
図８は、第１の実施形態における形状データの対応点検出結果を模式的に説明するための図である。ここでは簡単のため形状を線分として説明する。図８において、線分６０１が前フレーム、６０３が後フレームのデータを表しているものとする。この場合、線分６０１と線分６０３とのなす角がこのアフィン変換における回転角であり、Ａ０とＡ２の重なっている点の位置が回転の中心である。尚、Ｂ０、Ｃ０に対応する点がそれぞれＢ２、Ｃ２である。
【００６２】
次に、形状データ修正部１０６では、現フレームの形状データの動きが算出される（ステップＳ３０８）。動きが、図８に示すように回転角と回転の中心位置で求まる場合には、回転角をθ／２、回転の中心位置をＡ０にすることで、動き量を求めることができる。
【００６３】
さらに、形状データ修正部１０６では、現フレームの形状データの動領域が生成される（ステップＳ３０９）。すなわち、ステップＳ３０８で算出したパラメータを代入して対応点が求められる。これによって、Ａ０とＡ２に対応する点がＡ１、Ｂ０とＢ２に対応する点がＢ１、Ｃ０とＣ２に対応する点がＣ１となる。そして、対応する点をすべて結んだ線分６０２が現フレームの形状データとなる。図７の５０６はこのようにして求めた現フレームの動領域の形状データを示している。
【００６４】
すなわち、本実施形態では、形状データ修正部１０６が、異常と判定されたＮ番目のフレームにおける対象物の形状データを、正常と判定されたＮ−１番目以前のフレームと正常と判定されたＮ＋１番目以降のフレームとを用いて修正することを特徴とする。
【００６５】
また、本実施形態では、形状データ修正部１０６が、Ｎ−１番目以前のフレームとＮ＋１番目以降のフレーム間の形状データ上の対応点を検出することを特徴とする。さらに、本実施形態では、形状データ修正部１０６が、一つ又は複数の所定領域毎のパターンマッチングにより、対応点の動き量を求めることを特徴とする。さらにまた、本実施形態では、対応点の動き量が、アフィン変換による該対応点の位置の移動量と回転量とであることを特徴とする。
【００６６】
次に、画像データ修正部１０７では、ステップＳ３０９で生成した形状データに対応した画像データを生成する（ステップＳ３１０）。すなわち、ステップＳ３０８で求めたパラメータを利用して、Ａ１の画素値はＡ０とＡ２の平均値、Ｂ１の画素値はＢ０とＢ２の平均値、といったように対応点間の平均値から求める。尚、平均値の求め方はステップＳ３０２で説明した手順と同様である。
【００６７】
そして、形状データ修正部１０６では、ステップＳ３０１で求めた共通領域の形状データと、ステップＳ３０９で求めた動領域の形状データを合成し、現フレームの形状データが再生成される（ステップＳ３１１）。図７の５０７はこのようにして求めた現フレームの形状データを示している。さらに、画像データ修正部１０７では、ステップＳ３０２で求めた共通領域の画像データと、ステップＳ３１０で求めた動領域の画像データを合成し、現フレームの画像データが再生成される（ステップＳ３１２）。
【００６８】
上述した手順によって、現フレームの形状データと画像データが再生成できた時点で、この処理は完了となる。これらのデータは上述したように図１の符号化部１０４に入力され、ＭＰＥＧ−４符号化が行われる。
【００６９】
上述したように、第１の実施形態に係る画像形成装置によれば、フラッシュの当たった画像のような、形状データが不連続となるフレームを検出し、当該フレームを前後フレームから修正することにより、形状データと画像データ共に、余計な符号量発生を抑え、視覚的にも良好な符号化システムを実現することができる。
【００７０】
＜第２の実施形態＞
本発明の第２の実施形態について、図９から図１２を用いて説明する。これは、図１６を用いて説明した問題（対象物の前を抽出対象でない他の物体が横切った場合）に対応する処理である。
【００７１】
図９は、第２の実施形態における異常データ判定部１０５の動作手順を説明するためのフローチャートである。ステップＳ７０１からＳ７０３の処理は、第１の実施形態で説明した図３のステップＳ２０１からＳ２０３と同じ処理である。但し、ここでは現フレームをＮ番目のフレームとして説明する。また、図１６において、１５０１から１５０４を順にＮ−１、Ｎ、Ｎ＋１、Ｎ＋２フレーム目の形状データであるとする。この例では、ステップＳ７０３において、現フレームの形状データ１５０２と前フレームの形状データ１５０１とを比較し、差分が大きい（Ｙｅｓ）ので、形状データの検証が行われる。
【００７２】
ここで、抽出対象でない他の物体が前を横切る場合は、複数フレームにわたって大きな形状変化が検出されると考えられる。１フレームだけに出現するものではないからである。そこで、このフレーム数をカウントするための初期化処理として、カウンタｍを１にセットする（ステップＳ７０４）。
【００７３】
次に、Ｎ＋１フレーム（現フレームの次のフレーム）の形状データを生成する（ステップＳ７０５）。図１６の１５０３がこのフレームの形状データである。そして、生成したＮ＋１フレームの形状データと、Ｎ−１フレームの形状データとの比較を行う（ステップＳ７０６）。比較の方法は、ステップＳ７０３における方法と同じ方法でよい。そして、両者の差分が小さいか否かを判定する（ステップＳ７０７）。その結果、差分が小さい場合（Ｙｅｓ）、現フレームの形状データのみが異常であると判断する。一方、差分が大きい場合（Ｎｏ）、次のフレームも検証の対象と判断する。図１６に示す例では、１５０１と１５０３の比較となり、差分は大きいと判断される。
【００７４】
そこで、カウンタｍが最大値ｍａｘに達したかどうかの判定をする（ステップＳ７０８）。この最大値ｍａｘは、抽出対象でない他の物体が前を横切ると考えられる最大時間を予め設定しておく。例えば、フレームレートが１５ｆｐｓで、最大２秒程度と考えられる場合には、ｍａｘを３０と設定する。そして、カウンタｍが最大値ｍａｘに達していない場合（Ｎｏ）、カウンタｍの値を１つ増やす（ステップＳ７０９）。
【００７５】
一方、ステップＳ７０８においてカウンタｍが最大値ｍａｘに達してしまった場合（Ｙｅｓ）、エラー処理を行う（ステップＳ７１０）。この場合、何かが抽出対象を横切ったというわけでなく、抽出対象そのものの形状が大きく変化したと考える。また、修正しない形状データをそのまま使っての問題ない場合は、特にエラー処理は行わず、このフレームの処理を終了するようにしてもよい。
【００７６】
上述したステップＳ７０５からＳ７０９の処理を繰り返し、ステップＳ７０７で、差分が小さいと判定した場合（Ｙｅｓ）、このループを抜ける。このときのカウンタ値ｍが抽出結果が異常と判定されたフレームの数であり、再生成の必要なフレーム数である。図１６の例では、ｍが２となった時点で、１５０１の形状データと１５０４の形状データとが比較され、このループを抜ける。
【００７７】
また、ステップＳ７１１からＳ７１４では、検出したｍフレーム分のデータ修正（再生成）処理が行われる。まず、フレーム数のカウンタｋを０にセットする初期化処理が行われる（ステップＳ７１１）。また、ステップＳ７１２は、修正処理のメインの部分であり、詳細は後に説明する。さらに、終了判定がされ（ステップＳ７１３）、ｋがｍ−１になるまでステップＳ７１４においてｋの値を１つずつ増やし、この処理を繰り返す。そして、ＮフレームからＮ＋ｍ−１フレームまでのデータ再生成が終了すると、一連の処理が終了する。図１６の例では、ｍが２であり、１５０２と１５０３のフレームのデータを再生成することになる。
【００７８】
尚、図９のフローチャートでは、Ｎ番目のフレームの処理例を説明したが、データ修正が行われた場合は、次に処理するフレームは、Ｎ＋１番目ではなく、Ｎ＋ｍ＋１番目からであっても構わない。
【００７９】
すなわち、本実施形態に係る画像処理装置では、異常データ判定部１０５が、現フレームと前フレームとを用いて対象物の形状データを比較し（ステップＳ７０２）、現フレーム以降のフレームと前フレームとを用いて対象物の形状データを比較し（ステップＳ７０６）、現フレームと前フレームとの間の差分が大きい場合、前フレームと現フレーム以降のフレームとの間で対象物の形状データの差分が小さい場合、現フレーム以降の所定のフレームの修正が必要であると判定することを特徴とする。
【００８０】
次に、修正が必要と判定されたフレームの修正処理について説明する。図１０は、第２の実施形態に係る形状データと画像データの修正手順を説明するためのフローチャートである。まず、Ｎ−１フレームとＮ＋ｍフレームの形状データから、共通の領域を検出する（ステップＳ８０１）。これは、図５で説明したときと同様に、Ｎ−１フレームの形状データとＮ＋ｍフレームの形状データのＡＮＤ処理をすることで簡単に求めることができる。但し、図５の場合と違い、フレーム間の時間間隔が長い場合は、共通領域も動いてしまっていることが考えられる。この場合には、抽出対象全体の動きを、パターンマッチングにより求めるようにする。図５で説明したようなアフィン変換を用いると、フレーム間の抽出対象の平行移動量と回転量を求めることができる。
【００８１】
すなわち、Ｎ−１フレームからＮ＋ｍフレームまでの回転角がθであるとし、その移動量が、（ｘ０，ｙ０）であったとすると、Ｎ＋ｋフレームにおける回転角は、θ×（ｋ＋１）／（ｍ＋１）となり、移動量は、（ｘ０×（ｋ＋１）／（ｍ＋１），ｙ０×（ｋ＋１）／（ｍ＋１））となる。これらのパラメータにより位置を合わせた後、ＡＮＤ処理をすることで、共通領域を検出することができる。
【００８２】
図１１は、第２の実施形態に係る形状データを説明するための図である。図１１の例では、１００１がＮ−１フレームの形状データ、１００２がＮ＋２フレームの形状データを示している。尚、共通領域の動きはないので、回転角は０、移動量は（０，０）である。また、１００３は、１００１と１００２から求めた共通領域を示している。
【００８３】
次に、共通領域以外に局所的な動きがある場合は、動領域の検出を行う。まず、Ｎ−１フレームの形状データの動領域を検出する（ステップＳ８０２）。これは、Ｎ−１フレームの形状データ１００１と共通領域１００３の位置を合わせた後、ＸＯＲ処理で求めることができる。１００４は検出されたＮ−１フレームの動領域である。次に、Ｎ−１フレームの画像データの動領域を検出する（ステップＳ８０３）。これは、ステップＳ８０２で求めた領域に対応する画像データである。
【００８４】
同様に、Ｎ＋ｍフレームの形状データの動領域を検出する（ステップＳ８０４）。これは、Ｎ＋ｍフレームの形状データ１００２と共通領域１００３の位置を合わせた後、ＸＯＲ処理で求めることができる。１００５は検出されたＮ−１フレームの動領域である。次に、Ｎ＋ｍフレームの画像データの動領域を検出する（ステップＳ８０５）。これも、ステップＳ８０４で求めた領域に対応する画像データである。
【００８５】
次に、Ｎ−１フレームとＮ＋ｍフレーム間の形状データの動領域の動きを検出する（ステップＳ８０６）。これは、Ｎ−１フレームの形状データ１００４とＮ＋ｍフレームの形状データ１００５の対応点を検出ということである。対応点の検出には、アフィン変換などを使ったパターンマッチングを用いる。
【００８６】
図１２は、第２の実施形態における形状データの対応点検出の処理を模式的に説明するための図である。ここでも簡単のため形状を線分として説明する。線分１１０１がＮ−１フレーム、線分１１０４がＮ＋ｍフレームのデータを表している。線分１１０１と線分１１０４のなす角がこのアフィン変換における回転角θ’であり、Ａ０、Ａ３の重なっている点の位置が回転の中心（ｘ’０，ｙ’０）である。Ｂ０、Ｃ０に対応する点がそれぞれＢ３、Ｃ３である。
【００８７】
以下のステップで、修正する各フレームの処理を行う。まず、初期化処理を行う（ステップＳ８０７）。ここでは、修正するフレーム数をカウントするカウンタｋを０にセットする。次に、Ｎ＋ｋフレームにおける共通領域の動きを算出する（ステップＳ８０８）。これは、ステップＳ８０１で求めた動き量から算出する。図１１の例では、回転角０、移動量（０，０）である。そして、ステップＳ８０８で求めた値から共通領域の形状データを生成する（ステップＳ８０９）。図１１の例では、共通領域の移動量は０なので、Ｎフレームにおける形状データの共通領域は１００３と一致する。
【００８８】
次に、ステップＳ８０９で求めた形状データに対応した画像データを生成する（ステップＳ８１０）。このとき、ある点（ｘ，ｙ）のＮ−１フレームにおける画素値をＰ０（ｘ，ｙ）、Ｎ＋ｍフレームにおける画素値をＰｍ（ｘ，ｙ）とすると、Ｎ＋ｋフレームにおける画素値は、（Ｐ０（ｘ，ｙ）×（ｍ−ｋ）＋Ｐｍ（ｘ，ｙ）×（ｋ＋１））／（ｍ＋１）となる。また、共通領域にほとんど変化がないと考えられる場合は、簡易的な方法として、平均値（Ｐ０（ｘ，ｙ）＋Ｐｍ（ｘ，ｙ））／２を用いてもよい。さらに簡単には、Ｐ０（ｘ，ｙ）をそのまま利用することも考えられる。これは、Ｎ−１フレームの画像データをそのままコピーするということである。
【００８９】
次に、Ｎ＋ｋフレームにおける動領域の動きを算出する（ステップＳ８１１）。これは、先に求めたＮ−１フレームにおける動領域とＮ＋ｍフレームにおける動領域との間の動き検出から求める。Ｎ−１フレームからＮ＋ｍフレームまでの回転角がθ’で、その移動量が、（ｘ’０，ｙ’０）であるので、Ｎ＋ｋフレームにおける回転角は、θ’×（ｋ＋１）／（ｍ＋１）となり、移動量は、（ｘ’０×（ｋ＋１）／（ｍ＋１），ｙ’０×（ｋ＋１）／（ｍ＋１））となる。ｍ＝２のとき、Ｎフレームにおける回転角は、θ’／３、移動量は（ｘ’０／３，ｙ’０／３）となる。
【００９０】
そして、ステップＳ８１１で求めた値から、動領域の形状データを生成する（ステップＳ８１２）。図１２において、線分１１０１に対し、回転角θ’／３、移動量は（ｘ’０／３，ｙ’０／３）に対応する点を求めると、線分１１０２が得られる。次に、動領域の形状データに対応する画像データを生成する（ステップＳ８１３）。方法は共通領域における画素値の算出と同じである。このとき、ある点（ｘ’，ｙ’）のＮ−１フレームにおける画素値をＰ’０（ｘ’，ｙ’）、Ｎ＋ｍフレームにおける画素値をＰ’ｍ（ｘ’，ｙ’）とすると、Ｎ＋ｋフレームにおける画素値は、（Ｐ’０（ｘ’，ｙ’）×（ｍ−ｋ）＋Ｐ’ｍ（ｘ’，ｙ’）×（ｋ＋１））／（ｍ＋１）となる。
【００９１】
さらに、Ｎ＋ｋフレームの形状データを再生成する（ステップＳ８１４）。これは、ステップＳ８０９で求めた共通領域の形状データとステップＳ８１２で求めた動領域の形状データを合成したものとなる。図１１の１００８は、Ｎフレームにおける再生成した形状データである。次に、Ｎ＋ｋフレームの画像データを再生成する（ステップＳ８１５）。これは、ステップＳ８１０で求めた共通領域の画像データとステップＳ８１３で求めた動領域の画像データを合成したものとなる。
【００９２】
そして、フレーム数の判定を行い（ステップＳ８１６）、ｍ−１に満たない場合（Ｎｏ）、ステップＳ８１７においてｋの値を１つ増し、ステップＳ８０８からの処理を繰り返す。一方、ｍが２の場合は、ＮフレームとＮ＋１フレームのデータを再生成して一連の処理を終える。Ｎ＋１フレームにおいては、回転角がθ’×２／３、移動量が（ｘ’０×２／３，ｙ’０×２／３）であり、対応点を求めると図１２の線分１１０３が得られる。また、図１１の１００７は、Ｎ＋１フレームにおける形状データの動領域、１００９は、Ｎ＋１フレームにおける再生成した形状データである。
【００９３】
ここでは、共通領域以外の局所的な動きは１種類として説明したが、複数の動きが存在する場合は、動きの数だけ動領域検出の処理を繰り返せばよい。
【００９４】
上述したように第２の実施形態によれば、抽出対象の前を他の物体が横切った時の画像のような、形状データが不連続となる複数のフレームを検出し、当該フレームを前後フレームから修正することにより、形状データと画像データ共に、余計な符号量発生を抑え、視覚的にも良好な符号化システムを実現することができる。
【００９５】
＜第３の実施形態＞
また、図６は、第３の実施形態における形状データと画像データの修正に関する他のフローチャートである。すなわち、本実施形態では、上述した第１及び第２の実施形態における形状データ修正部１０６及び画像データ修正部１０７での形状データ及び画像データの修正処理を、正常と判定されたフレームの形状データ及び画像データに置き換える（コピー）処理をするものである。
【００９６】
すなわち、本実施形態では、形状データ修正部１０６が、異常と判定されたＮ番目のフレームにおける形状データを正常と判定されたＮ−１番目以前のフレームの形状データに置き換える（ステップＳ４０１）ことを特徴とする。また、画像データ修正部１０７が、異常と判定されたＮ番目のフレームを、正常と判定されたＮ−１番目のフレームと正常と判定されたＮ＋１番目のフレームとから生成することを特徴とする。さらに、画像データ修正部１０７が、異常と判定されたＮ番目のフレームを正常と判定されたＮ−１番目のフレームに置き換える（ステップＳ４０２）ことを特徴とする。
【００９７】
＜他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００９８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１０１】
【発明の効果】
以上説明したように、本発明によれば、動画像中の対象物の形状データが一時的に大きく変化した場合であっても、修正対象となるフレームを好適に検出して修正し、視覚的にも符号化効率的にも優れた動画像符号化をすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置の動作手順を説明するためのフローチャートである。
【図３】第１の実施形態における異常データ判定部１０５におけるフラッシュの当たった異常フレームの検出手順を説明するためのフローチャートである。
【図４】第１の実施形態における異常データ判定部１０５におけるフラッシュの当たったフレームを検出する他の判定手順を説明するためのフローチャートである。
【図５】本発明の第１の実施形態における形状データと画像データの修正手順を説明するためのフローチャートである。
【図６】第３の実施形態における形状データと画像データの修正に関する他のフローチャートである。
【図７】本発明の第１の実施形態における形状データについて説明するための図である。
【図８】第１の実施形態における形状データの対応点検出結果を模式的に説明するための図である。
【図９】第２の実施形態における異常データ判定部１０５の動作手順を説明するためのフローチャートである。
【図１０】第２の実施形態に係る形状データと画像データの修正手順を説明するためのフローチャートである。
【図１１】第２の実施形態に係る形状データを説明するための図である。
【図１２】第２の実施形態における形状データの対応点検出の処理を模式的に説明するための図である。
【図１３】背景差分方式とＭＰＥＧ−４符号化方式を組み合わせた従来のシステムの構成を示すブロック図である。
【図１４】従来のＶＯＰ符号化を行う符号化部１２０４の細部構成を示すブロック図である。
【図１５】従来例におけるシーン中にフラッシュが当たった場合の対象物の形状データについて説明するための図である。
【図１６】従来例における対象物の前を別の物体が横切った場合の対象物の形状データについて説明するための図である。
【符号の説明】
１０１　画像入力部
１０２　背景画像生成部
１０３　背景差分処理部
１０４　符号化部
１０５　異常データ判定部
１０６　形状データ修正部
１０７　画像データ修正部

Claims (32)

1. 複数のフレームから構成される動画像を入力する動画像入力手段と、
   入力された前記動画像に関する背景画像を取得する背景画像取得手段と、
   前記動画像を構成するそれぞれのフレームと前記背景画像とを比較して対象物を抽出する対象物抽出手段と、
   抽出された前記対象物の形状データの異常の有無を判定する異常データ判定手段と、
   前記形状データの判定結果に基づいて該形状データを修正する形状データ修正手段と、
   前記形状データ修正手段で修正された前記形状データに応じた前記対象物の画像データを生成する画像データ修正手段と、
   前記形状データと前記画像データとを符号化する符号化手段と
   を備えることを特徴とする画像処理装置。
2. 前記異常データ判定手段が、時間的に異なる複数のフレーム間で前記対象物の前記形状データを比較して、該形状データの修正の必要性を判定することを特徴とする請求項１記載の画像処理装置。
3. 前記異常データ判定手段が、
   現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較手段と、
   前フレームと後フレームとを用いて前記対象物の形状データを比較する第２の比較手段と、
   現フレームと前フレームとの間で前記対象物の形状データの差分が大きい場合であって、前フレームと後フレームとの間で前記対象物の形状データの差分が小さい場合、現フレームの修正が必要であると判定する判定手段と
   を備えることを特徴とする請求項２記載の画像処理装置。
4. 前記異常データ判定手段が、
   現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較手段と、
   現フレームと後フレームとを用いて前記対象物の形状データを比較する第２の比較手段と、
   現フレームと前フレームとの間で前記対象物の形状データの差分が大きい場合であって、現フレームと後フレームとの間で前記対象物の形状データの差分が大きい場合、現フレームの修正が必要であると判定する判定手段と
   を備えることを特徴とする請求項２記載の画像処理装置。
5. 前記異常データ判定手段が、
   現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較手段と、
   現フレーム以降のフレームと前フレームとを用いて前記対象物の前記形状データを比較する第２の比較手段と、
   現フレームと前フレームとの間の差分が大きい場合、前フレームと現フレーム以降のフレームとの間で前記対象物の形状データの差分が小さい場合、現フレーム以降の所定のフレームの修正が必要であると判定する判定手段と
   を備えることを特徴とする請求項２記載の画像処理装置。
6. 前記第１又は第２の比較手段が、前記形状データの面積、周囲長、ウェーブレット識別子、円形度、重心又はモーメントのいずれかによる比較若しくはそれらの組み合わせを用いて比較することを特徴とする請求項３から５までのいずれか１項に記載の画像処理装置。
7. 前記形状データ修正手段が、異常と判定されたＮ番目のフレームにおける前記対象物の形状データを、正常と判定されたＮ−１番目以前のフレームと正常と判定されたＮ＋１番目以降のフレームとを用いて修正することを特徴とする請求項１記載の画像処理装置。
8. 前記形状データ修正手段が、さらに、Ｎ−１番目以前のフレームとＮ＋１番目以降のフレーム間の前記形状データ上の対応点を検出する検出手段をさらに備えることを特徴とする請求項７記載の画像処理装置。
9. 前記検出手段が、一つ又は複数の所定領域毎のパターンマッチングにより、前記対応点の動き量を求めることを特徴とする請求項８記載の画像処理装置。
10. 前記対応点の動き量が、アフィン変換による該対応点の位置の移動量と回転量とであることを特徴とする請求項９記載の画像処理装置。
11. 前記形状データ修正手段が、異常と判定されたＮ番目のフレームにおける形状データを正常と判定されたＮ−１番目以前のフレームの形状データに置き換えることを特徴とする請求項１記載の画像処理装置。
12. 前記画像データ修正手段が、現フレームとは時間的に異なるフレームから前記対象物の画像データを生成することを特徴とする請求項１記載の画像処理装置。
13. 前記画像データ修正手段が、異常と判定されたＮ番目のフレームの対象物の画像データを、正常と判定されたＮ−１番目のフレームと正常と判定されたＮ＋１番目のフレームとから生成することを特徴とする請求項１２記載の画像処理装置。
14. 前記画像データ修正手段が、異常と判定されたＮ番目のフレームの対象物の画像データを正常と判定されたＮ−１番目のフレームの対象物の画像データに置き換えることを特徴とする請求項１２記載の画像処理装置。
15. 前記符号化手段が、ＭＰＥＧ−４ビジュアル符号化方式に準じた符号化手段であることを特徴とする請求項１から１４までのいずれか１項に記載の画像処理装置。
16. 複数のフレームから構成される動画像を取得する動画像取得工程と、
    前記動画像に関する背景画像を取得する背景画像取得工程と、
    前記動画像を構成するそれぞれのフレームと前記背景画像とを比較して対象物を抽出する対象物抽出工程と、
    抽出された前記対象物の形状データの異常の有無を判定する異常データ判定工程と、
    前記形状データの判定結果に基づいて該形状データを修正する形状データ修正工程と、
    前記形状データ修正工程で修正された前記形状データに応じた前記対象物の画像データを生成する画像データ修正工程と、
    前記形状データと前記画像データとを符号化する符号化工程と
    を有することを特徴とする画像処理方法。
17. 前記異常データ判定工程が、時間的に異なる複数のフレーム間で前記対象物の前記形状データを比較して、該形状データの修正の必要性を判定することを特徴とする請求項１６記載の画像処理方法。
18. 前記異常データ判定工程が、
    現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較工程と、
    前フレームと後フレームとを用いて前記対象物の形状データを比較する第２の比較工程と、
    現フレームと前フレームとの間で前記対象物の形状データの差分が大きい場合であって、前フレームと後フレームとの間で前記対象物の形状データの差分が小さい場合、現フレームの修正が必要であると判定する判定工程と
    を有することを特徴とする請求項１７記載の画像処理方法。
19. 前記異常データ判定工程が、
    現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較工程と、
    現フレームと後フレームとを用いて前記対象物の形状データを比較する第２の比較工程と、
    現フレームと前フレームとの間で前記対象物の形状データの差分が大きい場合であって、現フレームと後フレームとの間で前記対象物の形状データの差分が大きい場合、現フレームの修正が必要であると判定する判定工程と
    を有することを特徴とする請求項１７記載の画像処理方法。
20. 前記異常データ判定工程が、
    現フレームと前フレームとを用いて前記対象物の形状データを比較する第１の比較工程と、
    現フレーム以降のフレームと前フレームとを用いて前記対象物の前記形状データを比較する第２の比較工程と、
    現フレームと前フレームとの間の差分が大きい場合、前フレームと現フレーム以降のフレームとの間で前記対象物の形状データの差分が小さい場合、現フレーム以降の所定のフレームの修正が必要であると判定する判定工程と
    を有することを特徴とする請求項１７記載の画像処理方法。
21. 前記第１又は第２の比較工程が、前記形状データの面積、周囲長、ウェーブレット識別子、円形度、重心又はモーメントのいずれかによる比較若しくはそれらの組み合わせを用いて比較することを特徴とする請求項１８から２０までのいずれか１項に記載の画像処理方法。
22. 前記形状データ修正工程が、異常と判定されたＮ番目のフレームにおける前記対象物の形状データを、正常と判定されたＮ−１番目以前のフレームと正常と判定されたＮ＋１番目以降のフレームとを用いて修正することを特徴とする請求項１６記載の画像処理方法。
23. 前記形状データ修正工程が、さらに、Ｎ−１番目以前のフレームとＮ＋１番目以降のフレーム間の前記形状データ上の対応点を検出する検出工程をさらに有することを特徴とする請求項２２記載の画像処理方法。
24. 前記検出工程が、一つ又は複数の所定領域毎のパターンマッチングにより、前記対応点の動き量を求めることを特徴とする請求項２３記載の画像処理方法。
25. 前記対応点の動き量が、アフィン変換による該対応点の位置の移動量と回転量とであることを特徴とする請求項２４記載の画像処理方法。
26. 前記形状データ修正工程が、異常と判定されたＮ番目のフレームにおける形状データを正常と判定されたＮ−１番目以前のフレームの形状データに置き換えることを特徴とする請求項１６記載の画像処理方法。
27. 前記画像データ修正工程が、現フレームとは時間的に異なるフレームから前記対象物の画像データを生成することを特徴とする請求項１６記載の画像処理方法。
28. 前記画像データ修正工程が、異常と判定されたＮ番目のフレームを、正常と判定されたＮ−１番目のフレームと正常と判定されたＮ＋１番目のフレームとから生成することを特徴とする請求項２７記載の画像処理方法。
29. 前記画像データ修正工程が、異常と判定されたＮ番目のフレームを正常と判定されたＮ−１番目のフレームに置き換えることを特徴とする請求項２７記載の画像処理方法。
30. 前記符号化工程が、ＭＰＥＧ−４ビジュアル符号化方式に準じた符号化処理をすることを特徴とする請求項１６から２９までのいずれか１項に記載の画像処理方法。
31. コンピュータに、
    複数のフレームから構成される動画像のフレームと該動画像に関する背景画像とを比較して対象物を抽出する対象物抽出手順と、
    抽出された前記対象物の形状データの異常の有無を判定する異常データ判定手順と、
    前記形状データの判定結果に基づいて該形状データを修正する形状データ修正手順と、
    前記形状データ修正手順で修正された前記形状データを用いて前記フレームを修正する画像データ修正手順と、
    前記形状データと前記画像データとを符号化する符号化手順と
    を実行させるためのプログラム。
32. 請求項３１記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。

Images