JP2004265291A - 背景差分処理法および装置 - Google Patents

Abstract

【課題】背景差分処理の有効／無効領域の特定および設定に要する人間の手間をなくす。移動体などの検知の実稼働中における背景差分処理の有効／無効領域の設定を常に適切に行えるようにする。
【解決手段】撮像手段１からの時系列の画像（入力画像）をｎ個確保する。確保した画像の各画素の画素値の変動具合を定量化する。定量化した各画素の画素値の変動具合に基づいてこれら各画素の状態を分類する。分類した各画素の状態に基づいて背景差分画像を求める際の背景差分処理の有効／無効領域を自動的に決定する。この有効／無効領域の自動決定は、移動体などの検出前（実稼働前）に実施する方法（オフライン的実施）と、移動体などの検出中（実稼働中）に実施する方法（オンライン的実施）の２通りがある。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像と背景画像との差分を背景差分画像として求める背景差分処理方法および装置に関し、特に移動体などの検出に用いて好適な背景差分処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、移動体などの検出では、背景差分処理を行っている。図２２（ａ）はＴＶカメラなどの撮像手段によって撮像された入力画像、図２２（ｂ）はこの入力画像に含まれる背景画像である。入力画像に移動体が写っていなければ入力画像と背景画像とは等しい。背景差分処理では、図２２（ａ）に示された入力画像と図２２（ｂ）に示された背景画像との差分をとり、図２２（ｃ）に示されるような背景差分画像を得る。この例では、入力画像に移動体として人物Ｍａが写っており、背景画像との差分をとることにより背景画像には含まれていなかった人物Ｍａのみが背景差分画像に現れる。このようにして移動体の像を抽出（検出）することができる。
【０００３】
しかしながら、背景には、静止物体だけではなく、動いたり、輝度が頻繁に変化する物体もある。例えば、ネオンなどは、輝度が頻繁にかつ著しく変化する。図２３（ａ）に示す入力画像および図２３（ｂ）に示す背景画像にはネオンＮｅが含まれている。この場合、背景差分処理を行うと、図２３（ｃ）に示す背景差分画像には、人物Ｍａに加えて、ネオンＮｅが現れる。図２３（ｃ）に示された背景差分画像中、ネオンＮｅは、移動体である人物Ｍａの検出において不適切な判断を与える外乱要因となる。
【０００４】
そこで、最近の背景差分処理では、背景画像に対して背景差分処理の対象とする有効領域と対象としない無効領域を設定し、有効領域のみの情報に基づいて移動体の検出を行っている。例えば、図２４（ｂ）に示すように、ネオンＮｅが存在する領域を無効領域Ｓ２、無効領域Ｓ２を除いた残りの領域を有効領域Ｓ１とし、有効領域Ｓ１についてのみ入力画像（図２４（ａ））と背景画像（図２４（ｂ））との差分をとり、図２４（ｃ）に示されるような背景差分画像を得るようにしている。これにより、ネオンＮｅが存在する無効領域Ｓ２が背景差分処理の対象から除外され、入力画像中の人物Ｍａのみを含む背景差分画像を得ることができる（例えば、特許文献１参照）。
【０００５】
なお、上述した例では、有効領域Ｓ１についてのみ入力画像と背景画像との差分をとるようにしたが、全領域を対象として入力画像と背景画像との差分をとり、この差分画像における無効領域Ｓ２に対応する部分にマスクをかけて、図２４（ｃ）に示されるような背景差分画像を得ることも行われている。このようなマスクをかける方法によっても、無効領域Ｓ２を背景差分処理の対象から除外し、有効領域Ｓ１のみを背景差分処理の対象として、入力画像中の人物Ｍａだけを移動体として検出することができる。
【０００６】
【特許文献１】
特開平９−２１４９３８号公報（第４−５頁、図１−図４）
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の背景差分処理方法によると、人間の判断によるマニュアル操作で、画像フレーム中のどの部分を背景差分処理の有効／無効領域とするかを特定し設定しているため、手間がかかるという問題があった。
また、従来の背景差分処理方法では、一度背景差分処理の有効／無効領域の特定および設定が行われると、移動体などの検出中（実稼働中）はその背景差分処理の有効／無効領域が変更されることがない。このため、無効領域とすべき領域が時々刻々と変化するような場合、実稼働中における背景差分処理の有効／無効領域の設定が不適切となり、結果的に背景差分処理による移動体などの検出性能が劣化することになる。
【０００８】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、背景差分処理の有効／無効領域の特定および設定に要する人間の手間をなくすことができる、また移動体などの検出中における背景差分処理の有効／無効領域の設定を常に適切に行うことができる背景差分処理方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
このような目的を達成するために本発明は、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求める背景差分処理方法において、入力画像を撮像する撮像手段からの時系列の画像を確保する画像確保ステップと、この画像確保ステップによって確保された時系列の画像間で画像フレームを構成する各画素の変動具合を定量化する定量化ステップと、この定量化ステップによって定量化された各画素の変動具合に基づいて背景差分処理の有効領域を自動的に決定する有効領域決定ステップとを設けたものである。
【００１０】
この発明によれば、確保された時系列の画像間で画像フレームを構成する各画素の変動具合が定量化され、この定量化された各画素の変動具合に基づいて背景差分処理の有効領域が自動的に決定される。この場合、有効領域を除いた残りの領域が無効領域であり、有効領域を自動的に決定するということは、有効／無効領域を自動的に決定していることに他ならない。
【００１１】
なお、撮像手段からの画像（入力画像）には移動体が含まれる場合もあるし、含まれない場合もある。移動体が含まれる場合、その移動体を含む画素については、直前の画素状態を参照し、有効画素／無効画素の判断を行うようにするとよい。
【００１２】
【発明の実施の形態】
本発明では、背景差分処理の有効／無効領域を、移動体などの検出に入る前（実稼働前）や移動体などの検出中（実稼働中）に自動的に決定することが可能である。以下、実稼働前の有効／無効領域の自動決定を「オフライン的実施」、実稼働中の有効／無効領域の自動決定を「オンライン的実施」と呼ぶ。
【００１３】
〔オフライン的実施〕
オフライン的実施では、実稼働前に、撮像手段からの時系列の画像（移動体を含まない入力画像）を予め規定された特定の量だけ確保し、この確保した時系列の画像間で画像フレームを構成する各画素の変動具合（画素値の変動具合）を定量化（例えば、平均値に対する標準偏差などを算出）する。そして、この定量化した各画素の変動具合に基づいてこれら各画素の状態（画素状態）を分類する。例えば、特定の閾値（以下、特定閾値と呼ぶ）を使用し、画素の変動具合が特定閾値よりも大きければその画素は「不安定状態」、画素の変動具合が特定閾値以下であればその画素は「安定状態」とする。そして、「不安定状態」の画素を無効画素、「安定状態」の画素を有効画素とし、無効画素を集めた領域を無効領域、有効画素を集めた領域を有効領域とする。実稼働中、この実稼働前に自動決定した有効／無効領域を使用して、入力画像と背景画像との背景差分処理を行う。
【００１４】
〔オンライン的実施〕
オンライン的実施では、実稼働中、撮像手段からの時系列の画像（入力画像）を予め規定された特定の量だけ確保し、この確保した時系列の画像間で画像フレームを構成する各画素の変動具合（画素値の変動具合）を定量化（例えば、平均値に対する標準偏差などを算出）する。そして、この定量化した各画素の変動具合に基づいてこれら各画素の状態（画素状態）を分類する。例えば、画素の変動具合が特定閾値よりも大きければその画素は「不安定状態」、画素の変動具合が特定閾値以下であればその画素は「安定状態」とする。そして、「不安定状態」の画素を無効画素、「安定状態」の画素を有効画素とし、無効画素を集めた領域を無効領域、有効画素を集めた領域を有効領域とする。
【００１５】
撮像手段から新しい画像（入力画像）が得られる毎に、その新しい画像を規定された特定の量だけ確保されている時系列の画像中の最も古い画像と置き換えて、この確保された画像の各画素の変動具合の定量化、定量化した変動具合に基づく各画素の状態の分類、分類した各画素の状態に基づく有効／無効領域の決定を繰り返す。これにより、実稼働中、新しい画像が得られる毎に自動的に決定（自動的に更新）される有効／無効領域を使用して、入力画像と背景画像との背景差分処理が行われる。
【００１６】
以下、本発明を図面に基づいて詳細に説明する。
〔オフライン的実施：処理方式１〕
図１は本発明に係る背景差分処理装置の一実施の形態の要部を示すブロック図であり、オフライン的実施の代表例を示したものである。この背景差分処理装置１００では、移動体などの検出に入る前（実稼働前）に、背景差分処理の有効／無効領域の自動決定を行う。
【００１７】
図１において、１はＴＶカメラなどの撮像手段、２は切替スイッチ、３は背景情報作成処理部、４は背景差分処理部である。背景情報作成処理部３は、画像確保部５、定量化部６、画素状態分類部７、背景情報保持部８、背景画像生成部９、有効／無効領域決定部１０を備えている。
【００１８】
背景情報作成処理部３において、画像確保部５は、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ，ｔ）（以下、Ｉ（ｘ，ｙ）と略す）を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部８に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【００１９】
定量化部６は、背景情報保持部８に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部７は、定量化部７で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部８に送り、各画素の背景情報の一部である「画素状態」として保持させる。なお、初期状態において、背景情報保持部８における各画素の「画素状態」はその画素の状態が確定されていないことを示す「未定状態」とされている。また、背景情報保持部８における「時系列データ」はクリアされ、零とされている。
【００２０】
背景情報保持部８は、上述した「時系列データ」および「画素状態」を各画素の背景情報として保持する。背景画像生成部９は、背景情報保持部８における各画素の「時系列データ」に基づき、背景画像Ａ（ｘ，ｙ）を生成する。有効／無効領域決定部１０は、背景情報保持部８における各画素の「画素状態」に基づき、背景差分処理の有効領域Ｓ１／無効領域Ｓ２を決定する。
【００２１】
〔実稼働前の背景画像の生成および有効／無効領域の決定〕
以下、背景情報作成処理部３における各部の詳細な機能を交えながら、実稼働前の背景画像Ａ（ｘ，ｙ）の生成および有効領域Ｓ１／無効領域Ｓ２の決定手順について説明する。
【００２２】
実稼働前に、切替スイッチ２を背景情報作成処理部３側として、移動体の検出対象領域を撮像した撮像手段１からの時系列の入力画像Ｉ（ｘ，ｙ）を画像確保部５へ送る。このとき、撮像手段１が撮像する画像には移動体や輝度が変化する物体が含まれないようにする。
【００２３】
画像確保部５は、撮像手段１からの時系列の入力画像Ｉ（ｘ，ｙ）をｎ個確保する。そして、この確保したｎ個の画像の画像フレームを構成する各画素の画素値Ｄ１〜Ｄｎを背景情報保持部８に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【００２４】
画像確保部５は、ｎ個の画像を確保すると、その旨を定量化部６へ知らせる。定量化部６は、画像確保部５によって確保されたｎ個の画像の各画素の「時系列データ（Ｄ１〜Ｄｎ）」を背景情報保持部８より取り出し、この取り出した各画素の「時系列データ（Ｄ１〜Ｄｎ）」の変動具合を定量化する。ここでは、時系列データとして保持させた画素値Ｄ１〜Ｄｎの平均値を求め、この平均値に対する標準偏差σを算出する。
【００２５】
定量化部６は算出した各画素の標準偏差σを画素状態分類部７へ送る。画素状態分類部７は、定量化部６から送られてくる各画素の標準偏差σと予め定められている閾値σｔｈとを比較し、σ＞σｔｈであればその画素の状態を「不安定状態」と判断する。σ≦σｔｈであればその画素の状態を「安定状態」と判断する。そして、この分類した各画素の状態（「安定状態」又は「不安定状態」）を背景情報保持部８に送り、各画素の背景情報の一部として保持させる。
【００２６】
これにより、それまで背景情報保持部８に保持されていた各画素の「画素状態」は、「未定状態」から画素状態分類部７によって分類された「安定状態」又は「不安定状態」に書き替えられる。図２に画素毎の背景情報の要素名および概要を示す。
【００２７】
背景画像生成部９は、背景情報保持部８における各画素の「時系列データ（Ｄ１〜Ｄｎ）」に基づき、その各画素の「時系列データ（Ｄ１〜Ｄｎ）」の平均値として背景画像Ａ（ｘ，ｙ）を求め、保持する。すなわち、各画素の時系列データとして保持されている画素値Ｄ１〜Ｄｎを平均し、背景画像Ａ（ｘ，ｙ）の各画素の画素値とし、これを保持する。
【００２８】
有効／無効領域決定部１０は、背景情報保持部８における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）、「不安定状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定し、保持する。
【００２９】
〔実稼働中の背景差分処理〕
実稼働中は、切替スイッチ２を背景差分処理部４側とし、撮像手段１からの移動体の検出対象領域を撮像した時系列の入力画像Ｉ（ｘ，ｙ）を背景差分処理部４へ送る。
【００３０】
背景差分処理部４は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）を取り込み（図３に示すステップ３０１）、この取り込んだ入力画像Ｉ（ｘ，ｙ）（図４（ａ）参照）と背景画像生成部９に保持されている背景画像Ａ（ｘ，ｙ）（図４（ｂ）参照）との差を計算し（ステップ３０２）、予め設定されている閾値Ｔｈｓ（ｘ，ｙ）を用いての閾値処理により差分画像Ｓ（ｘ，ｙ）（図４（ｃ）参照）を得る（ステップ３０３）。この閾値処理は、数式表現すると、下記の（１），（２）式で表される。
【００３１】
Ｓ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜＞Ｔｈｓ（ｘ，ｙ）〕 ・・・・（１）
Ｓ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜≦Ｔｈｓ（ｘ，ｙ）〕 ・・・・（２）
【００３２】
この処理は、入力画像Ｉ（ｘ，ｙ）の画素値と背景画像Ａ（ｘ，ｙ）の画素値（平均値）との差が閾値Ｔｈｓ（ｘ，ｙ）より大きい画素、すなわち背景に大きな変化があった画素の値を「１」とする２値化処理である。
【００３３】
そして、背景差分処理部４は、ステップ３０３で得た差分画像Ｓ（ｘ，ｙ）と有効／無効領域決定部１０に保持されている有効／無効領域（図４（ｄ）参照）とから、背景差分画像ＢＧ（ｘ，ｙ）を得る（ステップ３０４）。この処理は、数式表現すると、下記の（３），（４）式で表される。
【００３４】
ＢＧ（ｘ，ｙ）＝１〔ｉｆ Ｓ（ｘ，ｙ）＝１ａｎｄ（ＳＴＡＴＥ（ｘ，ｙ）＝１）〕・・・・（３）
ＢＧ（ｘ，ｙ）＝０（ｏｔｈｅｒｗｉｓｅ）・・・（４）
【００３５】
この処理は、差分画像Ｓ（ｘ，ｙ）において、その画素値が「１」でかつ有効画素（「安定状態」である画素）である画素の値を「１」、それ以外の画素の値を「０」とする２値化処理である。
この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図４（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）を得ることができる。
【００３６】
なお、この実施の形態では、全領域を対象として入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像Ｓ（ｘ，ｙ）を求め、この差分画像Ｓ（ｘ，ｙ）における無効領域Ｓ２の部分にマスクをかけることによって、無効領域Ｓ２を背景差分処理の対象から除外するようにしているが、有効領域Ｓ１についてのみ入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像を求め、この差分画像を背景差分画像ＢＧ（ｘ，ｙ）として得るようにしてもよい。
【００３７】
〔オフライン的実施：処理方式２〕
図１にはオフライン的実施の代表例として分かり易い処理方式を示したが、図５に示すような処理方式としてもよい。なお、この処理方式では、背景情報保持部８に、撮像手段１が撮像する入力画像の画像フレームを構成する各画素に対応して、その画素の背景情報として、「時系列データ」および「画素状態」に加えて、「経過時間ＥＴ」（画素状態が未定状態に入ってから経過した時間）を保持する。図６に画素毎の背景情報の要素名および概要を示す。この処理方式２では、「経過時間ＥＴ」を背景情報の一部として保持することにより、充分な数の画像（ｎ個の画像）が取り込まれたことを検出し、その検出時点で背景画像の生成および有効／無効領域の自動決定を行う。
【００３８】
〔実稼働前の背景画像の生成および有効／無効領域の決定〕
この処理方式においても、実稼働前に、切替スイッチ２を背景情報作成処理部３側として、移動体の検出対象領域を撮像した撮像手段１からの時系列の入力画像（ｘ，ｙ）を画像確保部５へ送る。このとき、撮像手段１が撮像する画像には移動体や輝度が変化する物体が含まれないようにする。
【００３９】
画像確保部５は、切替スイッチ２を背景情報作成処理部３側とされると、初期状態として、背景情報保持部８における各画素の背景情報の一部である「画素状態」を「未定状態」とする。また、各画素の「経過時間ＥＴ」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【００４０】
撮像手段１から最初の入力画像Ｉ（ｘ，ｙ）が入力されると、画像確保部５は、定量化部６へ定量化指令を送る。定量化部６は、画像確保部５からの定量化指令を受けて、背景情報保持部８に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、取り出した「時系列データ」の平均値に対する標準偏差σを求める。そして、定量化部６は、この求めた各画素の標準偏差σを画素状態分類部７へ送る。
【００４１】
最初の入力画像Ｉ（ｘ，ｙ）が入力された時点では、背景情報保持部８にはまだ各画素の「時系列データ」は１つも保持されていないので、定量化部６ではまだ各画素の標準偏差σを求めることができない。この場合、定量化部６は、各画素の標準偏差σを零として画素状態分類部７へ送る。
【００４２】
画素状態分類部７は、背景情報保持部８に保持されている各画素の「経過時間ＥＴ」を確認し、「経過時間ＥＴ」が予め定められている上限値ＥＴｍａｘに達していなければ、定量化部６からの標準偏差σに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部８に保持させる。また、背景情報保持部８における各画素の「経過時間ＥＴ」を１アップし、画像確保部５へデータの保存指令を送る。なお、この例では、撮像手段１からｎ個の画像が取り込まれるまでの時間ＥＴｎを上限値ＥＴｍａｘとしている。
【００４３】
最初の入力画像Ｉ（ｘ，ｙ）が入力された時点では、背景情報保持部８における各画素の「経過時間ＥＴ」は零とされている。したがって、この場合、画素状態分類部７は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部８に保持させる。また、背景情報保持部８における各画素の「経過時間ＥＴ」を１アップし、画像確保部５へデータの保存指令を送る。この保存指令を受けて、画像確保部５は、撮像手段１からの入力画像（最初の入力画像）Ｉ（ｘ，ｙ）における各画素の画素値Ｄ１を背景情報保持部８に送り、各画素の「時系列データ」として保持させる。
【００４４】
以下、画像確保部５に撮像手段１からの画像Ｉ（ｘ，ｙ）が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部８における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がＤ１，Ｄ２，Ｄ３・・・・Ｄｎと保持されて行き、「経過時間ＥＴ」がＥＴ１，ＥＴ２，ＥＴ３・・・・ＥＴｎとカウントアップされて行く。
【００４５】
画像確保部５にｎ＋１個目の画像Ｉ（ｘ，ｙ）が入力され、画素状態分類部７へ各画素の標準偏差σが与えられたとき、画素状態分類部７で確認される背景情報保持部８における各画素の「経過時間ＥＴ」はＥＴｎ（＝ＥＴｍａｘ）となる。この場合、画素状態分類部７は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部６からの標準偏差σを用いての画素状態の分類を行う。
【００４６】
すなわち、画素状態分類部７は、定量化部６から送られてくる各画素の標準偏差σと予め定められている閾値σｔｈとを比較し、σ＞σｔｈであればその画素を「不安定状態」、σ≦σｔｈであれば「安定状態」と判断する。そして、この判断した各画素の状態（「安定状態」又は「不安定状態」）を背景情報保持部８に送り、各画素の「画素状態」として保持させる。これにより、それまで背景情報保持部８に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【００４７】
背景画像生成部９は、背景情報保持部８における各画素の「時系列データ（Ｄ１〜Ｄｎ）」に基づき、その各画素の「時系列データ（Ｄ１〜Ｄｎ）」の平均値として背景画像Ａ（ｘ，ｙ）を生成し、保持する。
有効／無効領域決定部１０は、背景情報保持部８における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）、「不安定状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定し、保持する。
【００４８】
このような処理方式とした背景差分処理装置１００’においても、画像確保部５において撮像手段１からの時系列の画像がｎ個確保されるし、この確保された画像の各画素の変動具合が定量化部６において定量化されるし、この定量化された各画素の変動具合に基づいてこれら各画素の画素状態が画素状態分類部７で分類されるし、この分類された各画素の画素状態に基づいて背景差分処理の有効／無効領域が有効／無効領域決定部１０において自動的に決定されるので、図１に示した背景差分処理装置１００と実質的に変わるところはない。
【００４９】
〔オンライン的実施：移動体検出装置〕
図７は本発明に係る背景差分処理装置を含む移動体検出装置の一実施の形態の要部を示すブロック図であり、オンライン的実施の一例を示したものである。この移動体検出装置２００では、実稼働中（移動体の検出中）に、背景画像Ａ（ｘ，ｙ）の自動生成および背景差分処理の有効領域Ｓ１／無効領域Ｓ２の自動決定を行う。
【００５０】
図７において、１はＴＶカメラなどの撮像手段、４は背景差分処理部、１１は輪郭抽出処理部、１２は統合処理部、１３は背景情報更新処理部である。この移動体検出装置２００においては、撮像手段１からの所定周期で入力される入力画像Ｉ（ｘ，ｙ）を背景差分処理部４、輪郭抽出処理部１１および背景情報更新処理部１３へ送るようにし、背景差分処理部４において生成される背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部１１において生成される輪郭抽出画像Ｏ（ｘ，ｙ）とから統合処理部１２において移動体輪郭画像Ｍ（ｘ，ｙ）を生成し、この生成した移動体輪郭画像Ｍ（ｘ，ｙ）を背景情報更新処理部１３へフィードバックし、背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２の更新を行うようにしている。
【００５１】
背景差分処理部４は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と、背景情報更新処理部１３からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから、有効領域Ｓ１における変化物体の像を含む背景差分画像ＢＧ（ｘ，ｙ）を生成する。
輪郭抽出処理部１１は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）から、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００５２】
統合処理部１２は、背景差分処理部４からの背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部１１からの輪郭抽出画像Ｏ（ｘ，ｙ）とから、入力画像Ｉ（ｘ，ｙ）中の移動体の全体の輪郭を含む移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
背景情報更新処理部１３は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と統合処理部１２からの移動体輪郭画像Ｍ（ｘ，ｙ）とから、背景差分処理部４への背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２を生成（更新）する。
【００５３】
図８は背景情報更新処理部１３の内部構成の概略を示すブロック図である。背景情報更新処理部１３は、画像確保部５、定量化部６、画素状態分類部７、背景情報保持部８、背景画像生成部９、有効／無効領域決定部１０、移動体有無判定部１４、画素状態確認部１５、移動時間判定部１６を備えている。この背景情報更新処理部１３は、画像確保部５、定量化部６、画素状態分類部７、背景情報保持部８、背景画像生成部９、有効／無効領域決定部１０を備えている点で、図５に示した背景差分処理装置１００’における背景情報作成処理部３と類似している。
【００５４】
〔背景情報更新処理部１３の各部の機能の概略〕
背景情報更新処理部１３において、画像確保部５は、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ）を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部８に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【００５５】
定量化部６は、背景情報保持部８に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部７は、定量化部７で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部８に送り、各画素の背景情報の一部である「画素状態」として保持させる。
【００５６】
なお、「画素状態」には、「未定状態」、「安定状態」、「不安定状態」の他、「移動状態」があり、「移動状態」はさらに「未定状態から移動状態」、「安定状態から移動状態」、「不安定状態から移動状態」に分けられる。これらの「画素状態」については後述する。
【００５７】
背景情報保持部８は、上述した「時系列データ」、「画素状態」に加えて、「経過時間ＥＴ」（画素状態が未定状態に入ってから経過した時間）、「移動時間ＴＭ」（画素状態が移動状態に入ってから経過した時間）を各画素の背景情報として保持する。図９に画素毎の背景情報の要素名および概要を示す。なお、画素の状態の一形態である「移動状態」については後述する。
【００５８】
背景画像生成部９は、背景情報保持部９における各画素の「時系列データ」に基づき、背景画像Ａ（ｘ，ｙ）を生成する。有効／無効領域決定部１０は、背景情報保持部８における各画素の「画素状態」に基づき、背景差分処理の有効領域Ｓ１／無効領域Ｓ２を決定する。
【００５９】
移動体有無判定部１４は、統合処理部１２からフィードバックされてくる移動体輪郭画像Ｍ（ｘ，ｙ）の各画素毎に移動体の有無を判定し、その判定結果を画素状態確認部１５へ送る。この場合、その画素の画素値が「１」であれば移動体有りと判定し、その画素の画素値が「０」でれば移動体無しと判定する。
【００６０】
画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、その画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認し、移動体有りと判定された画素については、その確認した「画素状態」を画素状態分類部７へ送り、移動体無しと判定された画素については、定量化部６へ定量化指令を送る。
【００６１】
移動時間判定部１６は、画素状態確認部１５からの知らせを受けて、「移動体有り」から「移動体無し」へと変化した画素について、背景情報保持部８における背景情報中の「移動時間ＴＭ」をチェックし、その画素に移動体がとどまっていた時間の長短を判定する。
【００６２】
〔移動体検出装置２００における全体の処理の流れ〕
以下では、説明を簡単とするために、実稼働開始後少なくともｎ個の入力画像Ｉ（ｘ，ｙ）が取り込まれるまでの間は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）には移動体や輝度が変化する物体が含まれないものとする。
【００６３】
実稼働開始後、ｎ個の入力画像Ｉ（ｘ，ｙ）が確保されるまでは、背景差分処理部４への有効／無効領域は、その全ての領域が無効領域Ｓ２とされる（後述）。入力画像Ｉ（ｘ，ｙ）がｎ個確保されると、このｎ個の入力画像Ｉ（ｘ，ｙ）に基づく最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が背景情報更新処理部１３において確定され、背景差分処理部４に対して設定される（▲１▼実稼働開始直後の背景画像および有効／無効領域の設定）。
【００６４】
そして、背景差分処理部４において、背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２を用いて、入力画像Ｉ（ｘ，ｙ）と背景画像Ａ（ｘ，ｙ）との間で背景差分処理が行われ、背景差分画像ＢＧ（ｘ，ｙ）が得られる（▲２▼背景差分画像の取得）。
【００６５】
また、この背景差分画像ＢＧ（ｘ，ｙ）の取得と並行して、輪郭抽出処理部１１での入力画像Ｉ（ｘ，ｙ）に対する輪郭抽出処理が行われ、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）が得られる（▲３▼輪郭抽出画像の取得）。
【００６６】
そして、統合処理部１２において、輪郭抽出処理部１１で得られた輪郭抽出画像Ｏ（ｘ，ｙ）中の輪郭（変化物体の輪郭）から背景差分処理部４で得られた背景差分画像ＢＧ（ｘ，ｙ）中の像（移動体の像）と連続するものが抽出され、移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）が得られる（▲４▼移動体の輪郭抽出）。
【００６７】
また、この移動体輪郭画像Ｍ（ｘ，ｙ）が背景情報更新処理部１３へフィードバックされ、背景画像Ａ（ｘ，ｙ）および有効領域Ｓ１／無効領域Ｓ２が自動的に更新される（▲５▼稼働中の背景画像および有効／無効領域の自動更新）。
【００６８】
以下、上述した全体の処理の流れに沿って、各部の詳細な機能を交えながら、その処理手順について説明する。なお、本発明は、この全体の処理の流れ中、「▲１▼実稼働開始直後の背景画像および有効／無効領域の設定」、「▲２▼背景差分画像の取得」、「▲５▼稼働中の背景画像および有効／無効領域の自動更新」の各処理に関係し、「▲３▼輪郭抽出画像の取得」、「▲４▼移動体の輪郭抽出」の各処理とは直接関係しない。
【００６９】
〔▲１▼実稼働開始直後の背景画像および有効／無効領域の設定〕
実稼働開始の指示が出されると、背景情報更新処理部１３における画像確保部５は、初期状態として、背景情報保持部８における各画素の「画素状態」を「未定状態」とする。また、各画素の「経過時間ＥＴ」および「移動時間ＴＭ」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【００７０】
実稼働開始後、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）は、背景差分処理部４、輪郭抽出処理部１１および背景情報更新処理部１３へ送られる。
背景差分処理部４は、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）が入力されると、その入力画像Ｉ（ｘ，ｙ）と背景情報更新処理部１３からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから背景差分画像ＢＧ（ｘ，ｙ）を生成する。
【００７１】
この場合、背景情報更新処理部１３の背景情報保持部８における背景情報中、各画素の「画素状態」は「未定状態」とされている。背景情報更新処理部１３は、「画素状態」が「未定状態」である画素については、その画素を無効画素と判断し、無効画素を集めた領域を背景差分処理の無効領域とする。したがって、この場合、背景差分処理の有効領域Ｓ１はなく、全ての領域が無効領域Ｓ２とされる。
【００７２】
このため、背景差分画像ＢＧ（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）に拘わらず全ての画素が「０」とされ、輪郭抽出処理部１１において得られる輪郭抽出画像Ｏ（ｘ，ｙ）に変化物体の輪郭が抽出されていたとしても、統合処理部１２で得られる移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされる。なお、輪郭抽出処理部１１および統合処理部１２での具体的な処理内容については後述する。
【００７３】
統合処理部１２から得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部１３へフィードバックされる。背景情報更新処理部１３において、移動体有無判定部１４は、統合処理部１２からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。
【００７４】
ここで、移動体有無判定部１４は、図１０に示すフローチャートに従い、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（ステップ１０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ１０２）。この場合、統合処理部１２からの最初の移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされているので、全ての画素において移動体無しと判定される。
【００７５】
移動体有無判定部１４は、各画素についての移動体有無の判定結果を画素状態確認部１５へ送る。画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する。ここで、移動体有りと判定された画素と移動体無しと判定された画素では、以降の処理が異なる。この場合、全ての画素が移動体無しと判定された画素であるので、図１１に示す移動体無し時の処理動作が行われる。
【００７６】
画素状態確認部１５は、移動体無しと判定された各画素の背景情報保持部８における「画素状態」（直前の画素状態）をチェックし（ステップ１０２ａ）、その「画素状態」が「移動状態」であるか否かを確認する。この場合、移動体無しと判定された各画素の「画素状態」は「未定状態」であるので（ステップ１０２ａのＮＯ）、直ちに各画素に対しての定量化指令を定量化部６へ送る（ステップ１０２ｂ）。
【００７７】
定量化部６は、この画素状態確認部１５からの定量化指令を受けて、背景情報保持部８に保持されている各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、「時系列データ」として保持されている画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒを求める。そして、定量化部６は、この求めた各画素の分散Ｖａｒを画素状態分類部７へ送る。
【００７８】
なお、画像フレーム（入力画像（ｘ，ｙ，ｔ））の画素値をＰｉｘ（ｘ，ｙ，ｔ）とすると、画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒ（ｘ，ｙ）はそれぞれ下記の（５）および（６）式で計算される。
【００７９】
【数１】

【００８０】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部８にはまだ各画素の「時系列データ」は１つも保持されていないので、定量化部６ではまだ各画素の分散Ｖａｒを求めることができない。この場合、定量化部６は、各画素の分散Ｖａｒを零として画素状態分類部７へ送る。
【００８１】
画素状態分類部７は、背景情報保持部８に保持されている各画素の「経過時間ＥＴ」を確認し、「経過時間ＥＴ」が予め定められている上限値ＥＴｍａｘに達していなければ（ステップ１０２ｃのＮＯ）、定量化部６からの分散Ｖａｒに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部８に保持させる（ステップ１０２ｄ）。また、背景情報保持部８における各画素の「経過時間ＥＴ」を１アップし（ステップ１０２ｅ）、画像確保部５へデータの保存指令を送る（ステップ１０２ｆ）。なお、この実施の形態では、撮像手段１からｎ個の画像が取り込まれるまでの時間ＥＴｎを上限値ＥＴｍａｘとしている。
【００８２】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部８における各画素の「経過時間ＥＴ」は零とされている。したがって、この場合、画素状態分類部７は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部８に保持させる。また、背景情報保持部８における各画素の「経過時間ＥＴ」を１アップし、画像確保部５へデータの保存指令を送る。この保存指令を受けて、画像確保部５は、撮像手段１からの入力画像（最初の入力画像）Ｉ（ｘ，ｙ）における各画素の画素値Ｄ１を背景情報保持部８に送り、各画素の「時系列データ」として保持させる。
【００８３】
以下、移動体有無判定部１４に統合処理部１２からの移動体輪郭画像Ｍ（ｘ，ｙ）が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部８における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がＤ１，Ｄ２，Ｄ３・・・・Ｄｎと保持されて行き、「経過時間ＥＴ」がＥＴ１，ＥＴ２，ＥＴ３・・・・ＥＴｎとカウントアップされて行く。
【００８４】
移動体有無判定部１４にｎ＋１個目の移動体輪郭画像Ｍ（ｘ，ｙ）が入力され、画素状態分類部７へ定量化部６から各画素の分散Ｖａｒが与えられると、画素状態分類部７で確認される背景情報保持部８における各画素の「経過時間ＥＴ」はＥＴｎとなり、ステップ１０２ｃにおいて経過時間ＥＴが上限値ＥＴｍａｘに達したことが検出される。この場合、画素状態分類部７は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部６からの分散Ｖａｒを用いての画素状態の分類を行う。
【００８５】
すなわち、画素状態分類部７は、定量化部６から送られてくる各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し（ステップ１０２ｇ）、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断する。そして、この判断した各画素の状態（「安定状態」又は「不安定状態」）を背景情報保持部８に送り、各画素「画素状態」として保持させる（ステップ１０２ｈ，１０２ｉ）。これにより、それまで背景情報保持部８に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【００８６】
背景画像生成部９は、背景情報保持部８における各画素の「時系列データ（Ｄ１〜Ｄｎ）」に基づき、その各画素の「時系列データ（Ｄ１〜Ｄｎ）」の平均値として背景画像Ａ（ｘ，ｙ）を生成し、保持する。
有効／無効領域決定部１０は、背景情報保持部８における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）、「不安定状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定し、保持する。
【００８７】
この後、画素状態分類部７は、画像確保部５へデータの保存指令を送る（ステップ１０２ｆ）。この保存指令を受けて、画像確保部５は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）（ｎ＋１個目の入力画像）における各画素の画素値Ｄｎ＋１を背景情報保持部８に送り、各画素の「時系列データ」中の最も古い画素値Ｄ１と置き換える（ステップ１０２ｆ）。
【００８８】
このようにして、背景情報更新処理部１３において、最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が確定され、背景差分処理部４に対して設定される。
【００８９】
〔実稼働中の移動体の検出〕
今、実稼働開始から時間ＥＴｎ＋１を経過した後の現時刻をＴとし、例として、この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）を図１２（ａ）、背景情報更新処理部１３からの背景画像Ａ（ｘ，ｙ）を図１２（ｂ）、背景情報更新処理部１３からの背景差分処理の有効領域Ｓ１／無効領域Ｓ２を図１２（ｄ）に示す。この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）は、背景差分処理部４、輪郭抽出処理部１１および背景情報更新処理部１３へ送られる。
【００９０】
〔▲２▼背景差分画像の取得：背景差分処理〕
背景差分処理部４は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図１２（ａ））と背景画像更新処理部１３からの背景画像Ａ（ｘ，ｙ）（図１２（ｂ））との差を計算し、予め設定されている閾値Ｔｈｓ（ｘ，ｙ）を用いての閾値処理により差分画像Ｓ（ｘ，ｙ）（図１２（ｃ））を得る。この閾値処理は、数式表現すると、前記した（１），（２）式で表される。
【００９１】
そして、背景差分処理部４は、この閾値処理によって得た差分画像Ｓ（ｘ，ｙ）と背景情報更新処理部１３からの有効領域Ｓ１／無効領域Ｓ２（図１２（ｄ）参照）とから、背景差分画像ＢＧ（ｘ，ｙ）を得る。この処理は、数式表現すると、前記した（３），（４）式で表される。この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図１２（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）が得られる。
【００９２】
この例では、差分画像Ｓ（ｘ，ｙ）において、移動体である人物Ｍａの大部分が無効領域Ｓ２に位置している。したがって、背景差分画像ＢＧ（ｘ，ｙ）からは、ネオンＮｅとともにその無効領域Ｓ２に位置する人物Ｍａの大部分が除外されている。背景差分画像ＢＧ（ｘ，ｙ）において、「１」とされた画素は、有効領域Ｓ１に位置している人物Ｍａを示している。このようにして、背景差分処理によって、有効領域における移動体の像（２値画像）が得られる。
【００９３】
〔▲３▼輪郭抽出画像の取得：輪郭抽出処理〕
輪郭抽出処理部１１は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。この実施の形態では、一般にフレーム間差分と呼ばれている画像処理によって、輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００９４】
図１３は輪郭抽出処理部１１の要部を示すブロック図である。輪郭抽出処理部１１は、フレーム間差分処理部１７と画像メモリ１８とを備えている。フレーム間差分処理部１７は、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図１２（ａ）：今回の入力画像）と画像メモリ１８に保存されている１フレーム前の入力画像Ｆ（ｘ，ｙ）（図１２（ｆ）：前回の入力画像）との差を計算し、予め設定されている閾値Ｔｈｏ（ｘ，ｙ）を用いての閾値処理によりフレーム間差分画像（輪郭抽出画像）Ｏ（ｘ，ｙ）（図１２（ｇ））を得る。この閾値処理は、数式表現すると、下記の（７），（８）式で表される。
【００９５】
Ｏ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜＞Ｔｈｏ（ｘ，ｙ）〕 ・・・・（７）
Ｏ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜≦Ｔｈｏ（ｘ，ｙ）〕 ・・・・（８）
【００９６】
この処理は、今回の入力画像Ｉ（ｘ，ｙ）の画素値と前回の入力画像Ｆ（ｘ，ｙ）の画素値との差が閾値Ｔｈｏ（ｘ，ｙ）より大きい画素、すなわちフレーム間で大きな変化があった画素の値を「１」とする２値化処理である。「１」とされた画素は、フレーム間で変化した物体を示し、ネオンのように移動体以外の物体も含まれる場合がある。
【００９７】
フレーム間差分処理部１７でのフレーム間差分処理の実行後、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）はＦ（ｘ，ｙ）として画像メモリ１８に格納され、次回行われるフレーム間差分処理において１フレーム前の入力画像として用いられる。なお、この例では、輪郭抽出処理部１１においてフレーム間差分処理を行うようにしたが、現時刻Ｔの入力画像Ｉ（ｘ，ｙ）に対して画像処理で一般に知られている微分処理、領域分割などを用いて現時刻の入力画像Ｉ（ｘ，ｙ）内の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を得るようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００９８】
〔▲４▼移動体の輪郭抽出：統合処理〕
統合処理部１２は、背景差分処理部４からの背景差分画像ＢＧ（ｘ，ｙ）中の移動体の像に基づいて輪郭抽出処理部１１からの輪郭抽出画像Ｏ（ｘ，ｙ）中の変化物体の輪郭を絞り込み、移動体の全体の輪郭を特定する。
【００９９】
基本的な考え方は、輪郭抽出画像Ｏ（ｘ，ｙ）に含まれる変化物体の輪郭から背景差分画像ＢＧ（ｘ，ｙ）の有効領域内の移動体の情報、すなわち信頼性の高い移動体の像に基づき、無効領域に位置する移動体の輪郭を絞り込んで行くことにある。
【０１００】
本実施の形態の統合処理の主要部分である「移動体書き出し処理」（後述）では、以下に説明するように、背景差分画像ＢＧ（ｘ，ｙ）の有効領域の画素を探索点として、輪郭抽出画像Ｏ（ｘ，ｙ）に対して探索点の周囲の画素の値を繰り返しチェックして行く。その結果、統合処理部１２における移動体の輪郭抽出においては、有効領域と無効領域との区別がなくなる。
【０１０１】
背景差分画像ＢＧ（ｘ，ｙ）（図１２（ｅ））において、その値が「１」の画素は、移動体（人物Ｍａ）を表す。輪郭抽出画像Ｏ（ｘ，ｙ）において、その値が「１」の画素は、フレーム間で変化した物体（人物Ｍａを含む）を表す。
【０１０２】
背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像の輪郭と輪郭抽出画像Ｏ（ｘ，ｙ）における人物Ｍａの輪郭とは一致する。従って、背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像に基づき、この像の輪郭とつながる輪郭抽出画像Ｏ（ｘ，ｙ）における変化物体の輪郭を求めれば、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図１２（ｈ））を得ることができる。
【０１０３】
統合処理部１２における背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）とから移動体輪郭画像Ｍ（ｘ，ｙ）を生成する処理の流れを図１４に示す。なお、前処理として、背景差分画像ＢＧ（ｘ，ｙ）や輪郭抽出画像Ｏ（ｘ，ｙ）に対し、収縮・膨張処理などを行いノイズ除去を行ってもよい。
【０１０４】
統合処理部１２では、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、その値が共に「１」であるか否かを順番にチェックする（ステップ４０１）。背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素の値が共に「１」であれば（ステップ４０１のＹＥＳ）、その都度、後述する「移動体書き出し処理」を実行する（ステップ４０２）。
【０１０５】
すなわち、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、下記の（９）式に従って順次評価値を求め、評価値が「１」となれば、「移動体書き出し処理」を行う。この「移動体書き出し処理」の繰り返しによって、移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ａｎｄ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（９）
【０１０６】
なお、この（９）式は、（ＢＧ（ｘ，ｙ）、Ｏ（ｘ，ｙ）共に「１」の画素については評価値を「１」とし、それ以外の画素については評価値を「０」とすることを意味している。評価値が「１」となった画素についてのみ「移動体書き出し処理」を行い、評価値が「０」となった画素については「移動体書き出し処理」は行わない。
【０１０７】
〔移動体書き出し処理〕
ステップ４０１において、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素が共に「１」であることが確認されると（図１６（ａ），（ｂ）参照）、すなわち上記（９）式によって求められる評価値が「１」となると、統合処理部１２はその画素の座標点（ｘ，ｙ）を探索点として探索点メモリに書き込む（図１５に示すステップ５０１）。
【０１０８】
また、その探索点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ５０２：図１６（ｃ）参照）。また、再度探索点とされないように、その探索点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ５０３：図１６（ｄ），（ｅ）参照）。
【０１０９】
そして、探索点（ｘ，ｙ）の周囲の画素について、すなわち探索点（ｘ，ｙ）の周囲に位置する背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、順番にその値をチェックして行く（ステップ５０４〜５０８）。なお、本実施の形態では、周囲８画素を処理対象とする。
【０１１０】
図１７（ａ）は輪郭抽出画像Ｏ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示し、図１７（ｂ）は背景差分画像ＢＧ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示す。この探索点（ｘ，ｙ）の周囲８画素について、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素（周囲画素）の値をチェックし、どちらかが「１」であれば（ステップ５０４のＹＥＳ）、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録する（ステップ５０５）。図１７に示した例では、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）が次期探索点として登録される。
【０１１１】
また、次期探索点を登録した後、その次期探索点に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ５０６）。図１７に示した例では、図１８（ａ）に示すように、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）の対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値が「１」とされる。そして、再度探索点とされないように、その次期探索点に対応する背景差分画像ＢＧ（ｘ，ｙ）および輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ５０７：図１９（ａ），（ｂ）参照）。
【０１１２】
すなわち、探索点（ｘ，ｙ）の周囲の背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素（周囲画素）について、下記の（１０）式に従って評価値を求め、評価値が「１」となれば、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録し、その周囲画素の座標点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とし、その周囲画素の座標点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする。探索点（ｘ，ｙ）の周囲画素の全てについて処理を終了すれば（ステップ５０８のＹＥＳ）、ステップ５０９へ進む。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ｏｒ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（１０）
【０１１３】
ステップ５０９では、次期探索点が次期探索点メモリに登録されているか否かをチェックし、次期探索点が次期探索点メモリに登録されていれば（ステップ５０９のＹＥＳ）、その登録されている次期探索点の１つを新しい探索点として探索点メモリに登録し（ステップ５１０）、ステップ５０４へ戻って同様動作を繰り返す。
【０１１４】
これにより、図１８（ｂ）に示すように、移動体輪郭画像Ｍ（ｘ，ｙ）において、その値を「１」とする画素が探索点（ｘ，ｙ）を中心としてつながって行く。次期探索点メモリに次期探索点がなくなれば（ステップ５０９のＮＯ）、一連の移動体書き出し処理を終了する。この移動体書き出し処理は、有効領域Ｓ１，無効領域Ｓ２の区別なく、ステップ４０３で全画素が終了するまで繰り返される。
【０１１５】
この「移動体書き出し処理」の繰り返しによって、背景差分画像ＢＧ（ｘ，ｙ）における信頼性の高い人物Ｍａの像とつながる輪郭抽出画像Ｏ（ｘ，ｙ）中における変化物体の輪郭が求められて行き、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図１２（ｈ））が得られるようになる。これにより、自動的に決定（自動的に更新）される無効領域Ｓ２が広くなっても、人物Ｍａの検出を高精度で行うことができるようになる。
【０１１６】
〔▲５▼稼働中の背景画像および有効／無効領域の自動更新〕
統合処理部１２で得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部１３へフィードバックされる。背景情報更新処理部１３において、移動体有無判定部１４は、統合処理部１２からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。すなわち、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（図１０のステップ１０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ１０２）。
【０１１７】
〔移動体無しと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１４は、各画素についての移動体有無の判定結果を画素状態確認部１５へ送る。画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する（図１１のステップ１０２ａ）。この例では、説明上、背景情報保持部８における移動体無しと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【０１１８】
この場合、画素状態確認部１５は、移動体無しと判定された全ての画素について定量化部６へ定量化指令を送る（ステップ１０２ａ，１０２ｂ）。定量化部６は、この定量化指令を受けて、背景情報保持部８に保持されている移動体無しと判定された各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める。
【０１１９】
画素状態分類部７は、移動体無しと判定された各画素の経過時間ＥＴが上限値ＥＴｍａｘに達していることを確認のうえ（ステップ１０２ｃのＹＥＳ）、定量化部６から送られてくる移動体無しと判定された各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断し、その画素の「画素状態」として背景情報保持部８に保持（更新）させる（ステップ１０２ｈ，１０２ｉ）。
【０１２０】
これにより、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈを超えた画素（前回はＶａｒ≦Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「安定状態」から「不安定状態」へと変更される（図２０に示す遷移▲５▼）。また、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈ以下になった画素（前回はＶａｒ＞Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「不安定状態」から「安定状態」へと変更される（図２０に示す遷移▲６▼）。
【０１２１】
この後、画素状態分類部７は、画像確保部５へデータの保存指令を送る。画像確保部５は、画素状態分類部７からの保存指令を受けて、撮像手段１からの入力画像Ｉ（ｘ，ｙ）における移動体無しと判定された各画素の画素値を背景情報保持部８に送り、その各画素の「時系列データ」中の最も古い画素値と置き換えて保存する（ステップ１０２ｆ）。
【０１２２】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１４は、各画素についての移動体有無の判定結果を画素状態確認部１５へ送る。画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部８における移動体有りと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【０１２３】
この場合、画素状態確認部１５は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部７へ送る。画素状態分類部７は、画素状態確認部１５から送られてくる「画素状態」が「安定状態」であった場合、その画素について「安定状態」から「移動状態」への遷移と判断し（図２０に示す遷移▲３▼）、すなわちその「画素状態」を「移動状態」の一形態である「安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部８に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図２１に示す処理内容▲１▼参照）。これにより、「安定状態」から「移動状態」へ遷移した画素について、その移動時間（移動状態に遷移してからの経過時間）ＴＭのカウントが開始される。
【０１２４】
画素状態分類部７は、画素状態確認部１５から送られてくる「画素状態」が「不安定状態」であった場合、その画素について「不安定状態」から「移動状態」への遷移と判断し（図２０に示す遷移▲４▼）、すなわちその「画素状態」を「移動状態」の一形態である「不安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部８に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図２１に示す処理内容▲２▼参照）。これにより、「不安定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【０１２５】
なお、全ての場合において「移動状態」への更新後は、その画素の背景情報における「時系列データ」中の最新の画素値（直前の画素値）を現在の画素値とし、この現在の画素値を最も古い画素値と置き換えて保存する。すなわち、移動体有りと判定された画素については、その移動体を含む画素値を背景情報中の時系列データとしては含めない。
【０１２６】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれている場合〕
移動体有無判定部１４は、各画素についての移動体有無の判定結果を画素状態確認部１５へ送る。画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部８における移動体有りと判定された画素の「画素状態」に「移動状態」が含まれているものとする。
【０１２７】
この場合、画素状態確認部１５は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部７へ送る。画素状態分類部７は、画素状態確認部１５から送られてくる「画素状態」が「移動状態」であった場合、その送られてきた「移動状態」をそのままその画素の「画素状態」として背景情報保持部８に保持（更新）させる。すなわち、直前の「画素状態」が「安定状態から移動状態」であれば更新後の「画素状態」も「安定状態から移動状態」とし、直前の「画素状態」が「不安定状態から移動状態」であれば更新後の「画素状態」も「不安定状態から移動状態」とする。この場合、その画素の背景情報中、「移動時間ＴＭ」を１アップする（図２１に示す処理内容▲４▼，▲５▼参照）。なお、移動時間ＴＭは、予め定められた上限値ＴＭｍａｘより上には増やさない。
【０１２８】
〔移動体無しと判定された画素：移動状態でなくなった場合〕
移動体有無判定部１４は、移動体輪郭画像Ｍ（ｘ，ｙ）から移動体が無くなると、それまで移動体有りと判定していた画素を移動体無しと判定する。この場合、画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する。
【０１２９】
ここで、移動体無しと判定された画素の直前の「画素状態」は「移動状態」とされているので（図１１に示すステップ１０２ａのＹＥＳ）、画素状態確認部１５はその旨を移動時間判定部１６へ知らせる。移動時間判定部１６は、画素状態確認部１５からの知らせを受けて、その移動体無しと判定された画素の背景情報保持部８における「移動時間ＴＭ」をチェックする（ステップ１０２ｊ）。
【０１３０】
（イ）移動体がとどまっていた時間が短かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していない場合、すなわち移動体がその画素にとどまっていた時間が短かかった場合、移動時間判定部１６はその画素の背景情報中の「移動時間ＴＭ」を零に戻し（ステップ１０２ｋ）、定量化部６へ定量化指令を送る。
【０１３１】
定量化部６は、移動時間判定部１６からの定量化指令を受けて、背景情報保持部８に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ１０２ｂ）。この場合、移動体無しと判定された画素の「経過時間ＥＴ」は上限値ＥＴｍａｘに達しているので（ステップ１０２ｃのＹＥＳ）、ステップ１０２ｇ以降の処理が実行される。
【０１３２】
この処理によって、「安定状態」か「不安定状態」かが判断され、「安定状態」と判断された画素の背景情報中の「画素状態」は「移動状態」から「安定状態」へ遷移し（ステップ１０２ｉ：図２０の遷移▲７▼）、「不安定状態」として判断された画素の背景情報中の「画素状態」は「移動状態」から「不安定状態」へ遷移する（ステップ１０２ｈ：図２０の遷移▲８▼）。
【０１３３】
（ロ）移動体がとどまっていた時間が長かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していた場合、すなわち移動体がその画素にとどまっていた時間が長かかった場合、移動時間判定部１６はその画素の背景情報中の「時系列データ」をクリするとともに（ステップ１０２ｍ）、その画素の背景情報中の「経過時間ＥＴ」および「移動時間ＴＭ」を零に戻し（ステップ１０２ｎ，１０２ｋ）、定量化部６へ定量化指令を送る。
【０１３４】
定量化部６は、移動時間判定部１６からの定量化指令を受けて、背景情報保持部８に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ１０２ｂ）。この場合、移動体無しと判定された画素の経過時間ＥＴは０に戻されているので（ステップ１０２ｃのＮＯ）、ステップ１０２ｄ以降の処理が実行される。この処理によって、その画素の背景情報中の画素の「画素状態」は、「移動状態」から「未定状態」へ遷移する（ステップ１０２ｄ：図２０の遷移▲９▼）。また、その画素の背景情報中の「経過時間ＥＴ」のカウントが開始されるとともに（ステップ１０２ｅ）、その画素の背景情報中の「時系列データ」の収集が開始される（ステップ１０２ｆ）。
【０１３５】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態」が含まれている場合〕
移動体有無判定部１４は、各画素についての移動体有無の判定結果を画素状態確認部１５へ送る。画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部８における移動体有りと判定された画素の「画素状態」に「未定状態」が含まれているものとする。
【０１３６】
この場合、画素状態確認部１５は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部７へ送る。画素状態分類部７は、画素状態確認部１５から送られてくる「画素状態」が「未定状態」であった場合、その画素について「未定状態」から「移動状態」への遷移と判断し（図２０の遷移（１０））、すなわちその「画素状態」を「移動状態」の一形態である「未定状態から移動状態」であると判断し、この「未定状態から移動状態」をその画素の「画素状態」として背景情報保持部８に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図２１に示す処理内容▲３▼参照）。これにより、「未定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【０１３７】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態から移動状態」が含まれている場合〕
移動体有無判定部１４は、各画素についての移動体有無の判定結果を画素状態確認部１５へ送る。画素状態確認部１５は、移動体有無判定部１４からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部８における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部８における移動体有りと判定された画素の「画素状態」に「未定状態から移動状態」が含まれているものとする。
【０１３８】
この場合、画素状態確認部１５は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部７へ送る。画素状態分類部７は、画素状態確認部１５から送られてくる「画素状態」が「未定状態から移動状態」であった場合、その送られてきた「未定状態から移動状態」をそのままその画素の「画素状態」として背景情報保持部８に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップする（図２１に示す処理内容▲６▼参照）。
【０１３９】
このようにして自動更新された各画素の背景情報より、移動体輪郭画像Ｍ（ｘ，ｙ）が得られる毎に、有効／無効領域決定部１０は、「安定状態」である画素、「安定状態から移動状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）とし、「未定状態」である画素、「不安定状態」である画素、「未定状態から移動状態」である画素「不安定状態から移動状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定する。また、背景画像生成部９は、各画素の「時系列データ」の平均値として背景画像Ａ（ｘ，ｙ）を生成する。
【０１４０】
【発明の効果】
以上説明したことから明らかなように本発明によれば、入力画像を撮像する撮像手段からの時系列の画像を確保し、この確保した時系列の画像間で画像フレームを構成する各画素の変動具合を定量化し、この定量化した各画素の変動具合に基づいて背景差分処理の有効領域を自動的に決定するようにしたので、移動体などの検出に入る前に有効領域の自動決定を行ったり（オフライン的実施）、移動体などの検出中に有効領域の自動決定を行ったりすることにより（オンライン的実施）、背景差分処理の有効／無効領域の特定および設定に要する人間の手間をなくすことができる。また、オンライン的実施とすれば、移動体などの検出中における背景差分処理の有効／無効領域の設定を常に適切に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明に係る背景差分処理装置の一実施の形態（オフライン的実施の処理方式１）の要部を示すブロック図である。
【図２】この背景差分処理装置における画素毎の背景情報の要素名および概要を示す図である。
【図３】この背景差分処理装置において決定された有効／無効領域を使用しての背景差分処理を示すフローチャートである。
【図４】このフローチャートに従う背景差分処理を説明するための図である。
【図５】本発明に係る背景差分処理装置の一実施の形態（オフライン的実施の処理方式２）の要部を示すブロック図である。
【図６】この背景差分処理装置における画素毎の背景情報の要素名および概要を示す図である。
【図７】本発明に係る背景差分処理装置を含む移動体検出装置の一実施の形態（オンライン的実施）の要部を示すブロック図である。
【図８】この移動体検出装置における背景情報更新処理部の内部構成の概略を示すブロック図である。
【図９】この移動体検出装置における画素毎の背景情報の要素名および概要を示す図である。
【図１０】この移動体検出装置における移動体の有無の判定処理を示すフローチャートである。
【図１１】この移動体検出装置における移動体無しと判定された場合の処理を示すフローチャートである。
【図１２】この移動体検出装置における移動体の検出処理を説明するための図である。
【図１３】この移動体検出装置における輪郭抽出処理部の要部を示すブロック図である。
【図１４】この移動体検出装置における統合処理部での背景差分画像と輪郭抽出画像とからの移動体輪郭画像の生成処理を示すフローチャートである。
【図１５】この移動体検出装置における統合処理部での移動体輪郭画像を生成する際の移動体書き出し処理を示すフローチャートである。
【図１６】このフローチャートに従う移動体書き出し処理を説明するための図である。
【図１７】輪郭抽出画像および背景差分画像における最初の探索点（ｘ，ｙ）の周囲８画素を示す図である。
【図１８】移動体輪郭画像が出来上がって行く様子を示す図である。
【図１９】再度探索点とされないように時期探索点に対応する背景差分画像および輪郭抽出画像における画素の値が「０」とされて行く様子を示す図である。
【図２０】画素状態分類部で分類される「画素状態」の遷移図である。
【図２１】移動体有りと判定された画素についての処理内容を示す図である。
【図２２】従来の背景差分処理を説明する図である。
【図２３】頻繁に変化する物体として例えばネオンが含まれている場合の背景差分処理を説明する図である。
【図２４】人為的に有効／無効領域を設定して背景差分処理を行うようにした従来例を説明する図である。
【符号の説明】
１…撮像手段、２…切替スイッチ、３…背景情報作成処理部、４…背景差分処理部、５…画像確保部、６…定量化部、７…画素状態分類部、８…背景情報保持部、９…背景画像生成部、１０…有効／無効領域決定部、１１…輪郭抽出処理部（フレーム間差分処理部）、１２…統合処理部、１３…背景情報更新処理部、１４…移動体有無判定部、１５…画素状態確認部、１６…移動時間判定部、１７…フレーム間差分処理部、１８…画像メモリ、１００，１００’…背景差分処理装置、２００…移動体検出装置。

Claims (4)

1. 画像フレーム内で任意に設定される有効領域を対象として所定の背景を含む入力画像と前記背景からなる背景画像との差分を求め、前記入力画像の前記有効領域内における変化物体の像を含む背景差分画像を求める背景差分処理方法において、
   前記入力画像を撮像する撮像手段からの時系列の画像を確保する画像確保ステップと、
   この画像確保ステップによって確保された前記時系列の画像間で前記画像フレームを構成する各画素の変動具合を定量化する定量化ステップと、
   この定量化ステップによって定量化された各画素の変動具合に基づいて前記背景差分画像を求める際の背景差分処理の有効領域を自動的に決定する有効領域決定ステップと
   を備えたことを特徴とする背景差分処理方法。
2. 請求項１に記載された背景差分処理方法において、
   前記有効領域決定ステップは、
   前記定量化ステップによって定量化された各画素の変動具合に基づいてこれら各画素の状態を分類する画素状態分類ステップと、
   前記撮像手段からの画像に移動体が含まれる場合、その移動体を含む画素について、前記画素状態分類ステップによって分類された直前の画素状態を参照し、有効画素／無効画素の判断を行うステップと
   を含むことを特徴とする背景差分処理方法。
3. 画像フレーム内で任意に設定される有効領域を対象として所定の背景を含む入力画像と前記背景からなる背景画像との差分を求め、前記入力画像の前記有効領域内における変化物体の像を含む背景差分画像を求める背景差分処理装置において、
   前記入力画像を撮像する撮像手段からの時系列の画像を確保する画像確保手段と、
   この画像確保手段によって確保された前記時系列の画像間で前記画像フレームを構成する各画素の変動具合を定量化する定量化手段と、
   この定量化手段によって定量化された各画素の変動具合に基づいて前記背景差分画像を求める際の背景差分処理の有効領域を自動的に決定する有効領域決定手段と
   を備えたことを特徴とする背景差分処理装置。
4. 請求項３に記載された背景差分処理装置において、
   前記有効領域決定手段は、
   前記定量化手段によって定量化された各画素の変動具合に基づいてこれら各画素の状態を分類する画素状態分類手段と、
   前記撮像手段からの画像に移動体が含まれる場合、その移動体を含む画素について、前記画素状態分類手段によって分類された直前の画素状態を参照し、有効画素／無効画素の判断を行う手段と
   を備えたことを特徴とする背景差分処理装置。

Images