JP2004228770A

JP2004228770A - 画像処理システム

Info

Publication number: JP2004228770A
Application number: JP2003012435A
Authority: JP
Inventors: Daisaku Horie; 大作保理江
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-01-21
Filing date: 2003-01-21
Publication date: 2004-08-12

Abstract

【課題】時間差分による物体の検出と、背景差分による物体の検出とを行なう画像処理システムにおいて、時間差分による物体の処理が連続して行なわれないことを防止する。
【解決手段】カメラ内ＣＰＵ２０４は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７とを備えている。
外部ＰＣ２０８は、背景（基準画像）を取得するための背景取得処理部２０９と、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１と、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３とを備えている。連続性が重要となる処理をカメラ内で行い、連続性がさほど重要でない処理を外部ＰＣで行なう。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
この発明は画像処理システムに関し、特に逐次入力された画像から物体の検出処理を行なう画像処理システムに関する。
【０００２】
【従来の技術】
従来よりカメラを用い、侵入者の監視、移動人物の計数、人物の在不在の判定、装置の操作者等の状態把握、人物認証のための人物領域切出しなどを行うことを目的としたシステムが知られている。
【０００３】
そのような目的のために、侵入者、移動人物などの人物抽出が行なわれる。人物抽出においては、背景差分方式が利用されることが多い。背景差分方式では、検出対象となる被写体が存在しない画像が基準画像として取得される。各時刻におけるカメラからの入力画像と基準画像との差分をもとに被写体抽出が行なわれる。
【０００４】
同様に、時間差のある２画像の間の差分によって被写体検出を行う方式として、時間差分方式がある。これは、２画像の間の動きのある物体を検出することを目的とするものである。
【０００５】
図３２は、時間差分方式での処理を説明するための図である。
図を参照して、検出対象となる撮影位置での時系列画像がカメラにより撮影される。時刻Ｔ１，Ｔ２，Ｔ３での画像が撮影されたと仮定すると、時刻Ｔ１での画像と時刻Ｔ２での画像との間の差分画像Ｔ２−Ｔ１、および時刻Ｔ２での画像と時刻Ｔ３での画像との間の差分画像Ｔ３−Ｔ２が求められる。この差分画像により、侵入物体の有無とその位置とを検出することができる。
【０００６】
図３３は、背景差分方式での処理を説明するための図である。
図を参照して、検出対象となる撮影位置での背景（「基準画像」ともいう。）Ｓが取得される。カメラにより時刻Ｔ１，Ｔ２，Ｔ３での画像が撮影され、基準画像Ｓと撮影された画像との差分画像Ｔ１−Ｓ，Ｔ２−Ｓ，Ｔ３−Ｓが求められる。この差分画像により、侵入物体の有無とその位置とを検出することができる。
【０００７】
背景差分方式は、動きを検出するのではなく基準画像に対する物体の侵入を検出する点で、時間差分方式とは異なる。また、背景差分方式は、比較的連続した時系列画像間のフレーム差分をとるのではなく、時間方向の連続性は要求されない２画像間でのフレーム差分をとる、といった点において、時間差分方式とは異なる。このように、背景差分方式と時間差分方式は性質が異なるものである。
【０００８】
侵入検出の方法として、背景差分方式と時間差分方式とを併用する技術が、以下の特許文献１と特許文献２とに記載されている。
【０００９】
【特許文献１】
特開平７−３３４６８３号公報
【００１０】
【特許文献２】
特開平９−２６５５８５号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、背景差分方式には以下の問題点がある。
【００１２】
まず第１に、カメラの老朽化、風の影響などによって、基準画像と現時刻における撮影画像との間の撮影位置がずれてしまい、これにより誤検出が行われる可能性がある。
【００１３】
すなわち図３４左に示されるように、基準画像と現時刻における撮影画像との撮影位置にずれがない場合、正常に侵入物体を検出することができるが、図３４右に示されるように、基準画像と現時刻における撮影画像との撮影位置にずれがある場合、侵入物体が存在しない領域に差分値が検出されてしまう。これにより、この領域を侵入物体と誤検出してしまう問題がある。
【００１４】
また、図３５左に示されるように、基準画像と現時刻における撮影画像との間に照明条件（明るさ）の変化がない場合、正常に侵入物体を検出することができるが、図３５右に示されるように、基準画像と現時刻における撮影画像との間に照明条件の変化がある場合、照明条件の変動に起因する差分値によって侵入物体を誤検出する問題がある。
【００１５】
これらの誤検出を防ぐために行なわれる画像の補正処理は、装置にとって負荷の重いものであり、処理を行うために時間を要する。
【００１６】
従って、侵入検出の方法として背景差分方式と時間差分方式とを併用する技術を用いると、背景差分を求めるために装置の負荷がかかり、時間差分方式の処理に影響を及ぼすことがある。たとえば、背景差分による人物検出処理をしている間に、検出対象となっている人物が速い移動速度で画面から逃げ去ってしまったり、新たな人物が侵入してきた場合に、これらを検出することができないのである。
【００１７】
背景差分方式における処理時間を短くするためには、ＣＰＵの性能を上げることが必要となる。しかし、これにより装置のサイズや重量が大きくなってしまったり、装置が高価になってしまうといった新たな問題が生じる。特に、カメラサイズが大きくなることは、監視装置を目立ちやすくすることに繋がり、好ましくない。また、重量により装置の設置位置が制限されることを鑑みると、装置の商品価値が大きく低下することも考えられる。
【００１８】
さらに、サーバー１つに対して複数のカメラを接続するようなシステムを構築することも考えられるが、このような場合にカメラの高価格化は、システム全体のコストアップに繋がるため好ましくない。
【００１９】
この発明は上述のような問題点を解決するためになされたものであり、２以上の処理を実行する画像処理システムにおいて、適切な処理を行うことができる画像処理システムを提供することを目的としている。
【００２０】
【課題を解決するための手段】
上記目的を達成するためこの発明のある局面に従うと、画像処理システムは、画像を逐次入力する画像入力部と、逐次入力された画像に対し、リアルタイム性が要求される第１の処理を行なう第１処理部と、画像入力部に入力された画像の少なくとも一部の画像を用いた第２の処理を行なう第２処理部とを備え、第２の処理は、第１の処理と比較して、リアルタイム性が要求されない処理であることを特徴とする。
【００２１】
この発明に従うと、第１処理部においてリアルタイム性が要求される処理が行なわれ、第２処理部において第１の処理と比較して、リアルタイム性が要求されない処理が行なわれる。これにより、第１の処理部の負担を増加させることがなくなり、適切な処理を行うことができる画像処理システムを提供することが可能となる。
【００２２】
この発明の他の局面に従うと、画像処理システムは、画像を逐次入力する画像入力部と、逐次入力された画像を用いて、画像中における物体の第１の検出処理を行なう第１処理部と、画像入力部に入力された画像の少なくとも一部の画像を用いて、画像中における物体の第２の検出処理を行なう第２処理部と、第１処理部と第２処理部とで行なった物体の検出処理により物体が検出されると、第３の処理を開始する第３処理部とを備える。
【００２３】
この発明に従うと、第１処理部において逐次入力された画像を用いて検出処理が行なわれ、第２処理部において、入力された画像の少なくとも一部の画像を用いて、画像中における物体の検出処理が行なわれる。第１処理部と第２処理部とで行なった物体の検出処理により物体が検出されると、第３の処理が開始される。これにより、第１の処理部の負担を増加させることがなくなり、適切な処理を行うことができる画像処理システムを提供することが可能となる。
【００２４】
好ましくは画像処理システムは、第１処理部においては、逐次入力された画像を用いて時間差分による物体の検出処理を行ない、第２処理部においては、基準画像と画像入力部に入力された画像の少なくとも一部の画像とを用いて、背景差分による物体の検出処理を行なう。
【００２５】
この発明によると、第１処理部においては時間差分による物体の検出処理が行なわれ、第２処理部においては背景差分による物体の検出処理が行なわれる。これにより、第１の処理部での時間差分による物体の検出処理の負担を増加させることがなくなり、適切な処理を行うことができる画像処理システムを提供することが可能となる。
【００２６】
なお、いずれの発明においても、リアルタイム性が要求される処理としては、処理対象となる画像を連続的に取得するといった画像入力に即時性が要求される処理や、処理結果を遅延なく（あるいは比較的遅延なく）提供するといった画像処理自体に即時性が要求される処理が挙げられる。
【００２７】
【発明の実施の形態】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理システムの原理を説明するためのブロック図である。図を参照して、画像処理システムは、カメラ１０１と、カメラ１０１からの画像情報をそれぞれ入力する第１の処理部１０３および第２の処理部１０５と、第１の処理部１０３および第２の処理部１０５の出力を基に第３の処理を行なう第３の処理部１０７とを備えている。
【００２８】
この画像処理システムは、カメラ１０１を用いて、侵入者の監視、移動人物の計数、人物の在不在判定、装置の操作者などの状態把握、人物認証のための人物領域切出しなどを行うシステムである。
【００２９】
たとえば、リアルタイム性が重視される高速な処理は、第１の処理部（第１の装置）１０３で行ない、リアルタイム性を維持できるようにする。これに対して、リアルタイム性の重要度が比較的低い処理（たとえば、比較的時間のかかる処理）は第２の処理部（第２の装置）１０５において処理させるようにしている。
【００３０】
また、第１の処理部１０３および第２の処理部１０５の出力を基に、必要に応じて第３の処理部１０７によって処理が行なわれる。
【００３１】
このようなシステムの構成を採用することによって、以下に述べる効果がある。
【００３２】
・より処理時間のかかる処理を、第２の処理部（たとえば、より処理速度（および転送速度）の速いＣＰＵを持つ装置）で実行することにより、複数の処理を行なうシステムにおいて、トータルにおけるパフォーマンスの向上を図ることができる（全体処理時間の向上）。
【００３３】
・一部の処理（特に、処理速度の要求が低い処理）を他の装置によって処理させることにより、処理速度の速さが要求される処理の処理時間の増大を防止することができる（高速処理が必要とされる処理の処理時間重視、カメラＣＰＵなどに対して最低限要求される性能を低減）。
【００３４】
具体的には、第１の処理部で行なうリアルタイム性が重視される高速な処理として、時間差分による移動物体検知が挙げられる。第２の処理部で行なわれるリアルタイム性の重要度が比較的低い処理として、背景差分による侵入物体検知、侵入や移動が検知された物体に対する計数処理、詳細な物体認識処理、動作・姿勢の認識処理、認証処理などが挙げられる。ただし、状況やアプリケーションの種類によっては、背景差分の処理などがリアルタイム性が重視される処理である場合も考えられ、以上の記述は、各々の処理部で行われる処理を限定するものではない。
【００３５】
また具体的には、第１の処理部としてはカメラ内のＣＰＵなどが考えられ、第２の処理部として、画像処理用ＰＣ、カメラ内の別ＣＰＵ、別カメラ内のＣＰＵなどが考えられる。
【００３６】
ここでは特に、システムにおいて、位置ずれや照明変動の補正を伴う背景差分処理と、時間差分処理との両者を実行することを想定する。この場合、背景差分処理においては補正などのための長い処理時間が必要となる。そこで、この処理を他のＣＰＵ（第２の処理部）に任せてしまい、ある装置（カメラＣＰＵである第１の処理部）では高速に処理が可能な時間差分による移動検出を常に行う。このようにすることで、時間がかかる背景差分処理の実行中にカメラが捕らえた高速な移動物体は、時間差分により検出できる。一方、時間差分で検出できない低速な移動物体は背景差分処理で十分に検出できる（移動速度が遅いので、前回の背景差分処理が終わるまでに物体が撮影領域から出てしまうことはない）。
【００３７】
図２は、本発明の第１の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムは、大きくはカメラ２００と、それに接続される外部ＰＣ２０８とから構成される。
【００３８】
図を参照してカメラ２００は、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ２０４とを備えている。カメラ内ＣＰＵ２０４は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ２０４は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７とを備えている。
【００３９】
移動物体検出部２０７で行われる処理は、比較的高速な処理であることが望ましく、例えば、特開平８−４６９２５号公報に開示されるような、画像信号の動き検出回路を用いることができる。
【００４０】
外部ＰＣ２０８は、背景差分処理による侵入物体検知（および背景差分処理を行うために必要な基準画像の取得、作成処理、物体が検知された場合の処理）を行う。外部ＰＣ２０８は、背景（基準画像）を取得するための背景取得処理部２０９と、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１と、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３とを備えている。
【００４１】
処理部２１３での処理の具体例として、人数計数、録画開始、警報装置作動、人物認証などが挙げられる。
【００４２】
背景差分による侵入検知のためには、基準となる背景画像を取得する必要があるため、背景取得処理部２０９はそのための処理を行う。この取得方法に本発明が依存するものではない。侵入物体が存在しないとわかっているある時刻の撮影画像を背景画像として設定してもよいし、他の従来の既知手法を用いてもよい。
【００４３】
なお、外部ＰＣ２０８は、ハードウェア的には、ＣＰＵ、メモリ、ハードディスクドライブ、外部インターフェイス装置、キーボードなどの入力装置、ディスプレイなどの表示装置から構成される。
【００４４】
図２においては、実線の矢印により、制御信号や画像データなどの情報の流れを示している。
【００４５】
図３は、画像処理システムの用いられる環境を説明するための図である。ここでは、１つのカメラが駆動部２０３により制御され、光軸向きやピントやズームを変えることで複数の位置を巡回監視することを想定する。複数の位置として、ここでは部屋の中の窓Ｗの位置と、ドアＤの位置と、金庫Ｓの位置とを監視することとする。
【００４６】
各監視位置において、一定時間ずつ移動物体が時間差分により検出し続けられる。同時に、各監視位置毎に予め取得しておいた侵入物体の無い基準画像との比較によって侵入物体の検出が行われる。
【００４７】
すなわち、図４を参照して、時刻Ｔ１において窓Ｗの位置が撮影され、時刻Ｔ２においてドアＤの位置が撮影され、時刻Ｔ３において金庫Ｓの位置が撮影される。これらの撮影場所を変更するシーケンスを繰り返すことで、３箇所が順に監視される（すなわち時刻Ｔ４においては、再び窓Ｗの位置が撮影される）。
【００４８】
また、図５および６を参照して、時刻ｔ１（＝Ｔ１）から時刻ｔ３までの間、ＣＣＤ２０１は窓Ｗの位置を撮影した状態となる。
【００４９】
ＣＣＤ２０１がこの窓Ｗの位置を撮影しながら、時刻ｔ１（＝Ｔ１）においてＣＣＤ２０１により得られた画像と基準画像とが用いられることで、外部ＰＣ２０８は背景差分を用いた侵入物体の検出を行なう。時刻ｔ１においてＣＣＤ２０１により得られた画像と、時刻ｔ２においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。時刻ｔ２においてＣＣＤ２０１により得られた画像と、時刻ｔ３においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。なお、時刻ｔ１（＝Ｔ１）＜ｔ２＜ｔ３＜ｔ４（＝Ｔ２）であるものとする。
【００５０】
時刻ｔ４（＝Ｔ２）から時刻ｔ６までの間、ＣＣＤ２０１はドアＤの位置を撮影した状態となる。
【００５１】
ＣＣＤ２０１がこのドアＤの位置を撮影しながら、時刻ｔ４（＝Ｔ２）においてＣＣＤ２０１により得られた画像と基準画像とが用いられることで、外部ＰＣ２０８は背景差分を用いた侵入物体の検出を行なう。時刻ｔ４においてＣＣＤ２０１により得られた画像と、時刻ｔ５においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。時刻ｔ５においてＣＣＤ２０１により得られた画像と、時刻ｔ６においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。なお、時刻ｔ４（＝Ｔ２）＜ｔ５＜ｔ６＜ｔ７（＝Ｔ３）であるものとする。
【００５２】
時刻ｔ７（＝Ｔ３）から時刻ｔ９までの間、ＣＣＤ２０１は金庫Ｓの位置を撮影した状態となる。
【００５３】
ＣＣＤ２０１がこの金庫Ｓの位置を撮影しながら、時刻ｔ７（＝Ｔ３）においてＣＣＤ２０１により得られた画像と基準画像とが用いられることで、外部ＰＣ２０８は背景差分を用いた侵入物体の検出を行なう。時刻ｔ７においてＣＣＤ２０１により得られた画像と、時刻ｔ８においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。時刻ｔ８においてＣＣＤ２０１により得られた画像と、時刻ｔ９においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。なお、時刻ｔ７（＝Ｔ３）＜ｔ８＜ｔ９＜ｔ１０（＝Ｔ４）であるものとする。
【００５４】
このようにして、監視などの目的でカメラを設置する場合、複数の位置を別々に巡回撮影することで、少数（例えば１台）のカメラで複数箇所を監視できるので、経済的である。
【００５５】
この場合、ある位置を撮影している間に、別の位置に人物の侵入がある可能性がある。この侵入者が侵入した後の移動速度が遅いあるいはほとんど静止している場合には、時間差分方式では侵入者の検知は行えない。このような速度の遅い侵入物体は、背景差分を用いて検知することが可能である。
【００５６】
現実的にはパン、チルト、ローテイト、ズームなどのカメラ制御における制御誤差や、老朽化、風などの影響によって、一旦カメラを移動させて、まったく同じ場所に戻すことは難しく、位置ずれが生じやすい。
【００５７】
図７は、巡回監視するためのカメラの構造の外観を示す図である。図を参照して、パン、チルトを行うときには、それぞれの軸の周りにカメラ全体（またはＣＣＤ）を回転させることで所望の位置にカメラの光軸を向けて巡回監視を行う。
【００５８】
なお、カメラの光軸方向の制御方法は前述のパン、チルト方法に限定されるものではない。例えば、カメラ全体を平行移動させたり、レンズと撮像素子の相対的位置関係を変化させたり、ミラーやプリズムなどを利用することでもＣＣＤの光軸方向の制御を行うことが可能である。また、ローテイト（光軸方向の回転）やズーミングによって撮影領域を変えることも考えられる。
【００５９】
カメラの種類や制御方法に応じて位置ずれの発生の仕方は異なる。以下に位置ずれによる誤差の例を示す。
【００６０】
図７左を参照して、チルト軸、パン軸のずれによる誤差、チルト、パン時のカメラの停止誤差が生じうる。また、図７右を参照して、軸受けにおける隙間やガタにより、誤差が生じうる。
【００６１】
その他、ズーム誤差や、老朽化や風等の影響によるカメラ全体の傾き等の誤差要因も存在する。
【００６２】
図８に示されるように、パン、チルトの構成に起因するあおり誤差が生じうる。すなわち、基準画像の中でどの部分を使うかによってずれが生じるのである。
【００６３】
図９に示されるように、レンズディストーションによる位置ずれ誤差も生じうる。また、図１０に示されるように、たとえばパンの回転誤差により、位置ずれとあおりが生じる。すなわち、図１０左に示されるように、カメラの停止誤差がない理想状態と、停止誤差がある場合とではＡに示されるずれが生じる。図１０右に示されるように、このずれを単にＣの平行移動によって補正してもあおりによるずれＢが生じているのである。
【００６４】
背景差分を行うためには、上記のような位置ずれを補正しなければならない。以下にその補正方法について説明する（ただし、位置ずれの補正方法によって、本発明の構成や効果が限定されるものではない）。
【００６５】
本実施の形態においては、基本的には、画像中の特徴点や局所的な特徴量を利用したマッチングによって位置ずれ検出を行なうこととする。位置ずれには、あおり歪み、レンズディストーションの影響など、様々な要因が含まれているが、これらを個別に検出することは現実的でない。このため、本実施の形態では、位置ずれをアフィン変換（特に、平行移動と回転）で近似して検出する。そして、この検出された位置ずれを示すアフィン変換に従って、補正対象となる元画像を変形補正することで位置ずれ補正を行なう。
【００６６】
ここで問題となるのは、背景差分方式による処理の目的は侵入物体の検出であるため、位置ずれは侵入物体が存在し得ることを考慮して検出しなければならないことである。
【００６７】
よって、本実施の形態では、侵入物体と思われる可能性が高い領域（侵入物体候補領域）をマッチング対象から除外して位置ずれ検出を行うこととする。
【００６８】
除外の方法について以下に説明する。
図１１を参照して、基準画像（基準背景フレーム）Ａと、撮影画像（処理対象フレーム）Ｂのそれぞれが６４０×４８０画素のサイズであると想定する。これらの画像の画素を間引くことで、６４×６４画素からなる基準明度画像と、同じく６４×６４画素からなる被補正明度画像を作成する。これらの明度画像をさらにＢＬ（Ｂｉ−Ｌｉｎｅａｒ）法により８×８画素のサイズに縮小することで、侵入物体候補領域を探すための縮小画像Ａ’およびＢ’を作成する。
【００６９】
この縮小画像Ａ’およびＢ’のフレーム間差分を取って、その差分値が予め低めに設定したしきい値Ｔｈ以上ある場合には、その領域を侵入物体エリア（侵入物体候補領域）としてカウントする。このカウント数があまりに多い場合にはしきい値不良としてしきい値を若干上げて、再び侵入物体エリアのカウントをとるという動作を繰り返す。この操作を繰り返すことにより、侵入物体エリアを５以内に絞りこむ。ただし、あまりにしきい値が高くなった場合には、除外処理を終了する。
【００７０】
また図１２に示すように、フレーム間の差分は、フレーム間で角度誤差がある場合を考慮し、縮小画像Ａ’での注目画素に対応する縮小画像Ｂ’での画素およびその上下左右の画素の計５画素に対してそれぞれ差分値を求め、最もその絶対値が小さいものを注目画素の差分値として選択する。
【００７１】
こうして得られる侵入物体候補領域に幅１のＤｉｌａｔｉｏｎ（膨張）処理を行い、最終的な侵入物体候補領域とする。
【００７２】
次にアフィン変換で近似して位置ずれの検出を行なうが、あらかじめ探索範囲（たとえば、平行移動は−４［ｐｉｘ］〜４［ｐｉｘ］、回転角度は−２［度］〜２［度］）を設定しておく。サンプリングした各条件（たとえば、平行移動は−４，−２，０，２，４［ｐｉｘ］、回転角度は−２，−１，０，１，２［度］）で、処理対象フレームに（縮小＋変形＋２次微分抽出）処理を行い、基準画像とのフレーム差分値（侵入物体候補領域は除外）の総和が最も少ない組合せの平行移動と回転角度条件を選択し、元の処理対象フレーム画像を変形補正する。
【００７３】
すなわち本実施の形態では、時系列画像中の各フレーム画像と基準画像とを用いて、まず侵入物体である可能性の低い領域の検出を行う。そして、この領域の情報のみを利用して各フレーム画像と基準画像との位置ずれ情報を検出する。検出された位置ずれ情報を利用して、背景差分方式により侵入物体領域を抽出する。
【００７４】
このような方法を用いることによって、位置ずれが生じた場合でも、従来の一般的な背景差分方式によって侵入物体を検知することができるという効果がある。また、位置ずれの検出無しに移動物体領域を検出するよりも、位置ずれを検出した後に移動物体領域を検出する方が、情報量が多い分だけ明らかに検出性能は優れる。
【００７５】
以下、各処理部の実行する処理をフローチャートを用いて説明する。
図１３は、カメラ内ＣＰＵ２０４の移動物体検出部２０７が行なう、時間差分方式による侵入物体検出処理を示すフローチャートである。
【００７６】
図を参照して、ステップＳ１０１で、時刻ｔ（ｘ−１）の画像が取得される。
ステップＳ１０３で、次の時刻ｔ（ｘ）の画像が取得される。ステップＳ１０５で取得された両画像の差分を求めることで、変化のあった部分が取得される。ステップＳ１０７で変化のあった部分が侵入物体（移動物体）の存在する部分とされる。ステップＳ１０１〜Ｓ１０７の処理は所定期間ごとに繰り返し実行される。
【００７７】
図１４は、外部ＰＣ２０８の侵入物体検出部２１１が行なう処理を示すフローチャートである。
【００７８】
図を参照して、ステップＳ２０１で基準画像が取得される。ステップＳ２０３で、カメラ側から時系列画像（撮影画像）の入力があるかが判定され、なければ本ルーチンを終了し、あればステップＳ２０５でレジストレーション補正処理を行なう。この補正処理は、背景差分を求める前に、画像同士のずれを補正するものである。レジストレーション補正処理の詳しい内容は後述する。
【００７９】
ステップＳ２０７において、補正処理が行なわれた後の画像に対して背景差分処理が行なわれ、ステップＳ２０３へ戻る。
【００８０】
なお、ステップＳ２０１における基準画像の取得の方法の一例として、侵入物体がないとわかっている時刻の撮影画像を記憶しておき、この記憶された撮影画像をそのまま基準画像として用いることができる（ただし、前述の通り、背景画像の取得方法に本発明は依存するものではない）。
【００８１】
図１５は、図１４のレジストレーション補正処理（Ｓ２０５）の内容を示すフローチャートである。
【００８２】
図を参照して、ステップＳ３０１で基準画像と撮影画像とが入力され、ステップＳ３０３で両画像のマッチング処理が行なわれる。ステップＳ３０５においてマッチングの結果に基づき、必要であれば少なくともどちらかの画像を変形させる処理が行なわれる。
【００８３】
図１６は、図１５のマッチング処理（Ｓ３０３）の内容を示すフローチャートである。
【００８４】
図を参照して、ステップＳ４０１で基準画像と撮影画像（ここでは撮影画像を補正の対象とするため、「被補正画像」ともいう。）との明度画像が作成される。この処理は、図１１において説明したが、撮影画像および基準画像の画素を間引くことでそれぞれ６４×６４画素の画像を作り出す処理である。ステップＳ４０３で、明度画像を用いることで、侵入物体の存在する可能性の高い領域（侵入物体候補領域）を設定する処理が行なわれる。
【００８５】
ステップＳ４０５で、画像のずれ量を近似するデータ（この実施の形態ではアフィン変換のためのデータ）を算出する。
【００８６】
図１７は、図１６の侵入物体候補領域設定処理（Ｓ４０３）の内容を示すフローチャートである。
【００８７】
図を参照して、ステップＳ５０１でステップＳ４０１で作成された２つの明度画像から、それぞれＢＬ法により８×８画素の画像Ａ’およびＢ’を作成する（図１１参照）。ステップＳ５０３で、画像Ａ’およびＢ’のそれぞれ対応する画素の差分を取り、フレーム差分画像を作成する。なお、図１２で説明した通り、ここでは単に差分を取るのではなく、フレーム間で角度誤差がある場合を考慮した差分の取得を行なう。すなわち、画像Ａ’のある画素を注目画素とすると、画像Ｂ’での注目画素に対応する画素、およびその上下左右の計５画素に対してそれぞれ差分値が求められ、最も絶対値が小さいものが注目画素の差分値とされる。
【００８８】
ステップＳ５０５で、差分値の大きい画素から順に５以内の画素を選択する。ステップＳ５０７において、選択された画素に対し、幅１のＤｉｌａｔｉｏｎ処理が行なわれる。これにより侵入物体のある領域に余裕を持たせることができる。
【００８９】
図１８は、図１７の差分値の大きい方から５つ以内の画素を選択する処理を示すフローチャートである。
【００９０】
図を参照して、ステップＳ６０１で画像Ａ’とＢ’との８×８の各エリア（画素）の差分をしきい値と比較する。ステップＳ６０３でしきい値以上の差分を有するエリアを侵入物体エリアとする。ステップＳ６０５で、侵入物体エリアは５個以内であるかが判断され、ＹＥＳであれば図１７の処理に戻る。ＮＯであれば、侵入物体エリアの数を絞るため、しきい値を所定値増加させ、ステップＳ６０３の処理に戻る。
【００９１】
図１９は、図１６の近似データ算出処理（Ｓ４０５）の内容を示すフローチャートである。
【００９２】
図を参照して、ステップＳ７０１で、６４×６４画素の基準明度画像（図１１参照）を１／３に縮小した画像（「１／３縮小基準画像」という。）を作成する。ステップＳ７０３で、１／３縮小基準画像からエッジ画像（「基準エッジ画像」という。）を作成する。
【００９３】
ステップＳ７０５で、６４×６４画素の被補正明度画像（図１１参照）を１／３に縮小した画像（「１／３縮小被補正画像」という。）を作成する。ステップＳ７０７で、１／３縮小被補正画像からエッジ画像（「被補正エッジ画像」という。）を作成する。
【００９４】
ステップＳ７０９において、被補正エッジ画像と基準エッジ画像との相対的な位置関係を平行的にずらし、画像間の差分値を求める。ずらす量を変化させ、考え得るすべての平行移動ずれに対する画像間の差分値を求め、そのうち最小のものを求める。ただし前述の通り、侵入物体候補領域を用いてマッチングを行なっても意味がなく、かえって誤差を大きくするため、侵入物体候補領域は判断の対象から除外する。
【００９５】
ステップＳ７１１において、全ての平行移動量と回転角度の組合せに対して処理を終了したかが判定され、ＮＯであれば、被補正エッジ画像と基準エッジ画像との相対的な位置関係を回転させ、次の回転角度を対象としてステップＳ７０５からの処理を行なう。
【００９６】
ステップＳ７１１でＹＥＳであれば、最小差分値となる移動量と角度との組合せを選択し、これをアフィン変換の近似データとする。
【００９７】
図２０は、図１５の変形処理（Ｓ３０５）の内容を示すフローチャートである。
【００９８】
図を参照して、ステップＳ７５０で近似データを用いて被補正画像のアフィン変換が行なわれる。これにより、基準画像と撮影画像とのずれをなくすことができる。
【００９９】
図２１は、図１４の背景差分処理（Ｓ２０７）の内容を示すフローチャートである。
【０１００】
図を参照して、ステップＳ８０１で基準画像と変形後の被補正画像の画素ごとの差分値が算出される。ステップＳ８０３で、差分値の絶対値をしきい値Ｔｈを用いて２値化することで、基準画像に対して変化のあった画素を抽出する。ステップＳ８０５で、抽出された画素の塊に対し、面積の小さい塊はノイズであるものとして除去する。ステップＳ８０７で、抽出された画素の各塊を移動物体領域として切り出す。
【０１０１】
以上のように本実施の形態によると、外部ＰＣで処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うシステムを提供することが可能となる。
【０１０２】
また、時間差分方式と背景差分方式とを併用することによる、時間差分方式の処理速度低下を防止することができる。
【０１０３】
特に、本実施の形態のようにカメラが駆動され、撮影場所が頻繁に変わる状況においては、一度撮影した場所をもう一度撮影しようとしても、撮影の位置あわせの誤差が生じることが多く、その誤差の補正処理が必要となってくる場合が多い。本実施の形態におけるシステムは、そのような補正処理を行なうことによって増加する処理時間に有効に対処できる。
【０１０４】
なお、本実施の形態においては、特に、背景差分方式と時間差分方式とを異なる装置で分担処理することとしたが、以下のような変形も考えられる。すなわち、物体の侵入や移動の検出処理は時間的に連続（継続）してリアルタイム処理されることが好ましい処理である。これに対して、人数計数、動作理解、個人認証などのより高度な認識処理は、処理結果の情報がより重視され、リアルタイム性は比較的重視されない処理である。そこでこれらの処理を異なる処理装置で分担処理するのである。
【０１０５】
［第２の実施の形態］
図２２は、本発明の第２の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムが第１の実施の形態におけるシステム（図２）と異なる点は、外部ＰＣでの処理の代わりにカメラ内の別ＣＰＵ（カメラ内ＣＰＵ２）が処理を行う点である。
【０１０６】
図を参照してカメラは、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ１と、カメラ内ＣＰＵ１とは異なるカメラ内ＣＰＵ２とを備えている。カメラ内ＣＰＵ１は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ１は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７とを備えている。
【０１０７】
カメラ内ＣＰＵ２は、背景差分処理による侵入物体検知（および背景差分処理を行うために必要な基準画像の取得、作成処理、物体が検知された場合の処理）を行う。カメラ内ＣＰＵ２は、背景（基準画像）を取得するための背景取得処理部２０９と、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１と、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３とを備えている。
【０１０８】
各処理部で行なわれる処理は、第１の実施の形態における処理と同じであるため、ここでの処理を繰返さない。
【０１０９】
本実施の形態によると、処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うことが可能なシステムを提供することが可能となる。
【０１１０】
また、時間差分方式と背景差分方式とを併用することによる、時間差分方式の処理速度低下を防止することができる。
【０１１１】
［第３の実施の形態］
図２３は、本発明の第３の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムは、それぞれが時間差分による移動検知と背景差分による侵入検知とを行うことが可能な複数のカメラ２０４ａ，２０４ｂ，…と、カメラからの指示に基づいて物体の侵入または移動検出時に処理を行なう外部ＰＣ２０８とから構成される。あるカメラで移動を検知した場合、他のカメラに画像情報が転送され、物体の侵入が検知される。
【０１１２】
すなわち、図を参照して１台のカメラは、ＣＣＤ２０１ａまたは２０１ｂと、ＣＣＤ２０１ａまたは２０１ｂによる撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３ａまたは２０３ｂと、カメラ内ＣＰＵ２０４ａまたは２０４ｂとを備えている。カメラ内ＣＰＵ２０４ａ，２０４ｂは、時間差分による移動物体検知と背景差分処理による侵入物体検知とを行う。カメラ内ＣＰＵ２０４ａ，２０４ｂは、駆動部２０３ａ，２０３ｂを制御し、ＣＣＤ２０１ａ，２０１ｂを介して所望の画像を得る画像撮影部２０５ａ，２０５ｂと、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７ａ，２０７ｂとを備えている。
【０１１３】
カメラ内ＣＰＵ２０４ａ，２０４ｂはさらに、背景（基準画像）を取得するための背景取得処理部２０９ａ，２０９ｂと、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１ａ，２１１ｂとを備えている。
【０１１４】
外部ＰＣ２０８は、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３を備えている。
【０１１５】
図中矢印は情報や制御信号の流れを示している。点線で示される矢印は、カメラ単体での物体検出処理においては情報が流れるが、カメラ間通信時には情報が流れないものを示している。
【０１１６】
各処理部で行なわれる処理は、第１の実施の形態における処理と同じであるため、ここでの処理を繰返さない。
【０１１７】
本実施の形態においては、一台のカメラによる時間差分処理で物体の移動が検出されたときに、他のカメラの基準画像取得処理部２０９ａ，２０９ｂおよび侵入物体検出部２１１ａ，２１１ｂに画像情報が送られ、背景差分処理が行なわれる。これにより、時間差分方式と背景差分方式とを併用することによる、時間差分方式の処理速度低下を防止することができる。
【０１１８】
［第４の実施の形態］
図２４は、本発明の第４の実施の形態における画像処理システムの原理を説明するためのブロック図である。図を参照して、画像処理システムは、カメラ１０１と、カメラ１０１からの画像情報をそれぞれ入力する第１の処理部１５１および第２の処理部１５３とを備えている。
【０１１９】
この画像処理システムは、カメラ１０１を用いて、侵入者の監視、移動人物の計数、人物の在不在判定、装置の操作者などの状態把握、人物認証のための人物領域切出しなどを行うシステムである。
【０１２０】
たとえば、リアルタイム性が重視される高速な処理は、第１の処理部（第１の装置）１５１で行ない、リアルタイム性を維持できるようにする。これに対して、リアルタイム性の重要度が比較的低い処理であって、第１の処理部１５１での処理結果をトリガとして処理を開始する処理（比較的時間のかかる処理）は第２の処理部（第２の装置）１５３において処理させるようにしている。
【０１２１】
このようなシステムの構成を採用することによって、以下に述べる効果がある。
【０１２２】
・より処理時間のかかる処理を、第２の処理部（たとえば、より処理速度（および転送速度）の速いＣＰＵを持つ装置）で実行することにより、複数の処理を行なうシステムにおいて、トータルにおけるパフォーマンスの向上を図ることができる（全体処理時間の向上）。
【０１２３】
・一部の処理（特に、処理速度の要求が低い処理）を他の装置によって処理させることにより、処理速度の速さが要求される処理の処理時間の増大を防止することができる（高速処理が必要とされる処理の処理時間重視、カメラＣＰＵなどに対して最低限要求される性能を低減）。
【０１２４】
具体的には、第１の処理部で行なうリアルタイム性が重視される高速な処理として、時間差分による移動物体検知が挙げられる。第２の処理部で行なわれる、第１の処理部での処理結果に基づいて行なわれるリアルタイム性の重要度が比較的低い処理として、背景差分による侵入物体検知、侵入や移動が検知された物体に対する計数処理、詳細な物体認識処理、動作・姿勢の認識処理、認証処理などが挙げられる。ただし、状況やアプリケーションの種類によっては、背景差分の処理などがリアルタイム性が重視される処理である場合も考えられ、以上の記述は、各々の処理部で行われる処理を限定するものではない。
【０１２５】
また具体的には、第１の処理部としてはカメラ内のＣＰＵなどが考えられ、第２の処理部として、画像処理用ＰＣ、カメラ内の別ＣＰＵ、別カメラ内のＣＰＵなどが考えられる。
【０１２６】
図２５は、本実施の形態における画像処理システムを用いた計数システムの外観を示す図である。このシステムは、通路を通行する人を計数するものである。
【０１２７】
このシステムは、店内の売り場や歩行者用道路など、連続してかなり長い時間に渡って人が通路を通過しないような場所に用いられる。システムにおいては、簡易な処理によって侵入検知を行い、侵入を検知した場合にのみ画像などの情報を他のＣＰＵに転送し、この侵入物体が人であるかどうかの判定と、人であった場合にその数を計測する処理を行う。このようにシステムは、分散処理の形態をとる。
【０１２８】
カメラ内ＣＰＵで侵入検知と人判定との両方の処理を行った場合には、ＣＰＵの処理能力の問題から不都合が生じる。つまり、ある侵入が検知された場合に、この侵入領域の物体が人かどうかを判定している間はＣＰＵが占有されることになる。これによって、他の物体の侵入があってもこの侵入を検知できない。
【０１２９】
そこで本実施の形態では、絶え間無く連続的にリアルタイム処理されることが好ましい処理（侵入検知）をカメラ内ＣＰＵで行い、リアルタイムに処理されなくてもよい（ＣＰＵの空いている時間を使ってじっくり演算しても問題が少ない）処理（たとえば人数計数や人判定など）を他のＣＰＵで行うこととしている。
【０１３０】
カメラ１０１の撮像領域内に物体Ｐ１，Ｐ２が入ったかは、カメラ内ＣＰＵで時間差分方式で判定することとしている。
【０１３１】
図２６を参照して、高速な処理を可能とするために、本実施の形態においてはカメラ１０１が写す画像中に時間差分による侵入検知エリアＡＲを設け、この部分の画像のみを用いて時間差分方式による検出を行っている。
【０１３２】
ここでは侵入検知エリアＡＲは、帯状としている。この領域内の時間差分処理（差分算出＋しきい値処理＋侵入面積算出）によって侵入を検知する。侵入が検知された場合には、別ＣＰＵで人判定が行われ、人であった場合には計数値を１増やす処理が行なわれる。
【０１３３】
人であるかどうかの判定は、カメラＣＰＵから転送された侵入検知直後の取得画像をもとに、顔検出を利用して行なう方法、肌色検出を利用して行なう方法、侵入領域の形状情報を利用して行なう方法、頭部検出を利用して行なう方法など、既知の様々な手法を利用することができる。たとえば、特開２００１−３１９２１７号公報に記載の人体検知方法を利用することも可能である。
【０１３４】
この侵入検知エリアＡＲの位置は、画像中の人が入ってくると思われる位置と一致させることが望ましい。例えば、カメラ１０１のとらえる画像が図２５のように通路の位置の画像であれば、エリアＡＲは、図２６に示されるように通路の両方向から侵入する人物をとらえることができるように設定される。
【０１３５】
なお、ここでは時間差分を用いて侵入物体を検出することとしたが、背景差分を用いて検出を行ってもよく、高速に演算できるものであれば、侵入検知の手段は限定されない。
【０１３６】
図２７は本実施の形態における計数システムのハードウェア構成を示すブロック図である。第１の実施の形態と同様に、本システムはカメラ２００と、外部ＰＣ２０８とから構成される。
【０１３７】
図を参照してカメラは、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ２０４とを備えている。カメラ内ＣＰＵ２０４は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ２０４は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う侵入検知部２５１とを備えている。
【０１３８】
外部ＰＣ２０８は、カメラ２００から侵入物体の検知信号が送られてきたときに、それをトリガとして人であるかの判定と、人であった場合の人数のカウントを行う。外部ＰＣ２０８は、人物判定と計数を行なう人数計数部２５３と、その結果を集計する集計部２５５とを備えている。
【０１３９】
このような構成により本実施の形態では、処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うことが可能なシステムを提供することが可能となる。
【０１４０】
［第５の実施の形態］
図２８は、本発明の第５の実施の形態における画像処理システムを用いた計数システムの構成を示すブロック図である。このシステムが第４の実施の形態におけるシステム（図２７）と異なる点は、外部ＰＣでの処理の代わりにカメラ内の別ＣＰＵ（カメラ内ＣＰＵ２）が処理を行う点である。
【０１４１】
図を参照してカメラは、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ１と、カメラ内ＣＰＵ１とは異なるカメラ内ＣＰＵ２とを備えている。カメラ内ＣＰＵ１は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ１は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う侵入検知部２５１とを備えている。
【０１４２】
カメラ内ＣＰＵ２は、カメラ内ＣＰＵ１から侵入物体の検知信号が送られてきたときに、それをトリガとして人であるかの判定と、人であった場合の人数のカウントを行う。カメラ内ＣＰＵ２は、人物判定と計数を行なう人数計数部２５３と、その結果を集計する集計部２５５とを備えている。
【０１４３】
各処理部で行なわれる処理は、第４の実施の形態における処理と同じであるため、ここでの説明を繰返さない。
【０１４４】
本実施の形態によると、処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うことが可能なシステムを提供することが可能となる。
【０１４５】
［第６の実施の形態］
図２９は、本発明の第６の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムは、それぞれが時間差分による移動検知と、画像が人であることの識別と、人のカウントとを行うことが可能な複数のカメラ２０４ａ，２０４ｂ，…と、カメラからの指示に基づいて人数計数結果の集計を行なう外部ＰＣ２０８とから構成される。あるカメラで移動を検知した場合、他のカメラに画像情報が転送され人であるかどうかの識別と人のカウントが行なわれる。
【０１４６】
すなわち、図を参照して１台のカメラは、ＣＣＤ２０１ａまたは２０１ｂと、ＣＣＤ２０１ａまたは２０１ｂによる撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３ａまたは２０３ｂと、カメラ内ＣＰＵ２０４ａまたは２０４ｂとを備えている。カメラ内ＣＰＵ２０４ａ，２０４ｂは、時間差分による移動物体検知と、他のカメラから侵入物体の検知信号が送られてきたときに、それをトリガとして人であるかの判定と、人であった場合の人数のカウントとを行う。カメラ内ＣＰＵ２０４ａ，２０４ｂは、駆動部２０３ａ，２０３ｂを制御し、ＣＣＤ２０１ａ，２０１ｂを介して所望の画像を得る画像撮影部２０５ａ，２０５ｂと、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う侵入検知部２５１ａ，２５１ｂとを備えている。
【０１４７】
カメラ内ＣＰＵ２０４ａ，２０４ｂはさらに、人物判定と計数を行なう人数計数部２５３ａ，２５３ｂを備えている。
【０１４８】
外部ＰＣ２０８は、人数計数結果を集計する集計部２５５を備えている。
図中矢印は情報や制御信号の流れを示している。点線で示される矢印は、カメラ単体での物体検出処理においては情報が流れるが、カメラ間通信時には情報が流れないものを示している。
【０１４９】
本実施の形態においては、一台のカメラによる時間差分処理で物体の移動が検出されたときに、他のカメラの人数計数部２５５ａ，２５５ｂに画像情報が送られ、人物判定と計数とが行なわれる。これにより、時間差分方式の処理速度低下を防止することができる。
【０１５０】
［その他］
なお、第１〜第３の実施の形態における処理部２１３（図２、２２、２３参照）、第４〜第６の実施の形態における人数計数部２５３、および集計部２５５（図２７〜２９参照）に代えて、人物認識部を設け、検出された人物の認識（誰が検出されたかの判断）を行なうようにしてもよい。
【０１５１】
図３０は、人物認識部の具体的な構成を示すブロック図である。
図を参照して、人物認識部は、画像を入力する入力部３０１と、画像の補正を行なう補正部３０３と、補正された画像から画像中の特徴量を抽出する抽出部３０５と、人物とその特徴を対応付けて記憶しておくパターンデータベース３１３と、抽出部３０５の出力に基づきパターンデータベース３１３に記憶されたデータを検索し、特徴の識別を行なう識別部３０７と、識別結果に基づき人物認識を行う認識部３０９と、認識結果を出力する出力部３１１とを備えている。
【０１５２】
また、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【０１５３】
図３１は、そのようなプログラムを実行するコンピュータの構成を示すブロック図である。
【０１５４】
図を参照して、コンピュータは、装置全体の制御を行なうＣＰＵ５２１と、表示部５２４と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード５３０（またはモデムカード）と、キーボードやマウスなどにより構成される入力部５２３と、フレキシブルディスクドライブ５２５と、ＣＤ−ＲＯＭドライブ５２６と、ハードディスクドライブ５２７と、ＲＯＭ５２８と、ＲＡＭ５２９とを備えている。
【０１５５】
上述のフローチャートに示される、ＣＰＵ（コンピュータ）５２１を駆動させるためのプログラムは、フレキシブルディスク（Ｆ１）やＣＤ−ＲＯＭ（Ｃ−１）などの記録媒体に記録することができる。このプログラムは、前記記録媒体からＲＡＭその他の記録媒体に送られ、記録される。
【０１５６】
なお、上述の実施の形態における各種処理はソフトウエアにより行なってもよいし、ハードウエア回路を用いて行うようにしてもよい。
【０１５７】
また、上述の実施の形態のいくつかを任意に組み合わせた装置を提供することとしてもよい。
【０１５８】
なお、上述の実施の形態においては、カメラにより画像を入力することとしたが、これに代えてビデオ、ＤＶＤ、ハードディスクなどの記憶装置などからすでに録画された画像を入力するようにしてもよい。
【０１５９】
（発明の他の構成例）
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【０１６０】
（１）画像を逐次入力する画像入力ステップと、
前記逐次入力された画像に対し、リアルタイム性が要求される第１の処理を第１の処理装置において行なう第１処理ステップと、
前記画像入力ステップで入力された画像の少なくとも一部の画像を用いた第２の処理を前記第１の処理装置とは異なる第２の処理装置で行なう第２処理ステップとを含み、
前記第２の処理は、前記第１の処理と比較して、リアルタイム性が要求されない処理であることを特徴とする、画像処理方法。
【０１６１】
（この構成によると、第１の処理装置の負担を増加させることがなくなり、適切な処理を行うことができる画像処理方法を提供することが可能となる。）
（２）画像を逐次入力する画像入力ステップと、
前記逐次入力された画像に対し、リアルタイム性が要求される第１の処理を第１の処理装置において行なう第１処理ステップと、
前記画像入力ステップで入力された画像の少なくとも一部の画像を用いた第２の処理を前記第１の処理装置とは異なる第２の処理装置で行なう第２処理ステップとをコンピュータに実行させる画像処理プログラムであって、
前記第２の処理は、前記第１の処理と比較して、リアルタイム性が要求されない処理であることを特徴とする、画像処理プログラム。
【０１６２】
（この構成によると、第１の処理装置の負担を増加させることがなくなり、適切な処理を行うことができる画像処理プログラムを提供することが可能となる。）
（３）第１の処理と前記第１の処理とは異なる第２の処理とを行うために必要な時系列画像を、第１の処理装置で取得する取得手段と、
前記時系列画像から得られる、前記第２の処理に必要な画像情報、または前記時系列画像のうち１枚以上の画像フレームを、前記第２の処理装置に転送する転送手段と、
前記第１の処理を前記第１の処理装置内で実行する第１の実行手段と、
前記第２の処理装置に転送された情報または画像フレームを用いて、前記第２の処理を前記第２の処理装置内で実行する第２の実行手段とを含む、時系列画像処理システム。
【０１６３】
（この構成によると、第１の処理装置の負担を増加させることがなくなり、適切な処理を行うことができるシステムを提供することが可能となる。）
（４）前記第１の処理は、時間差分情報を用いた移動物体検出、背景差分情報を用いた侵入物体検知の少なくとも一つである、（３）に記載の時系列画像処理システム。
【０１６４】
（５）前記第２の処理は、背景差分情報を用いた侵入物体検知、人数計数、動作や姿勢の認識、個人認証の少なくとも一つである、（３）または（４）に記載の時系列画像処理システム。
【０１６５】
（６）前記第１の処理装置は、時系列画像を撮影するカメラを含む、（３）〜（５）のいずれかに記載の時系列画像処理システム。
【０１６６】
（７）前記第２の処理装置は、前記第１の処理装置との間で情報転送が可能な状態にある、ＰＣ、ワークステーションなどの処理端末、カメラ内の別ＣＰＵ（およびメモリ）、または別カメラ内のＣＰＵである、（３）〜（６）のいずれかに記載の時系列画像処理システム。
【０１６７】
（８）第１の処理と前記第１の処理とは異なる第２の処理とを行うために必要な画像を、第１の処理装置で取得する取得手段と、
前記第１の処理を前記第１の処理装置内で実行する第１の実行手段と、
前記第１の処理装置での処理結果に基づき、前記画像から得られる、前記第２の処理に必要な画像情報、または前記時系列画像のうち１枚以上の画像フレームを、第２の処理装置に転送する転送手段と、
前記第２の処理装置に転送された情報または画像フレームを用いて、前記第２の処理を前記第２の処理装置内で実行する第２の実行手段とを含む、時系列画像処理システム。
【０１６８】
（９）上記いずれかのプログラムを記録した、コンピュータ読取可能な記録媒体。
【０１６９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１７０】
【発明の効果】
以上のような本発明の構成によると、１つの処理部の負担を増加させることがなくなり、適切な処理を行うことができる画像処理システムを提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理システムの原理を説明するためのブロック図である。
【図２】本発明の第１の実施の形態における画像処理システムの構成を示すブロック図である。
【図３】画像処理システムの用いられる環境を説明するための図である。
【図４】カメラの駆動例を説明するための図である。
【図５】ある時刻におけるカメラの撮影画像を示す図である。
【図６】図５に続く図である。
【図７】巡回監視するためのカメラの構造の外観と撮影の誤差を示す図である。
【図８】あおり誤差を説明するための図である。
【図９】レンズディストーションによる位置ずれを説明するための図である。
【図１０】パンの回転誤差を説明するための図である。
【図１１】侵入物体と思われる可能性が高い領域（侵入物体候補領域）をマッチング対象から除外するための処理を示す図である。
【図１２】縮小画像Ａ’と縮小画像Ｂ’とのフレーム間の差分を求める処理を説明するための図である。
【図１３】カメラ内ＣＰＵ２０４の移動物体検出部２０７が行なう、時間差分方式による侵入物体検出処理を示すフローチャートである。
【図１４】外部ＰＣ２０８の侵入物体検出部２１１が行なう処理を示すフローチャートである。
【図１５】図１４のレジストレーション補正処理（Ｓ２０５）の内容を示すフローチャートである。
【図１６】図１５のマッチング処理（Ｓ３０３）の内容を示すフローチャートである。
【図１７】図１６の侵入物体候補領域設定処理（Ｓ４０３）の内容を示すフローチャートである。
【図１８】図１７の差分値の大きい方から５つ以内の画素を選択する処理（Ｓ５０５）を示すフローチャートである。
【図１９】図１６の近似データ算出処理（Ｓ４０５）の内容を示すフローチャートである。
【図２０】図１５の変形処理（Ｓ３０５）の内容を示すフローチャートである。
【図２１】図１４の背景差分処理（Ｓ２０７）の内容を示すフローチャートである。
【図２２】本発明の第２の実施の形態における画像処理システムの構成を示すブロック図である。
【図２３】本発明の第３の実施の形態における画像処理システムの構成を示すブロック図である。
【図２４】本発明の第４の実施の形態における画像処理システムの原理を説明するためのブロック図である。
【図２５】第４の実施の形態における計数システムの外観を示す図である。
【図２６】カメラ１０１が写す画像中の時間差分による侵入検知エリアＡＲを示す図である。
【図２７】第４の実施の形態における計数システムのハードウェア構成を示すブロック図である。
【図２８】本発明の第５の実施の形態における画像処理システムの構成を示すブロック図である。
【図２９】本発明の第６の実施の形態における画像処理システムの構成を示すブロック図である。
【図３０】人物認識部の具体的な構成を示すブロック図である。
【図３１】プログラムを実行するコンピュータの構成を示すブロック図である。
【図３２】時間差分方式での処理を説明するための図である。
【図３３】背景差分方式での処理を説明するための図である。
【図３４】基準画像と現時刻における撮影画像との間の撮影位置ずれによる誤検出を説明するための図である。
【図３５】基準画像と現時刻における撮影画像との間に照明条件の変化がある場合の誤検出を説明するための図である。
【符号の説明】
１０１カメラ、１０３〜１０７処理部、１５３処理部、２００カメラ２０１ＣＣＤ、２０３駆動部、２０４カメラ内ＣＰＵ、２０５画像撮影部、２０７移動物体検出部、２０８外部ＰＣ、２０９基準画像取得処理部、２１１侵入物体検出部、２１３処理部、２５１侵入検知部、２５３人数計数部、２５５集計部。

Claims

画像を逐次入力する画像入力部と、
前記逐次入力された画像に対し、リアルタイム性が要求される第１の処理を行なう第１処理部と、
前記画像入力部に入力された画像の少なくとも一部の画像を用いた第２の処理を行なう第２処理部とを備え、
前記第２の処理は、前記第１の処理と比較して、リアルタイム性が要求されない処理であることを特徴とする、画像処理システム。
画像を逐次入力する画像入力部と、
前記逐次入力された画像を用いて、前記画像中における物体の第１の検出処理を行なう第１処理部と、
前記画像入力部に入力された画像の少なくとも一部の画像を用いて、前記画像中における物体の第２の検出処理を行なう第２処理部と、
前記第１処理部と前記第２処理部とで行なった物体の検出処理により物体が検出されると、第３の処理を開始する第３処理部とを備えた、画像処理システム。
前記第１処理部においては、前記逐次入力された画像を用いて時間差分による物体の検出処理を行ない、
前記第２処理部においては、基準画像と前記画像入力部に入力された画像の少なくとも一部の画像とを用いて、背景差分による物体の検出処理を行なう、請求項１または２に記載の画像処理システム。