JP2007257078A - 画像検索装置 - Google Patents

Abstract

【課題】侵入者などの検索目的物を高速で検索し、その後に行われるＣＰＵなどによる処理の負担を軽減する。
【解決手段】画素毎にシリアルで入力される画像データから画像領域を検索する装置であって、画像の横方向の１ラインにおいて隣合う画素データを比較してエッジを検出する横方向エッジ検出部２５と、エッジのアドレスのそれぞれの画素を注目画素とし、当該注目画素とその次のラインにおいて隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部２９と、縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを記憶する領域アドレス記憶部３１と、領域アドレス記憶部に記憶されたアドレスからサイズ条件に合う領域を抽出する領域抽出部３２とを有する。
【選択図】 図２

Description

本発明は、横方向および縦方向にマトリックス状に配列された複数の画素からなる画像について画素毎に順次シリアルで入力される画素データから所定の画像領域を検索する画像検索装置に関する。

従来より、静止画カメラまたはビデオカメラを用い、撮影された画像に基づいて監視領域内の侵入者を検出することが行われている。例えば、所定の時間間隔で撮影された複数の画像を比較し、その変化を解析することにより侵入者を検知する（特許文献１）。

また、カメラによって連続撮影された監視エリアの画像データを分析し、今回撮影された画像と前回撮影された画像との画像データの差分の絶対値を全画素について算出した上で、あらかじめ設定されたしきい値と比較することによって侵入者を検出する（特許文献２）
特開２００３−１６９３２１ 特開２００４−１２８８９９

上に述べたような侵入者の検出、またはダムや河川における水防監視など、画像から任意の物体の面情報を検索する場合に、ＣＰＵまたはＤＳＰなどによって画像データをソフトウエア的に処理することによって目的を達している。

例えば、撮影された１枚の画像について、その画像データをメモリに一旦蓄積し、蓄積した画像データをソフトウエアの処理によってメモリから読み出し、それをソフトウエアの処理によって解析することによって物体などの検索を行っている。その場合に、検索に要する時間は１枚の画像を取り込んだ後となり、時間的な遅れがあることと、ソフトウエアの処理によるためＣＰＵまたはＤＳＰの処理負荷が大きいという問題がある。

具体的には、例えば、建物の周辺を監視して建物に侵入しようとする者を検出する場合に、通常時には図１２（Ａ）に示す画像ＧＪ１が得られているとする。画像ＧＪ１において、侵入者の監視を行う対象領域の画像ＴＲ１が得られる。そして、この画像ＧＪ１の１フレーム後に、図１２（Ｂ）に示す画像ＧＪ２が得られ、対象領域の画像ＴＲ２が得られたとする。２つの画像ＴＲ１、ＴＲ２の間で輝度差のある箇所を検出し、後のフレームにおいて前のフレームと輝度差のある箇所の数が所定の数よりも多い場合に、その箇所の画像を解析処理して侵入者であるか否かを判断する。

また、検出された箇所の数だけでは、図１２（Ｃ）に示す画像ＴＲ３のように侵入者でない目的外の物も検出してしまう可能性があるので、これを避けるため、検出された箇所を詳細に解析し、検出された物の大きさを算出する。そして、算出された大きさが所定の値以上であれば、目的の物を検出したとする。例えば、図１２（Ｄ）の画像ＴＲ２では検出された箇所が所定の大きさ以上であるので侵入者と判断されるが、図１２（Ｅ）の画像ＴＲ３では検出された箇所が所定の大きさ以下であるので侵入者と判断しない。

しかし、このような詳細な解析を最初から行うと、処理量が増えてＣＰＵなどの負担が過大となる。そこで、最初に解像度を低下させた大まかなブロック単位で各フレームの画像ＴＲを検出し、次に解像度を上げて詳細な処理を行う、といった段階的な処理を行う必要がある。それでも、これらの処理は全体としてＣＰＵなどに大きな負荷となっており、そのため、例えばＤＳＰの個数を増やして処理能力を上げたり分散処理などを行ったりすることが必要であった。

本発明は、上述の問題に鑑みてなされたもので、侵入者などの検索目的物を高速で検索し、その後に行われるＣＰＵなどによる処理の負担を軽減することを目的とする。

本発明に係る画像検索装置は、横方向および縦方向にマトリックス状に配列された複数の画素からなる画像について画素毎に順次シリアルで入力される画像データから所定の画像領域を検索する装置であって、検索すべき画像領域のサイズ条件を記憶するサイズ条件記憶部と、前記画像の横方向の１ラインにおいて隣合う画素の画素データを比較することによりエッジを検出する横方向エッジ検出部と、検出されたエッジのアドレスを記憶するエッジアドレス記憶部と、前記エッジアドレス記憶部に記憶されたアドレスのそれぞれの画素を注目画素とし、当該注目画素と当該注目画素の次のラインにおいて隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部と、前記縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを領域エッジアドレスとして記憶する領域アドレス記憶部と、
前記領域アドレス記憶部に記憶された領域アドレスから、前記サイズ条件記憶部に記憶されたサイズ条件に合う領域を抽出する領域抽出部と、を有する。

好ましくは、前記横方向エッジ検出部は、順次入力される画素の１つを注目画素とし、当該注目画素と当該注目画素に隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内であった連続する画素群の両端の画素を前記エッジとして検出する。

また、前記縦方向検出部は、前記注目画素の次のラインにおいて同じ横方向位置にある画素およびその両側の画素の３つの画素を前記隣合う画素として互いに比較する。

また、前記入力された画像データを１ライン分遅延させるラインメモリが設けられており、縦方向検出部は、前記ラインメモリによって遅延された画像データの中から前記注目画素の画素データを取得する。

本発明に係る他の形態の装置は、検索すべき画像領域のサイズ条件を記憶するサイズ条件記憶部と、前記入力される画像データの１画素分の画素データを記憶するバッファメモリと、前記入力される画素データを１ライン分遅延させるラインメモリと、前記ラインメモリによって遅延されることにより前記バッファメモリに記憶される画素に対し１ライン分遅延した画素の画素データを記憶する一時メモリと、前記バッファメモリに記憶された画素データとその横方向に隣合う画素の画素データとを比較することにより横方向のエッジを検出する横方向エッジ検出部と、検出されたエッジのアドレスを記憶するエッジアドレス記憶部と、前記バッファメモリに記憶された画素データと前記一時メモリに記憶された画素データとを比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部と、前記縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを領域エッジアドレスとして記憶する領域アドレス記憶部と、前記領域アドレス記憶部に記憶された領域アドレスから、前記サイズ条件記憶部に記憶されたサイズ条件に合う領域を抽出する領域抽出部と、を有する。

本発明によると、侵入者などの検索目的物を高速で検索し、その後に行われるＣＰＵなどによる処理の負担が軽減される。

図１は本発明に係る監視システム１の全体の構成を示すブロック図、図２は画像検索装置５の構成を示すブロック図、図３はカメラ３から出力される１フレームの画像データＧＤの構成を示す図、図４は画像ＧＤ１の例を示す図、図５は侵入者ＳＮとそれに対応する画像領域ＧＧ１の例を示す図、図６は画像データＧＤ３の例を示す図、図７は画像検索装置５の各部で一時的に記憶される画素データＳＤの例を示す図である。

図１において、監視システム１は、カメラ３、監視処理装置４、キーボード７、マウス８、およびディスプレイ９などからなる。

カメラ３は、工場、ダム、河川など、監視すべき場所に設置され、監視領域内における画像または映像を撮影して画素データＳＤを出力する。カメラ３からは、所定のサイズの画像データＧＤが、毎秒３０フレーム出力される。なお、画素データＳＤは、ケーブルによって伝送されてもよく、またネットワークや無線通信などによって伝送されてもよい。

図３に示すように、１フレームの画像データＧＤは、ｍ×ｎ画素がマトリックス状に配列された画像である。つまり、横方向（主走査方向、ライン方向、Ｘ方向）にｍ個の画素、縦方向（副走査方向、Ｙ方向）にｎ個の画素が配列されている。図３の左上端が原点（Ｘ0,Ｙ0 ）であり、各行（ライン）においてＸ0 からＸｍまで、各列においてＹ0 からＹｎまである。任意の画素ＧＳのアドレスは（Ｘｘ，Ｙｙ）で表される。

なお、本実施形態において、画像データＧＤは、モノクロ画像であり、それぞれの画素ＧＳは、８ビット（２５６階調）の輝度値（輝度データ）を持つ。最も暗い部分の輝度値は「０」であり、最も明るい部分の輝度値は「２５５」である。

カメラ３からは、フレーム毎に、画像データＧＤの左上端の画素ＧＳから右方向に、つまり１番目のラインの左から右に向かって、順次、各画素ＧＳの輝度値つまり画素データＳＤが出力され、次に２番目のライン、３番目のライン、というように、最後のラインの右端の画素ＧＳまで、画素ＧＳ毎に順次シリアルに出力される。なお、ここでの説明のように画素ＧＳ毎に出力する場合には８ビットパラレルの出力となるが、その８ビットをシリアル（ビットシリアル）に出力することも可能である。なお、「画像データ」を「画像」と記載することがある。

監視処理装置４は、画像検索装置５および画像処理装置６からなる。画像検索装置５は、カメラ３から入力される画像データＧＤから所定の画像領域ＧＲを検索し、検索結果ＫＤを画像処理装置６に出力する。詳細は後で説明する。

画像処理装置６は、画像検索装置５から出力された検索結果ＫＤに基づいて、その詳細な解析を行い、侵入者の有無、異常の有無などを判断するなど、監視のための種々の処理を行い、必要に応じて警報信号などを出力する。

キーボード７およびマウス８は、監視処理装置４に対して種々の指令を与えたり、設定データを入力するために用いられる。ディスプレイ９は、カメラ３で撮影された画像ＧＤを表示し、また、監視処理装置４において処理された画像、データ、またはメッセージなどを表示する。

このような監視処理装置４は、全体としてコンピュータを用いて実現することが可能である。その場合に、画像検索装置５については、専用のハードウエア回路を用いて実現することが好ましいが、一部にＤＳＰまたはＣＰＵによる処理を含ませることが可能である。また、画像検索装置５を独立したユニットとして構成し、画像処理装置６とは別個に設けるようにしてもよい。

図２において、画像検索装置５には、シリアル−パラレル変換部２１、バッファメモリ２２、ラインメモリ２３、一時メモリ２４、横比較部（横方向エッジ検出部）２５、横範囲設定部２６、エッジアドレス記憶部２７、横アドレス比較部２８、縦比較部（縦方向検出部）２９、縦範囲設定部３０、領域アドレス記憶部３１、領域抽出部３２、サイズ条件記憶部３３、およびカウンタ３４などが設けられている。また、図示は省略したが、全体を制御するためのＣＰＵまたはＤＳＰなども必要に応じて設けられる。

シリアル−パラレル変換部２１は、画像データＧＤがシリアルで入力された場合に、それをパラレルデータに変換する。したがって、シリアル−パラレル変換部２１からは、画素ＧＳ毎に輝度値を示す８ビットのデータ（画素データ）ＳＤが出力される。なお、画素毎の８ビットのパラレルデータが入力された場合は、シリアル−パラレル変換部２１はスルーとなる。

バッファメモリ２２は、シリアル−パラレル変換部２１から順次出力される画素データＳＤを、適当画素分例えば１画素分だけ一時的に記憶する。つまり、シリアル−パラレル変換部２１から出力された画素データＳＤは、バッファメモリ２２を通過してラインメモリ２３に送られるが、バッファメモリ２２には１画素分のデータが一時的に記憶される。なお、バッファリングのために、複数画素の画素データＳＤを記憶するようにしてもよい。

ラインメモリ２３は、画像の１ライン分を記憶するＦＩＦＯメモリであり、バッファメモリ２２を通って入力された画素データＳＤを１ライン分遅延させる。ラインメモリ２３から送り出された画素データＳＤは、一時メモリ２４に入力される。

一時メモリ２４は、ラインメモリ２３から送り出された画素データＳＤを、順次、３画素分記憶する。このとき、３画素の中央の画素が、ラインメモリ２３から丁度送りだされたばかりの画素となり、その両側の画素は中央の画素の両隣の画素となる。つまり、中央の画素は、バッファメモリ２２に記憶された１画素に対して１ライン分前の画素となり、したがってそれらのＸアドレスは同じとなる。したがって、中央の画素のアドレスＡＤＴを（Ｘｘ，Ｙｙ）とすると、その両側の画素のアドレスは（Ｘｘ−1 ，Ｙｙ）、（Ｘｘ＋1 ，Ｙｙ）となり、バッファメモリ２２に記憶された１画素のアドレスＡＤＭは（Ｘｘ，Ｙｙ＋1 ）となる。一時メモリ２４に新しい画素データＳＤが入力されると、その３画素前の画素データＳＤは捨てられる。

なお、以降において、ＸアドレスまたはＹアドレスを示す際に、ＸアドレスまたはＹアドレスであることが明らかな場合に、「Ｘ」または「Ｙ」を省略することがある。

横比較部２５は、画像ＧＤの横方向の１つのラインにおいて隣合う画素ＧＳの画素データＳＤを比較することによって、エッジ（横方向エッジ）ＹＥを検出する。つまり、順次入力されてバッファメモリ２２に記憶される画素の１つを注目画素とし、当該注目画素と当該注目画素に隣合う画素との画素データＳＤを互いに比較し、それらの差が所定の範囲内であった連続する画素群の両端の画素をエッジＹＥとして検出する。

具体的には、横比較部２５は、バッファメモリ２２に記憶された１画素分の画素データＳＤと、ラインメモリ２３の最後尾に記憶された１画素分の画素データＳＤとを比較する。そして、それらの差が、横範囲設定部２６に設定された所定の範囲内であるかどうかをチェックする。差が所定の範囲内である画素が発見されたとき、それを最初の画素として、そのアドレス（最初アドレス）をエッジアドレス記憶部２７に記憶する。その後、差が所定の範囲内である画素が続くときには、それらのアドレスについては記憶しない。差が所定の範囲内でなくなったときに、それを最後の画素として、そのアドレス（最後アドレス）をエッジアドレス記憶部２７に記憶する。

なお、最後の画素は、差が所定の範囲内である画素が続いたときの最後の画素であり、したがってそれが発見されたときにラインメモリ２３の最後尾に記憶された画素がそれに該当する。しかし、便宜上、そのときにバッファメモリ２２に記憶された画素を最後の画素とすることも可能である。

そして、最後の画素の後において、差が所定の範囲内である画素が再度発見されると、上と同様の処理によって、最初の画素および最後の画素のそれぞれのアドレスをエッジアドレス記憶部２７に記憶する。

このように、エッジアドレス記憶部２７には、同じラインにおいて検出された最初の画素と最後の画素の１つまたは複数の組みについて、それぞれの最初アドレスＡＤＳおよび最後アドレスＡＤＥが記憶される。

横範囲設定部２６は、横比較部２５での比較の際の所定の範囲を設定するものであり、横範囲設定部２６に設定された範囲に基づいて横比較部２５での比較が行われる。横範囲設定部２６には、輝度値の差の最大値を示す数値が、例えば「２０」「１０」「６」などが、範囲を示す数値として記憶される。また、差が「０」である場合つまり同一である場合のみを検出する場合には、輝度値の差として「０」が記憶される。

エッジアドレス記憶部２７は、上に述べたように、横比較部２５において検出されたエッジＹＥのアドレスを記憶する。つまり、エッジアドレス記憶部２７には、最初アドレスＡＤＳおよび最後アドレスＡＤＥが記憶される。なお、最初アドレスＡＤＳおよび最後アドレスＡＤＥのそれぞれのＸアドレスのみを記憶するようにしてもよい。また、最初アドレスＡＤＳおよび最後アドレスＡＤＥとともに、その画素データＳＤを記憶するようにしてもよい。

横アドレス比較部２８は、エッジアドレス記憶部２７に記憶された最初アドレスＡＤＳおよび最後アドレスＡＤＥと、一時メモリ２４の中央の画素のアドレスＡＤＴとを、それぞれＸアドレスについて比較し、Ｘアドレスについて、アドレスＡＤＴが最初アドレスＡＤＳまたは最後アドレスＡＤＥのいずれかと一致した場合に、一致信号ＳＡを縦比較部２９に出力する。

縦比較部２９は、エッジアドレス記憶部２７に記憶されたアドレスＡＤＳ，ＡＤＥのそれぞれの画素を注目画素とし、当該注目画素と当該注目画素の次のラインにおいて隣合う画素との画素データＳＤを互いに比較し、それらの差が所定の範囲内である画素ＧＳを、領域エッジＲＥとして検出する。

つまり、縦比較部２９は、一時メモリ２４に記憶された中央の画素ＧＳを注目画素とし、バッファメモリ２２に記憶された１ライン後の画素ＧＳと比較する。そして、それらの画素データＳＤの差が所定の範囲内であるかどうかをチェックする。差が所定の範囲内であって、且つ、横アドレス比較部２８から一致信号ＳＡが出力されている場合に、一時メモリ２４に記憶された中央の画素のアドレスおよびバッファメモリ２２の画素のアドレスを、領域エッジアドレスとして領域アドレス記憶部３１に記憶する。これと同時に、該当する画素ＧＳの画素データＳＤをも領域アドレス記憶部３１に記憶する。

縦比較部２９は、このような処理を、エッジアドレス記憶部２７に記憶されたアドレスＡＤＳ，ＡＤＥについて順次行う。そして、バッファメモリ２２の画素のアドレスを領域アドレス記憶部３１に順次記憶する。

なお、一時メモリ２４に記憶された中央の画素を注目画素としたが、バッファメモリ２２に記憶された画素を注目画素と考えてもよい。

また、縦比較部２９での判断において、横アドレス比較部２８からの一致信号ＳＡを条件としているが、これは、この条件を加えることによって、横方向エッジでない画素が領域エッジＲＥの画素として入ってくることを防止し、正しい領域エッジＲＥを検出することができる。

さて、一時メモリ２４に記憶された中央の画素ＧＳを注目画素とした場合に、その両側の画素ＧＳについても、バッファメモリ２２の画素と比較してもよい。そして、それらの差が所定の範囲内である場合に、該当する一時メモリ２４の画素およびバッファメモリ２２の画素を領域エッジＲＥとし、それらのアドレスを領域アドレス記憶部３１に記憶する。

なお、その場合に、一時メモリ２４の３つの画素のうちの複数の画素が領域エッジＲＥに該当することとなった場合には、最初アドレスＡＤＳを用いた場合には最も前の画素を、最後アドレスＡＤＥを用いた場合には最も後の画素を、それぞれ領域エッジＲＥとする。これによって、抽出しようとする領域の最も外側の画素が領域エッジＲＥとして検出されることとなる。

その結果、エッジアドレス記憶部２７に記憶されたアドレスＡＤＳ，ＡＤＥの画素ＧＳを対象として、輝度値についての縦方向の画素ＧＳの連続性がチェックされ、輝度値が周囲と異なる画素群の左右のエッジ部分の画素、つまり領域エッジＲＥについて、そのアドレスが領域アドレス記憶部３１に記憶されることとなる。つまり、領域エッジＲＥは、２次元的な画像領域を示すこととなる。

縦範囲設定部３０は、縦比較部２９での比較の際の所定の範囲を設定するものであり、縦範囲設定部３０に設定された範囲に基づいて縦比較部２９での比較が行われる。縦範囲設定部３０には、上に述べた横範囲設定部２６と同様な値が設定される。なお、一時メモリ２４に記憶される３つの画素について、それぞれ互いに異なる範囲を適用してもよい。例えば、中央の画素には両側の画素よりも範囲として大きい値を適用してもよい。また、縦範囲設定部３０には横範囲設定部２６と異なった値を設定してもよい。

領域アドレス記憶部３１は、上に述べたように、１フレームの画像ＧＤについて、所定の範囲の差で横方向に連続する画素、および所定の範囲の差で縦方向に連続する画素によって囲まれる２次元的な画像領域について、その両側の縦線に相当する領域エッジＲＥのアドレスおよび輝度値を記憶する。

領域抽出部３２は、領域アドレス記憶部３１に記憶された領域エッジＲＥから、サイズ条件記憶部３３に記憶されたサイズ条件ＳＪに適合する領域を、所定の画像領域ＧＲとして抽出する。

すなわち、サイズ条件記憶部３３には、検索すべき画像領域ＧＲのサイズ条件ＳＪが記憶されている。サイズ条件ＳＪとして、横サイズＬＹ、縦サイズＬＴ、および面積ＬＭが、所定の範囲の値としてそれぞれ記憶されている。所定の値として、画素数を用いることも可能である。領域アドレス記憶部３１に記憶された領域エッジＲＥが、これらのサイズ条件ＳＪに適合する場合に、その領域エッジＲＥを目的の画像領域ＧＲとして抽出し、その画像領域ＧＲのアドレスおよび画像領域ＧＲに含まれる各画素ＧＳの画素データＳＤを、検索結果ＫＤとして出力する。なお、全てのサイズ条件ＳＪを適用する場合もあり、また一部のサイズ条件ＳＪを適用することもある。

カウンタ３４は、画像検索装置５の各部の動作タイミングを制御する。カウンタ３４は、例えば、カメラ３から画素単位またはビット単位で入力される画像データＧＤに含まれたクロック信号をカウントし、カウント値に応じて各部に対し動作のためのクロック信号を出力する。したがって、例えば、カウンタ３４からのクロック信号に基づいて、バッファメモリ２２や一時メモリ２４に記憶される各画素のアドレスが生成され、それぞれの制御やデータの記憶に用いられる。

このように、画像検索装置５によると、侵入者などの検索目的物を高速で検索し、その後に画像処理装置６において行われるＣＰＵなどによる処理の負担を軽減することができる。

次に、画像検索装置５の動作について、図４ないし図１１を用いてさらに詳しく説明する。なお、以下の説明において、上の説明とは異なる構成または動作となる場合もある。その場合は、画像検索装置５の構成または動作の変形例と考えればよい。

図４において、カメラ３から出力された画像ＧＤ１には、背景画像による背景領域ＨＲ１、背景領域ＨＲ１とは輝度値の異なる物体画像による３つの物体領域（画像領域）ＢＲ１〜３が映っている。画像検索装置５においては、画像ＧＤ１から物体領域ＢＲ１〜３を抽出するとともに、これら物体領域ＢＲ１〜３がサイズ条件ＳＪに適合する所定の画像領域ＧＲであるか否かを判断し、画像領域ＧＲであると判断した場合にそれを検索結果ＫＤとして画像処理装置６に出力する。

画像処理装置６において、各画像領域ＧＲに映っている物体について、詳細な解析を行い、それが例えば侵入者であるかどうかの判断を行い、侵入者であると判断した場合に警報信号などを出力する。

図５（Ａ）に示すように、カメラ３の撮影範囲内に侵入者ＳＮが存在する場合に、図５（Ｂ）に示すように、その画像ＧＤ２には、侵入者ＳＮに対応する各画素ＧＳが周囲の画素ＧＳの輝度値と異なり、侵入者ＳＮに対応する画素群からなる画像領域ＧＧ１が形成される。画像検索装置５においては、この画像領域ＧＧ１が、領域エッジＲＥとして検出され、そのアドレスが領域アドレス記憶部３１に記憶される。画像領域ＧＧ１が、サイズ条件ＳＪに適合した場合に、目的の画像領域ＧＲとして抽出される。

図６において、画像データＧＤ３として、Ｙアドレスがｙ0 、ｙ1 、ｙ2 であるそれぞれのラインについて、各画素ＧＳの画素データＳＤが、Ａ１，Ａ２、Ａ３…などとして示されている。図７において、このような画像データＧＤ３を処理中の画像検索装置５において、あるタイミングでのデータの記憶状態が示されている。

図７において、バッファメモリ２２には、アドレス（Ｘx2，Ｙy1）の画素データである「Ｂ５」が記憶されている。ラインメモリ２３には、その前の１ライン分の画素データである、「Ｂ４」「Ｂ３」「Ｂ２」「Ｂ１」「Ａｎ」…「Ａ７」が記憶されている。一時メモリ２４には、ラインメモリ２３に記憶されている画素より前の３つの画素データである、「Ａ６」「Ａ５」「Ａ４」が記憶されている。

なお、この状態になる前に、Ｙアドレスがｙ0 であるラインについて既に処理が行われた結果、エッジＹＥとして検出された画素のＸアドレスである、「ｘ1 」「ｘ2 」「ｘ3 」「ｘ4 」…「ｘ1 」が、エッジアドレス記憶部２７に記憶されている。この最後の「ｘ1 」は、Ｙアドレスがｙ1 であるラインについての１つ目のエッジＹＥの最初アドレスＡＤＳである。

また、領域エッジＲＥとして検出された画素のアドレスである、（x1，y0）、（x2，y0）、（x1，y1）が、領域アドレス記憶部３１に記憶されている。この最後の（x1，y1）は、Ｙアドレスがｙ1 であるラインについての１つ目のエッジＹＥの最初アドレスＡＤＳである「ｘ1 」が、領域エッジＲＥとして検出されて記憶されたものである。

さて、バッファメモリ２２に記憶された「Ｂ５」が、ラインメモリ２３の最後尾に記憶された「Ｂ４」と比較される。その差が所定の範囲内であれば、連続する画素群の途中ということになり、エッジアドレス記憶部２７に記憶されない。その差が所定の範囲内でなければ、輝度値「Ｂ４」を持つ画素が連続する画素群の最後ということになり、そのＸアドレスがエッジアドレス記憶部２７に最後アドレスＡＤＥとして記憶される。

また、同時に、バッファメモリ２２に記憶された「Ｂ５」が、一時メモリ２４に記憶された「Ａ６」「Ａ５」「Ａ４」と比較される。それらの差が所定の範囲内であれば、縦方向に連続する領域エッジＲＥということになり、「Ｂ５」の画素のアドレスが領域アドレス記憶部３１に記憶される。

なお、エッジアドレス記憶部２７に記憶された最初アドレスＡＤＳの「ｘ1 」および最後アドレスＡＤＥの「ｘ2 」と、一時メモリ２４の中央の画素のアドレス「ｘA5」とが横アドレス比較部２８で比較され、「ｘ2 」と「ｘA5」とが一致することから、一致信号ＳＡが縦比較部２９に送られている。この一致信号ＳＡによって、縦比較部２９における比較結果が有効となり、エッジＹＥに対して縦方向に連続するエッジＹＥのみが検出されることとなる。

このようにして、入力される画像データＧＤに対して順次処理が行われ、その結果、例えば図８（Ａ）に示すように、横方向にＸアドレスが「ｘ1 」から「ｘ2 」まで続き且つ縦方向にＹアドレスが「ｙ0 」から「ｙ2 」まで続く画像領域ＧＧ２が検出される。

図８（Ａ）において、網かけで示した矩形の画像領域ＧＧ２は、横比較部２５で検出されたエッジＹＥに基づいて、縦比較部２９において領域エッジＲＥが検出されたものである。この領域エッジＲＥの各画素のアドレスが領域エッジアドレスとして領域アドレス記憶部３１に蓄積される。

また、図８（Ｂ）に示すように、矩形でない画像領域ＧＧ３も検出される。つまり、画像領域ＧＧ３は、領域エッジＲＥにおける画素の横方向位置がライン毎に異なっているが、このような画像領域ＧＧ３についても、縦比較部２９において検出される。

また、上に述べた例では、一時メモリ２４に３つの画素を記憶してバッファメモリ２２の１つの画素と比較したが、一時メモリ２４にさらに多くの画素を記憶させ、ライン間において横方向に２画素以上のずれがあった場合でもそれらを連続するものとし、領域エッジＲＥとして検出するようにしてもよい。また、その場合に、一時メモリ２４にさらに多くの画素を記憶させるのではなく、バッファメモリ２２に複数の画素を記憶して互いに比較する方法、その他の方法を採用してもよい。

図８（Ｃ）に示す画像領域ＧＧ４は、領域エッジＲＥにおける画素の横方向位置がライン毎に異なっており、しかも２画素分のずれがある。このような画像領域ＧＧ４についても、縦比較部２９において検出することが可能である。また、図５（Ｂ）に示す画像領域ＧＧ１についても検出することが可能である。

そして、それらの画像領域ＧＧ１〜４が、サイズ条件ＳＪに適合する場合には、それが目的とする所定の画像領域ＧＲということになる。

例えば、画像領域ＧＧの横方向および縦方向の画素数がサイズ条件ＳＪとして設定された横サイズＬＹおよび縦サイズＬＴの範囲に入っていれば、所定の画像領域ＧＲとなる。または面積ＬＭの範囲に入っていれば所定の画像領域ＧＲとなる。画像領域ＧＧが矩形でない場合には、当該画像領域ＧＧを包含する矩形の領域を想定し、または画像領域ＧＧの最も外側に位置する画素群に対する平均的な位置の直線を求めてそれらの直線による矩形の領域を想定し、それら想定した矩形の領域に対して、サイズ条件ＳＪを適用すればよい。

また、画像領域ＧＧの画素数から直接に面積を求め、これが面積ＬＭの範囲に入っているか否かを判断する。例えば、画像領域ＧＧの面積がＺであって、面積ＬＭの範囲がα〜βであった場合に、
α＜Ｚ＜β
の条件を満たせば画像領域ＧＲであり、または侵入者ＳＮであると判断する。

このような処理によって、例えば、図４に示す物体領域ＢＲ１、ＢＲ２はサイズ条件ＳＪに適合するので画像領域ＧＲとして抽出されるが、画像領域ＢＲ３は面積が小さいのでサイズ条件ＳＪに適合せず画像領域ＧＲとして抽出されない、という検索結果ＫＤが得られる。また、物体領域ＢＲ２は、大き過ぎてサイズ条件ＳＪに適合しないので、画像領域ＧＲとして抽出しない、という検索結果ＫＤが得られることもある。

また、図９に示すように、領域アドレス記憶部３１に記憶された領域エッジＲＥの各ラインのアドレスについて、それらの差分を算出する差分算出部４１を設ける。そして、差分算出部４１で算出された差分をそれぞれ比較する比較部４を設ける。比較部４２において、その比較結果から、領域エッジＲＥが直線であるかまたは曲線であるかなどを検出する。その検出結果に基づいて、領域抽出部３２において所定の条件に合致するものを抽出する。

つまり、領域エッジＲＥの各画素間の横方向の位置の差、つまりライン間における画素の横方向位置のずれ量が、差分算出部４１で差分として求まる。それらのずれ量が互いに同じであれば、領域エッジＲＥは垂直または斜めの直線上にあることが分かるので、これをサイズ条件ＳＪの一部に含めて判断する。例えば、領域エッジＲＥが直線状であれば画像領域ＧＲとする。または、領域エッジＲＥがじぐざく状であれば画像領域ＧＲとする。このようにして、検索の目的に応じ、不要な画像領域ＧＧや物体領域ＢＲを除外するよう絞り込むことが可能である。

また、ライン間における画素の横方向位置のずれ量に基づいて領域エッジＲＥが湾曲した曲線であるか否かを検出する。例えば、ずれ量に基づいて一定量以上に湾曲した部分を曲線として検出する。また、一定量以下にしか湾曲していない部分については直線として検出する。そのような一定量の範囲を、設定部４３に設定しておく。この検出結果をも含めて、領域抽出部３２で画像領域ＧＲであるかどうかの判断を行う。これにより、対象物からの光の反射などによる歪などが生じた場合でも、誤検出を防止することが可能となる。

上の例では、カメラ３が撮影した１フレームの画像ＧＤにおいて、画像領域ＧＲを検索する例について説明したが、複数のフレームにわたる画像ＧＤに基づいて画像領域ＧＲを検索してもよい。

例えば、図１０に示すように、縦比較部２９で検出された以前の１フレーム分の領域エッジＲＥについて、そのアドレスを領域アドレス保存部４４に保存しておく。縦比較部２９で検出される領域エッジＲＥについて、比較部４５において領域アドレス保存部４４に保存された領域エッジＲＥと比較し、領域アドレス保存部４４に保存されていない領域エッジＲＥのみを、領域アドレス記憶部３１に記憶する。

このようにすると、フレーム間の領域エッジＲＥの差分のみを画像領域ＧＲとして抽出し、フレーム毎に検出される同じ領域エッジＲＥについては画像領域ＧＲとして抽出しない。これによって、建物や樹木など、侵入者ＳＮとは関係のない不要な物体を検索結果ＫＤから除外することができ、必要とする画像のみを検出することが可能となる。

また、検出された領域エッジＲＥのアドレスを、設定された時間だけ領域アドレス保存部４４に保存しておく。そして、縦比較部２９で検出される領域エッジＲＥについて、領域アドレス保存部４４に保存された領域エッジＲＥと比較することにより、設定された時間にわたって存在している領域エッジＲＥのみを抽出する。これにより、フレーム間において所定の範囲の設定された低い速度で移動する領域エッジＲＥのみを画像領域ＧＲとして抽出する。また、物体への光の当たり具合などによって背景とする元の画像データが変化しても、フレーム間にわたってまたは所定の時間にわたってデータを比較することで、実際に必要とする画像のみを検出することが可能となる。

また、領域アドレス保存部４４に、複数のフレーム分の領域エッジＲＥを記憶しておき、縦比較部２９で検出される領域エッジＲＥについて、比較部４５において領域アドレス保存部４４に保存された領域エッジＲＥと比較し、当該領域エッジＲＥの移動速度を算出する。移動速度は、フレーム間における領域エッジＲＥの位置のずれ量と、１フレームの時間とから算出可能である。この場合に、比較部４５は、本発明における速度算出部に相当する。

また、不要なエリアにおける検索を実行しないために、画像ＧＤにおける検索対象エリア（対象領域）を設定するようにしてもよい。例えば、図１１に示すように、アドレス設定部４６およびアドレス比較部４７を設け、一時メモリ２４の画素のアドレスまたは縦比較部２９で検出した領域エッジＲＥのアドレスを、アドレス比較部４７で比較し、所定の範囲内のアドレスであった場合のみ、領域エッジＲＥのアドレスを領域アドレス記憶部３１に記憶する。検索対象エリアを示すアドレスをアドレス設定部４６に設定しておき、これに基づいてアドレス比較部４７で比較する。これにより、画像ＧＤにおける不要なエリアでの検索が行われないので、領域アドレス記憶部３１に記憶するデータ量を低減することが可能となる。

例えば、カメラ３での撮影範囲に、ある敷地の境界部分が入っている場合に、その敷地の手前側にある物体については検索対象とせず、敷地の向こう側または境界部分にある物体のみを検索対象とすることができる。なお、アドレス設定部４６は、本発明における対象領域設定部に相当する。

また、検索対象エリアを、画像ＧＤに含まれる特定の物体と一致するように設定しておいてもよい。例えば、画像ＧＤの中に柵が映っている場合に、その柵の映っている範囲を検索対象エリアとする。そして、以前の１フレーム分の検索対象エリアのデータを蓄積しておいて、蓄積したデータと現在のデータとを比較する。その比較結果に基づいて、侵入者ＳＮであるか否かを判断する。また、侵入者ＳＮが柵の向こう側にいるか、または柵を乗り越えて手前側に侵入しているかを判断することができる。

上に示した実施形態および変形例などによって、種々の監視領域内において撮影された画像から、所定の条件に合致する画像領域ＧＲが検索される。例えば、河川などの水量ゲートなどに設置される水門を監視し、水門の上流側の近傍のみを監視したり、水門を通過する小さい物体は抽出せずに水門を通過できない大きな物体のみを検索したりすることが可能である。

上に述べた実施形態において、監視処理装置４、画像検索装置５、または監視システム１の全体または各部の構成、構造、形状、寸法、個数、画像の内容、および処理の内容またはタイミングなどは、本発明の趣旨に沿って適宜変更することができる。

以上、本発明の実施形態をいくつかの実施例とともに説明したが、本発明は上記実施形態に限定されることなく種々の形態で実施することが可能である。
（付記１）
横方向および縦方向にマトリックス状に配列された複数の画素からなる画像について画素毎に順次シリアルで入力される画像データから所定の画像領域を検索する装置であって、
検索すべき画像領域のサイズ条件を記憶するサイズ条件記憶部と、
前記画像の横方向の１ラインにおいて隣合う画素の画素データを比較することによりエッジを検出する横方向エッジ検出部と、
検出されたエッジのアドレスを記憶するエッジアドレス記憶部と、
前記エッジアドレス記憶部に記憶されたアドレスのそれぞれの画素を注目画素とし、当該注目画素と当該注目画素の次のラインにおいて隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部と、
前記縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを領域エッジアドレスとして記憶する領域アドレス記憶部と、
前記領域アドレス記憶部に記憶された領域アドレスから、前記サイズ条件記憶部に記憶されたサイズ条件に合う領域を抽出する領域抽出部と、
を有することを特徴とする画像検索装置。
（付記２）
前記横方向エッジ検出部は、順次入力される画素の１つを注目画素とし、当該注目画素と当該注目画素に隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内であった連続する画素群の両端の画素を前記エッジとして検出する、
付記１記載の画像検索装置。
（付記３）
前記縦方向検出部は、前記注目画素の次のラインにおいて同じ横方向位置にある画素およびその両側の画素の３つの画素を前記隣合う画素として互いに比較する、
付記１または２記載の画像検索装置。
（付記４）
前記入力された画像データを１ライン分遅延させるラインメモリが設けられており、
縦方向検出部は、前記ラインメモリによって遅延された画像データの中から前記注目画素の画素データを取得する、
付記１ないし３のいずれかに記載の画像検索装置。
（付記５）
前記サイズ条件は、矩形の画像領域の縦サイズおよび横サイズについての条件である、
付記１ないし４のいずれかに記載の画像検索装置。
（付記６）
前記サイズ条件には、画像領域の面積についての条件が含まれており、
前記領域抽出部は、前記領域アドレス記憶部に記憶された領域アドレスから面積を求め、求めた面積が前記サイズ条件に合う領域を抽出する、
付記１ないし５のいずれかに記載の画像検索装置。
（付記７）
前記サイズ条件には、縦サイズ、横サイズ、または面積についての許容範囲が設定されている、
付記５または６記載の画像検索装置。
（付記８）
前記領域アドレス記憶部は、連続する複数枚の画像についての領域エッジアドレスを記憶可能であり、
前記複数枚の画像についての領域エッジアドレスに基づいて、当該領域エッジアドレスによって特定される領域の移動速度を求める速度算出部が設けられており、
前記領域抽出部は、前記速度算出部で求めた移動速度が所定の範囲である領域のみを抽出する、
付記１ないし７のいずれかに記載の画像検索装置。
（付記９）
前記領域抽出部は、前記複数枚の画像の中において新たに検出された領域エッジアドレスについての領域のみを抽出する、
付記１ないし７のいずれかに記載の画像検索装置。
（付記１０）
前記画像内における対象領域を設定する対象領域設定部が設けられ、
前記領域抽出部は、前記対象領域設定部で設定された対象領域内の領域のみを抽出する、
付記１ないし７のいずれかに記載の画像検索装置。
（付記１１）
横方向および縦方向にマトリックス状に配列された複数の画素からなる画像について画素毎に順次シリアルで入力される画像データから所定の画像領域を検索する装置であって、
検索すべき画像領域のサイズ条件を記憶するサイズ条件記憶部と、
前記入力される画像データの１画素分の画素データを記憶するバッファメモリと、
前記入力される画素データを１ライン分遅延させるラインメモリと、
前記ラインメモリによって遅延されることにより前記バッファメモリに記憶される画素に対し１ライン分遅延した画素の画素データを記憶する一時メモリと、
前記バッファメモリに記憶された画素データとその横方向に隣合う画素の画素データとを比較することにより横方向のエッジを検出する横方向エッジ検出部と、
検出されたエッジのアドレスを記憶するエッジアドレス記憶部と、
前記バッファメモリに記憶された画素データと前記一時メモリに記憶された画素データとを比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部と、
前記縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを領域エッジアドレスとして記憶する領域アドレス記憶部と、
前記領域アドレス記憶部に記憶された領域アドレスから、前記サイズ条件記憶部に記憶されたサイズ条件に合う領域を抽出する領域抽出部と、
を有することを特徴とする画像検索装置。（５）
（付記１２）
前記縦方向検出部において、前記エッジアドレス記憶部に記憶されたアドレスまたはその近傍のアドレスと一致する場合のみについて、それを前記領域エッジアドレスとして前記領域アドレス記憶部に記憶する、
付記１１記載の画像検索装置。

本発明に係る監視システムの全体の構成を示すブロック図である。 画像検索装置の構成を示すブロック図である。 カメラから出力される１フレームの画像データの構成を示す図である。 画像の例を示す図である。 侵入者とそれに対応する画像領域の例を示す図である。 画像データの例を示す図である。 画像検索装置の各部で一時的に記憶される画素データの例を示す図である。 縦比較部で検出される画像領域の例を示す図である。 領域エッジが直線か曲線かを検出する構成の例を示すブロック図である。 領域エッジのフレーム間の差分を求める構成の例を示すブロック図である。 画像における検索対象エリアを設定する構成の例を示すブロック図である。 従来の画像検索方法を説明するための図である。

符号の説明

１ 監視システム
４ 監視処理装置
５ 画像検索装置
２２ バッファメモリ
２３ ラインメモリ
２４ 一時メモリ
２５ 横比較部（横方向エッジ検出部）
２６ 横範囲設定部
２７ エッジアドレス記憶部
２８ 横アドレス比較部
２９ 縦比較部（縦方向検出部）
３０ 縦範囲設定部
３１ 領域アドレス記憶部
３２ 領域抽出部
３３ サイズ条件記憶部
４５ 比較部（速度算出部）
４６ アドレス設定部（対象領域設定部）
ＹＥ エッジ（横方向エッジ）
ＲＥ 領域エッジ

Claims (5)

1. 横方向および縦方向にマトリックス状に配列された複数の画素からなる画像について画素毎に順次シリアルで入力される画像データから所定の画像領域を検索する装置であって、
   検索すべき画像領域のサイズ条件を記憶するサイズ条件記憶部と、
   前記画像の横方向の１ラインにおいて隣合う画素の画素データを比較することによりエッジを検出する横方向エッジ検出部と、
   検出されたエッジのアドレスを記憶するエッジアドレス記憶部と、
   前記エッジアドレス記憶部に記憶されたアドレスのそれぞれの画素を注目画素とし、当該注目画素と当該注目画素の次のラインにおいて隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部と、
   前記縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを領域エッジアドレスとして記憶する領域アドレス記憶部と、
   前記領域アドレス記憶部に記憶された領域アドレスから、前記サイズ条件記憶部に記憶されたサイズ条件に合う領域を抽出する領域抽出部と、
   を有することを特徴とする画像検索装置。
2. 前記横方向エッジ検出部は、順次入力される画素の１つを注目画素とし、当該注目画素と当該注目画素に隣合う画素との画素データを互いに比較し、それらの差が所定の範囲内であった連続する画素群の両端の画素を前記エッジとして検出する、
   請求項１記載の画像検索装置。
3. 前記縦方向検出部は、前記注目画素の次のラインにおいて同じ横方向位置にある画素およびその両側の画素の３つの画素を前記隣合う画素として互いに比較する、
   請求項１または２記載の画像検索装置。
4. 前記入力された画像データを１ライン分遅延させるラインメモリが設けられており、
   縦方向検出部は、前記ラインメモリによって遅延された画像データの中から前記注目画素の画素データを取得する、
   請求項１ないし３のいずれかに記載の画像検索装置。
5. 横方向および縦方向にマトリックス状に配列された複数の画素からなる画像について画素毎に順次シリアルで入力される画像データから所定の画像領域を検索する装置であって、
   検索すべき画像領域のサイズ条件を記憶するサイズ条件記憶部と、
   前記入力される画像データの１画素分の画素データを記憶するバッファメモリと、
   前記入力される画素データを１ライン分遅延させるラインメモリと、
   前記ラインメモリによって遅延されることにより前記バッファメモリに記憶される画素に対し１ライン分遅延した画素の画素データを記憶する一時メモリと、
   前記バッファメモリに記憶された画素データとその横方向に隣合う画素の画素データとを比較することにより横方向のエッジを検出する横方向エッジ検出部と、
   検出されたエッジのアドレスを記憶するエッジアドレス記憶部と、
   前記バッファメモリに記憶された画素データと前記一時メモリに記憶された画素データとを比較し、それらの差が所定の範囲内である画素を検出する縦方向検出部と、
   前記縦方向検出部によって所定の範囲内であることが検出されたときに、検出された画素のアドレスを領域エッジアドレスとして記憶する領域アドレス記憶部と、
   前記領域アドレス記憶部に記憶された領域アドレスから、前記サイズ条件記憶部に記憶されたサイズ条件に合う領域を抽出する領域抽出部と、
   を有することを特徴とする画像検索装置。