JP2008165705A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像中から特定の物体を検出する際に、画像の奥行き方向に存在する物体と垂直方向に存在する物体とを判別可能にし、検出精度を向上させる。
【解決手段】画像処理装置は、処理対象画像から物体が占有する物体領域を抽出する前処理部１０２と、物体領域の重心を基準として物体領域を複数の小領域に分割する領域分割部１０３と、複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出部１０４と、物体の傾きと予め設定した物体の傾きとを比較し検出すべき特定の物体であるか否かを識別する物体識別部１０５とを備え、これら一連の処理を行うことによって処理対象画像中から特定の物体を判別する。
【選択図】図１

Description

本発明は、画像中から特定の物体を検出する画像処理装置及び画像処理方法に関する。

例えば監視カメラ装置等においては、監視対象物を認識するために、画像中から特定の物体を検出する画像処理装置が用いられる。この種の画像処理装置としては、従来、監視対象の領域内を映す映像信号を処理して被写体が検出対象物体であるか否かの自動認識を行う装置がある。

従来の画像処理装置として、例えば特許文献１には、検出した物体の足元位置を算出し、物体の大きさを画面上の手前での物体の大きさに変換することにより、認識物体の基準となる大きさと比較することによって検出対象物体であるか否かを認識するものが開示されている。
特開２０００−２６８１７３号公報

上記のような従来の画像処理装置では、検出対象物体の大きさを矩形で近似して比較しているため、二次元の画像において、撮像された特定の物体を検出する際に、撮像範囲の奥行き方向に存在する物体と垂直方向に存在する物体とを識別できない。このため、検出対象物体の誤検出が生じる問題点があった。

本発明は、上記事情に鑑みてなされたもので、画像中から特定の物体を検出する際に、画像の奥行き方向に存在する物体と垂直方向に存在する物体とを判別でき、検出精度を向上させることが可能な画像処理装置及び画像処理方法を提供することを目的とする。

本発明の画像処理装置は、処理対象画像を含むデータを保持する保持部と、前記処理対象画像における所定の物体に相当する物体領域を抽出する物体領域抽出部と、前記物体領域の重心を基準として前記物体領域を複数の小領域に分割する領域分割部と、前記複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出部と、前記物体の傾きと予め設定した物体の傾きとを比較し検出すべき特定の物体であるか否かを識別して識別結果を出力する物体識別部と、を備えるものである。

この構成により、処理対象画像から検出した物体領域の重心を基準として複数の小領域に分割し、小領域の重心の位置関係から物体の傾きを検出することによって、物体が画像の奥行き方向に存在する物体（背景の物体など）と垂直方向に存在する物体（人物などの特定物体）とを判別可能となる。したがって、画像中から特定の物体を検出する際に、物体の傾きを容易に検出可能であり、これによって画像の奥行き方向に存在する物体と垂直方向に存在する物体とを容易に精度良く判別でき、物体の識別精度を向上させることが可能となる。また、例えば画像中の動き検出等を行わなくても、特定の物体を検出することが可能となる。

また、本発明は、上記の画像処理装置であって、前記傾き検出部は、前記物体の傾きを示す直線と前記物体領域の下端との交点を処理対象画像内の物体位置として特定する物体位置特定部を有し、前記物体識別部は、前記物体位置と前記処理対象画像に予め設定した検出領域とを比較し検出すべき特定の物体であるか否かを識別するものとする。

この構成により、物体の傾きを示す直線と物体領域の下端との交点を物体位置（物体の基準点）として特定することによって、物体の識別精度を向上させることが可能となる。

また、本発明は、上記いずれかの画像処理装置と、前記処理対象画像を入力する画像入力部とを備える監視カメラ装置を提供する。画像入力部としては、カメラ、ストレージ装置、画像入力インタフェース等を用いることができる。

本発明の画像処理方法は、保持部に保持した処理対象画像における所定の物体に相当する物体領域を抽出する物体領域抽出ステップと、前記物体領域の重心を基準として前記物体領域を複数の小領域に分割する領域分割ステップと、前記複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出ステップと、前記物体の傾きと予め設定した物体の傾きとを比較し検出すべき特定の物体であるか否かを識別して識別結果を出力する物体識別ステップと、を有するものである。

この手順により、処理対象画像から検出した物体領域の重心を基準として複数の小領域に分割し、小領域の重心の位置関係から物体の傾きを検出することによって、物体が画像の奥行き方向に存在する物体（背景の物体など）と垂直方向に存在する物体（人物などの特定物体）とを判別でき、物体の識別精度を向上させることが可能となる。また、例えば画像中の動き検出等を行わなくても、特定の物体を検出することが可能となる。

また、本発明は、上記の画像処理方法であって、前記傾き検出ステップにおいて、前記物体の傾きを示す直線と前記物体領域の下端との交点を処理対象画像内の物体位置として特定する物体位置特定処理を含み、前記物体識別ステップにおいて、前記物体位置と前記処理対象画像に予め設定した検出領域とを比較し検出すべき特定の物体であるか否かを識別するものとする。

この手順により、物体の傾きを示す直線と物体領域の下端との交点を物体位置（物体の基準点）として特定することによって、物体の識別精度を向上させることが可能となる。

また、本発明は、上記いずれかの画像処理方法における各ステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記いずれかの画像処理方法における各ステップをコンピュータに実行させるためのプログラムを記録した記録媒体を提供する。

本発明によれば、画像中から特定の物体を検出する際に、画像の奥行き方向に存在する物体と垂直方向に存在する物体とを判別でき、検出精度を向上させることが可能な画像処理装置及び画像処理方法を提供できる。

本実施形態では、対象領域の異常や侵入物などを監視する監視カメラ装置などにおいて、撮像等により取得した画像中から特定の物体を検出するために用いられる画像処理装置及び方法の例を示す。以下の実施形態では、監視カメラで撮像した画像を処理する場合を例にとり説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態における画像処理装置の全体の構成を示すブロック図である。

本実施形態の画像処理装置は、画像入力部１０１より入力される処理対象画像を処理し、画像中から特定の物体を検出するものである。画像入力部１０１としては、被写体を撮像して画像データを得るカメラ、画像データを記録したストレージ装置、画像データをネットワーク等を介して入力する画像入力インタフェース等が設けられる。

画像処理装置は、処理対象画像から物体が占有する物体領域を抽出する前処理部１０２と、前記物体領域の重心を基準として前記物体領域を複数の小領域に分割する領域分割部１０３と、前記複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出部１０４と、前記物体の傾きと予め設定した物体の傾きとを比較し検出すべき特定の物体であるか否かを識別する物体識別部１０５とを備える。この画像処理装置は、ＭＰＵ、ＤＳＰ、プログラマブルゲートアレイ等のプロセッサ、及びＲＡＭ、ＲＯＭ等のメモリを有して構成され、メモリに記憶された画像処理用のプログラムをプロセッサ及びメモリにおいて実行することにより、画像処理装置の各部の機能が実現される。なお、画像処理装置の各部の機能を持つ画像処理用回路を有するハードウェアにより構成することも可能である。

また、画像処理装置の出力は、モニタ等の表示部に出力して特定物体の検出結果を利用者が閲覧したり、データストレージ等の蓄積部に出力して処理対象画像や特定物体の検出結果を記録したりすることが可能である。なお、画像処理装置と画像入力部、表示部、蓄積部等とは、直接接続されていてもよいし、ネットワーク等を介して接続された構成を用い、遠隔に利用できるようにしてもよい。

以下、装置外部の画像入力部１０１から本実施形態の画像処理装置に処理対象画像が入力された場合の動作について説明する。画像処理装置は、まず、入力した処理対象画像から物体が占有する物体領域を抽出する前処理を行い（ステップＳ１）、抽出した物体領域の重心を基準として物体領域を複数の小領域に分割する領域分割処理を行う（ステップＳ２）。そして、分割した複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出処理を行い（ステップＳ３）、検出した物体の傾きと予め設定してある判別基準とする物体の傾きとを比較し、検出すべき特定の物体であるか否かを識別する物体識別処理を行う（ステップＳ４）。

まず、本実施形態に係る画像処理装置の前処理部１０２の動作について、図２から図４を用いて説明する。図２は前処理部１０２の構成を示すブロック図、図３は処理対象画像の一例を示す図、図４は処理対象画像において抽出した物体領域を示す図である。

図２は、特に前処理部１０２の詳細な構成を示すものであり、前処理部１０２は、以前の処理対象画像（背景画像）を保持するフレームメモリ２０１と、画像入力部１０１から入力された処理対象画像とフレームメモリ２０１に保持されている背景画像とから物体領域を抽出する物体領域抽出器２０２とを備える。

以降の本実施形態では、図３（Ａ）に示す画像３０１が背景画像として前処理部１０２のフレームメモリ２０１に保持されているものとし、画像入力部１０１から図３（Ｂ）に示す画像３０２が処理対象画像として入力された場合について説明する。

前処理部１０２の物体領域抽出器２０２は、例えば、画像入力部１０１から入力されフレームメモリ２０１に保持されている図３（Ａ）に示す背景画像３０１と、画像入力部１０１から入力された図３（Ｂ）に示す処理対象画像３０２とから、背景差分法によって物体領域を抽出する。このとき、背景差分法により、背景画像３０１と処理対象画像３０２との輝度値の差を画素毎に計算し、その差分を所定の閾値で二値化処理し、図４に示すように、画像４０１において差分が閾値以上の画素４０２のみを抽出する。そして、抽出した画素４０２の隣接する画素同士をラベリング処理することによって、物体領域４０３、４０４を抽出する。

次に、本実施形態に係る画像処理装置の領域分割部１０３の動作について、図５及び図６を用いて説明する。図５は領域分割部１０３の構成を示すブロック図、図６は物体領域において算出した重心を示す図である。

図５は、特に領域分割部１０３の詳細な構成を示すものであり、領域分割部１０３は、前処理部１０２から入力された物体領域の重心を演算する物体領域重心演算器５０１と、物体領域重心演算器５０１によって得られた重心より物体領域を複数の小領域に分割する小領域分割器５０２とを備える。

物体領域重心演算器５０１は、例えば、図６（Ａ）に示すように前処理部１０２から入力された物体領域４０３の重心６０１を演算により求める。ここで、物体領域の重心（ＧＸ，ＧＹ）は下記の数１によって求められる。

小領域分割器５０２は、例えば、図６（Ａ）に示すように物体領域演算器５０１によって得られた重心６０１を基準に、重心６０１を通る線分を境界として物体領域４０３を小領域６０２及び小領域６０３の２つの小領域に分割する。

これら一連の処理を、物体領域４０４に対しても同様に行うことによって、図６（Ｂ）に示すように重心６０２を算出し、物体領域４０４を小領域６０５及び小領域６０６の２つの小領域に分割する。

次に、本実施形態に係る画像処理装置の傾き検出部１０４の動作について、図７及び図８を用いて説明する。図７は傾き検出部１０４の構成を示すブロック図、図８は物体領域において算出した傾きを示す図である。

図７は、特に傾き検出部１０４の詳細な構成を示すものであり、傾き検出部１０４は、領域分割部１０３によって分割された物体領域４０３の上部及び下部の２つの小領域について、それぞれ重心を演算する小領域重心演算器７０１と、小領域重心演算器７０１によって得られた２つの重心から物体領域の傾きを演算する傾き演算器７０２とを備える。

小領域重心演算器７０１は、例えば、図８（Ａ）に示すように領域分割部１０３から入力された物体領域４０３に対応する小領域６０２及び小領域６０３について、それぞれ重心８０１及び重心８０２を演算により求める。ここで、各小領域の重心（ＡＸ，ＡＹ）は下記の数２によって求められる。

傾き演算器７０２は、例えば、図８（Ａ）に示すように小領域重心演算器７０１によって得られた重心８０１及び重心８０２を通る直線８０３を演算により求める。ここで、重心８０１を（ＡＸ１，ＡＹ１）、重心８０２を（ＡＸ２，ＡＹ２）とすると、重心８０１及び重心８０２を通る直線８０３は数３によって求められる。そして、数３におけるＸの係数αが物体領域４０３の傾きを示すこととなる。

これら一連の処理を、物体領域４０４に対応する小領域６０５及び小領域６０６対しても同様に行うことによって、図８（Ｂ）に示すように、重心８０４及び重心８０５を通る直線８０６を求め、物体領域４０４の傾きを算出する。

次に、本実施形態に係る画像処理装置の物体識別部１０５の動作について、図８を用いて説明する。

ここでは、例えば、図８（Ａ）に示すように物体領域４０３について、処理対象画像の垂直方向と並行な直線８０７と傾き検出部１０４で得られた直線８０３との成す角度θを求める。この角度θは下記の数４によって求められる。

そして、予め設定した検出すべき物体の特徴を示す角度の範囲内（例えば０〜１０°）に直線８０３の成す角度θが含まれる場合は検出すべき物体として判別する。

この処理を、図８（Ｂ）に示すように物体領域４０４についても同様に行うことによって、処理対象画像の垂直方向と並行な直線８０８と傾き検出部１０４で得られた直線８０６との成す角度を算出し、この角度が予め設定した検出すべき物体の特徴を示す角度の範囲内に含まれる場合は検出すべき物体として判別する。

最後に、物体領域の縦横比、高さの上限、下限、幅の上限、下限等を用いて、特定の物体であるか否かを識別する。図８の例では、物体領域４０３は傾きが大きいため、画像の奥行き方向に存在する物体であり、背景の部分であると識別される。一方、物体領域４０４は傾きが略０°で小さく、画像の垂直方向に存在する物体であり、検出すべき特定の物体（ここでは人物）であると識別される。

上述したように、本実施形態によれば、処理対象画像中から検出した物体領域の重心を基準として複数の小領域に分割し、小領域の重心の位置関係から容易に物体の傾きを検出でき、これによって、画像中から特定の物体を検出する際に、物体の傾きを容易に検出可能となり、画像の奥行き方向に存在する物体と垂直方向に存在する物体とを容易に精度良く判別できる。したがって、処理対象画像において背景と特定の物体とをより確実に識別できるため、物体の識別精度を向上することができる。

（第２の実施形態）
第２の実施形態の画像処理装置は、図１に示した第１の実施形態の画像処理装置において傾き検出部１０４及び物体識別部１０５の機能を変更したものである。第２の実施形態では、傾き検出部１０４において物体領域の傾きを示す直線と物体領域の下端との交点を物体の基準点として特定し、物体識別部１０５において前記物体の基準点を用いて検出すべき特定の物体であるか否かを識別する。

第２の実施形態における画像入力部１０１、前処理部１０２、領域分割部１０３の詳細な動作は、上述した第１の実施形態と同一であるため詳細な説明を省略し、傾き検出部１０４及び物体識別部１０５の詳細な動作を以下の説明で行い、本実施形態の詳細な説明とする。

図９は第２の実施形態における処理対象画像の一例を示す図である。以降の本実施形態では、図９（Ａ）に示す画像９０１が背景画像として前処理部１０２のフレームメモリ２０１（図２参照）に保持されているものとし、画像入力部１０１から図９（Ｂ）に示す画像３０２が処理対象画像として入力され、画像９０１及び画像９０２に予め設定してある監視領域９０３に侵入した物体のみを識別する場合について説明する。

まず、本実施形態に係る画像処理装置の傾き検出部１０４の動作について、図１０及び図１１を用いて説明する。図１０は傾き検出部１０４の構成を示すブロック図、図１１は物体領域において算出した傾きを示す図である。

図１０は、特に傾き検出部１０４の詳細な構成を示すものであり、傾き検出部１０４は、領域分割部１０３によって分割された物体領域４０３、４０４の上部及び下部の２つの小領域について、それぞれ重心を演算する小領域重心演算器１００１と、小領域重心演算器１００１によって得られた２つの重心から物体領域の傾きを演算する傾き演算器１００２と、傾き演算器１００２によって得られた傾きを示す直線と物体領域の下端との交点を物体位置として特定する物体位置特定器１００３とを備える。

小領域重心演算器１００１及び傾き演算器１００２は、上述した第１の実施形態における傾き検出部１０４の詳細な構成要素である図７の小領域重心演算器７０１及び傾き演算器７０２と同一であるため、詳細な説明を省略する。

物体位置特定器１００３は、例えば、図１１（Ａ）に示すように物体領域４０３の傾きを示す直線８０３と物体領域４０３の下端との交点を物体の基準位置１１０１として特定する。ここで、物体領域４０３の傾きを示す直線８０３は、傾き演算器１００２において上述した数３によって求められており、基準位置１１０１の対象画像における座標を（ＢＸ，ＢＹ）とするとＢＹは既知であるため、数３に（ｘ，ｙ）＝（ＢＸ，ＢＹ）を代入して変形した下記の数５によってＢＸが求められる。

これら一連の処理を、物体領域４０４に対しても同様に行うことによって、図１１（Ｂ）に示すように、物体領域４０４の傾きを示す直線８０６と物体領域４０４の下端との交点を物体の基準位置１１０２として特定する。

次に、本実施形態に係る画像処理装置の物体識別部１０５の動作について、図９を用いて説明する。

物体識別部１０５では、傾き検出部１０４で求められた物体領域の基準位置が図９に示す監視領域９０３に含まれているか否かを識別し、監視領域９０３内に物体領域の基準位置が含まれている物体領域についてのみ、上述した第１の実施形態における物体識別器１０５と同様の処理を行い、検出すべき物体か否かを判定する。すなわち、処理対象画像の垂直方向と並行な直線と物体領域の傾きを示す直線との成す角度を算出し、この角度が予め設定した検出すべき物体の特徴を示す角度の範囲内に含まれる場合は検出すべき物体として判別する。そして、物体領域の縦横比、高さの上限、下限、幅の上限、下限等を用いて、特定の物体であるか否かを識別する。

したがって、本実施形態によれば、画像中の一部の領域のみを監視する場合、物体領域の傾きを示す直線と物体領域の下端との交点を物体の基準点として特定し、この基準点が監視領域に含まれるか否かを判断することによって、物体の識別精度を向上することができる。

なお、上述した第１及び第２の実施形態では、前処理部１０２における物体領域の抽出方法は特に限定されない。例えば、本実施形態では、背景差分法により背景画像と処理対象画像との輝度値の差を計算して物体領域を抽出するようにしたが、これに限定されるものではなく、他に一般的な画像処理手法として広く知られているフレーム間差分法により、時間的に異なる対象画像同士の輝度値の差を計算して物体領域を抽出してもよい。その場合、フレームメモリ２０１には画像入力部１０１から入力される対象画像とは時間的に異なる画像を保持すればよい。また、他に一般的な画像処理手法として広く知られているオプティカルフローによる動画像解析などを用いて、画素単位または対象画像を複数個の画素からなるブロック単位に区切って物体領域を抽出しても良い。

また、上述した第１及び第２の実施形態では、画像入力部１０１から入力される処理対象画像と、処理対象画像とは時間的に異なる画像とをフレームメモリ２０１に保持して、２枚の画像から物体領域を抽出するようにしたが、３枚以上の画像から物体領域を抽出するようにしても良い。その場合、前処理部１０２の構成要素であるフレームメモリ２０１を複数個用意することによって実現可能である。

なお、本発明は上記の実施形態において示されたものに限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

本発明は、上述したように対象領域の異常や侵入物などを監視する監視カメラ装置などに適用されるものであり、市街地や重要施設などの防犯装置などとしても使用可能である。

本発明は、画像中から特定の物体を検出する際に、画像の奥行き方向に存在する物体と垂直方向に存在する物体とを判別でき、検出精度を向上させることが可能となる効果を有し、監視カメラ装置等に適用される画像中から特定の物体を検出する画像処理装置及び画像処理方法等に有用である。

本発明の第１の実施形態における画像処理装置の全体の構成を示すブロック図 本実施形態に係る前処理部の構成を示すブロック図 第１の実施形態に係る処理対象画像の一例を示す図 本実施形態に係る処理対象画像において抽出した物体領域を示す図 本実施形態に係る領域分割部の構成を示すブロック図 本実施形態に係る領域分割部の処理の概要を示す図 第１の実施形態に係る傾き検出部の構成を示すブロック図 第１の実施形態に係る傾き検出部及び物体識別部の処理の概要を示す図 本発明の第２の実施形態に係る処理対象画像の一例を示す図 第２の実施形態に係る傾き検出部の構成を示すブロック図 第２の実施形態に係る傾き検出部及び物体識別部の処理の概要を示す図

符号の説明

１０１ 画像入力部
１０２ 前処理部
１０３ 領域分割部
１０４ 傾き検出部
１０５ 物体識別部
２０１ フレームメモリ
２０２ 物体領域抽出器
５０１ 物体領域重心演算器
５０２ 小領域分割器
７０１ 小領域重心演算器
７０２ 傾き演算器
８０３、８０６ 物体領域の傾きを示す直線
１１０１、１１０２ 物体領域の基準位置を示す座標

Claims (7)

1. 処理対象画像を含むデータを保持する保持部と、
   前記処理対象画像における所定の物体に相当する物体領域を抽出する物体領域抽出部と、
   前記物体領域の重心を基準として前記物体領域を複数の小領域に分割する領域分割部と、
   前記複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出部と、
   前記物体の傾きと予め設定した物体の傾きとを比較し検出すべき特定の物体であるか否かを識別して識別結果を出力する物体識別部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記傾き検出部は、前記物体の傾きを示す直線と前記物体領域の下端との交点を処理対象画像内の物体位置として特定する物体位置特定部を有し、
   前記物体識別部は、前記物体位置と前記処理対象画像に予め設定した検出領域とを比較し検出すべき特定の物体であるか否かを識別する画像処理装置。
3. 請求項１または２に記載の画像処理装置と、前記処理対象画像を入力する画像入力部とを備える監視カメラ装置。
4. 保持部に保持した処理対象画像における所定の物体に相当する物体領域を抽出する物体領域抽出ステップと、
   前記物体領域の重心を基準として前記物体領域を複数の小領域に分割する領域分割ステップと、
   前記複数の小領域の重心の位置関係から物体の傾きを検出する傾き検出ステップと、
   前記物体の傾きと予め設定した物体の傾きとを比較し検出すべき特定の物体であるか否かを識別して識別結果を出力する物体識別ステップと、
   を有する画像処理方法。
5. 請求項４に記載の画像処理方法であって、
   前記傾き検出ステップにおいて、前記物体の傾きを示す直線と前記物体領域の下端との交点を処理対象画像内の物体位置として特定する物体位置特定処理を含み、
   前記物体識別ステップにおいて、前記物体位置と前記処理対象画像に予め設定した検出領域とを比較し検出すべき特定の物体であるか否かを識別する画像処理方法。
6. 請求項４又は５に記載の画像処理方法における各ステップをコンピュータに実行させるためのプログラム。
7. 請求項４又は５に記載の画像処理方法における各ステップをコンピュータに実行させるためのプログラムを記録した記録媒体。

Images