JP2004258931A - 画像処理方法、画像処理装置、画像処理プログラム - Google Patents

Abstract

【課題】辞書パターンを用いることなく複数の移動物体を個別に認識し、かつ各移動物体について３次元位置および３次元寸法を求める。
【解決手段】画像処理部４はカメラ１により同空間を異なる時刻に撮像した複数毎の濃淡画像から濃度の差分を２値化した差分２値画像を生成する。さらに、画像処理部４は、差分２値画像内で移動物体の候補となる複数個の候補領域のうち各候補領域の特徴量に基づいて求めた同一の移動物体である確率が規定の閾値以上である候補領域同士を結合して物体領域を形成し、得られた物体領域について２次元画像から３次元に変換する変換規則を適用することにより３次元位置および３次元寸法を求める。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、時系列で得られた複数毎の画像を用いて移動物体を検出する画像処理方法、画像処理装置、画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来から、異なる時刻に得られた２枚の画像の濃度変化があれば、濃度変化の発生箇所に移動物体が存在すると判断し、濃度変化を生じた領域全体を移動物体の大きさとして認識する画像処理の技術が知られている。（たとえば、特許文献１参照）。
【０００３】
【特許文献１】
特開平６−２３１２５２号公報（第４頁、図１）
【０００４】
【発明が解決しようとする課題】
特許文献１に記載の技術は、差分２値画像を生成し、差分２値画像から抽出された領域について、あらかじめ登録した辞書パターンとの類似度が高い領域を移動物体の領域と認識するものであって、複数の移動物体を追跡することが可能ではあるものの、辞書パターンの登録が必要になっている。
【０００５】
本発明は上記事由に鑑みて為されたものであり、その目的は、辞書パターンを用いることなく複数の移動物体を個別に認識することを可能とし、さらには各移動物体について３次元位置および３次元寸法を求めることを可能とした画像処理方法、画像処理装置、画像処理プログラムを提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、同空間を撮像手段で異なる時刻に撮像した複数毎の濃淡画像から濃度の差分を２値化した差分２値画像を生成し、差分２値画像内で移動物体の候補となる複数個の候補領域のうち各候補領域の特徴量に基づいて求めた同一の移動物体である確率が規定の閾値以上である候補領域同士を結合して物体領域を形成し、得られた物体領域について２次元画像から３次元に変換する変換規則を適用することにより３次元位置および３次元寸法を求めることを特徴とする。
【０００７】
請求項２の発明では、請求項１の発明において、前記空間が太陽光を受けているときに、日時に対応した既知の太陽の位置と前記空間に対する前記撮像手段の向きとを用いて前記物体領域に含まれる影の向きおよび長さを推定し、物体領域から影に対応する領域を除去することを特徴とする。
【０００８】
請求項３の発明は、請求項１の発明において、前記空間が照明されているときに、照明装置の位置と前記空間に対する前記撮像手段の向きとを用いて前記物体領域に含まれる影の向きおよび長さを推定し、物体領域から影に対応する領域を除去することを特徴とする。
【０００９】
請求項４の発明は、請求項１の発明において、前記撮像手段により撮像される画像内に複数個の判定領域を設定し、すべての判定領域が前記候補領域になったときには、判定領域に関する濃度の差分について絶対値の平均値を２値化の閾値に用いた差分２値画像を生成することを特徴とする。
【００１０】
請求項５の発明は、請求項１の発明において、前記移動物体が生物であって、異なる時刻に求めた前記差分２値画像を重ね合わせたときに生じる差分領域のうちで接地面側の差分領域を足に対応する領域として抽出することを特徴とする。
【００１１】
請求項６の発明は、請求項５の発明において、前記差分領域を一定時間間隔ごとに求めることを特徴とする。
【００１２】
請求項７の発明は、請求項１の発明において、前記空間に移動物体が存在しない状態の濃淡画像と現時刻において撮像された濃淡画像とを用いて前記差分２値画像を生成し、当該差分２値画像内で前記物体領域が検出されたときに、移動物体の一部のみが動いたと判断することを特徴とする。
【００１３】
請求項８の発明は、画像処理装置であって、前記撮像手段により撮像された前記濃淡画像および濃淡画像から求めた前記差分２値画像を格納する記憶部と、記憶部に格納された濃淡画像および差分２値画像を用いて請求項１ないし請求項７のいずれか１項に記載の画像処理方法を実行するコンピュータからなる画像処理部とを具備することを特徴とする。
【００１４】
請求項９の発明は、画像処理プログラムであって、請求項１ないし請求項７のいずれか１項に記載の画像処理方法をコンピュータにより実現させるものである。
【００１５】
【発明の実施の形態】
（第１実施形態）
本実施形態において用いる画像処理装置２０は、図１に示すように、撮像手段としてのＴＶカメラよりなるカメラ１で撮像した画像により移動物体を検出するものであって、カメラ１からの画像が入力される画像入力部２を備える。画像入力部２は、カメラ１がアナログの映像信号を出力するものであれば、アナログインタフェースと映像信号にＡ／Ｄ変換を行って画素ごとの濃度に変換する機能とを持ち、カメラ１がデジタルの映像信号を出力するものであれば、デジタルインタフェースを持つ構成になる。いずれにせよ、画像入力部２の出力は、カメラ１により撮像された画像の各画素に濃度情報を持つ濃淡画像であって、この濃淡画像は画像データバッファ３に一時的に格納される。画像データバッファ３は画像メモリであって、少なくとも１画面分の濃淡画像を一時的に格納する。画像データバッファ３に一時的に格納された濃淡画像は画像処理部４に読み出され、画像処理部４と記憶部５とＣＰＵ６とによって濃淡画像に対して後述する画像処理が施される。
【００１６】
本実施形態における画像処理は、濃淡画像に基づいて、移動物体を検出するとともに移動物体の位置および大きさを検出する処理であって、濃淡画像と移動物体の位置および大きさとは記憶部５に格納される。記憶部５は、濃淡画像のほか後述する差分２値画像や各種データが格納されるものであって半導体メモリが用いられる。また、図示例ではＣＰＵ６を画像処理部４とは別手段として記載しているが、画像処理部４とＣＰＵ６とはコンピュータ装置に適宜のプログラムを実行させることによって１つのコンピュータ装置（マイクロコンピュータ）で実現することができる。また、現実的には、画像入力部２および画像データバッファ３の機能を付加したパーソナルコンピュータに、画像処理部４としての機能を実現するプログラムを実行させることによって画像処理装置２０として機能させる。
【００１７】
カメラ１は地面または床面の上方に設置し、地面または床面を含む撮像空間をカメラ１により斜め上方から撮像する場合を想定する。つまり、カメラ１の撮像空間は一般的な監視カメラの撮像空間になる。また、本実施形態では、カメラ１の撮像空間に存在する物体による影が実質的に生じないという条件で説明する。この条件は、多数の照明装置によって照明されている室内空間であって自然光がほとんど入射しない場合などに該当する。
【００１８】
本実施形態では、まず、カメラ１により異なる時刻に撮像された複数の画像を用い、異なる時刻の各２枚の画像の差分を２値化した差分２値画像を生成する。差分２値画像は、カメラ１である時刻に撮像した画像と、その画像よりも後のある時刻にカメラ１で撮像した画像との濃度の差分を各画素ごとに求めたフレーム間差分画像を生成し、フレーム間差分画像の各画素の濃度の絶対値を規定した閾値で２値化したものである。差分２値画像においては、変化の生じていない背景領域の画素値は０になり、変化が生じた差分領域の画素値は０ではない値になる。差分領域は変化の生じた領域であるから、差分領域には移動した物体の情報が含まれていると考えられる。
【００１９】
そこで、画像処理部４と記憶部５とＣＰＵ６とを用いて差分２値画像に対して以下の処理を行うことにより移動物体を認識する。まず、規定した一定時間内の複数毎の差分２値画像を用い、差分領域から背景領域への変化と、背景領域から差分領域への変化とが生じている画素について、用いた差分２値画像の枚数に対して変化の生じた割合を求め、変化の割合が規定した閾値（経験的に設定する）よりも大きいときには、何らかの物体が風などで揺らいで振動していることによる変化と判断し、このような画素は移動物体の候補から削除する。
【００２０】
次に、上述の処理によって移動物体の候補を低減させた後の１枚の差分２値画像に含まれる差分領域にラベル付けを行い、カメラ１で撮像した濃淡画像について各差分領域に対応する領域を移動物体の候補領域とする。つまり、候補領域には濃度の情報が含まれる。１枚の差分２値画像の中に連続しない複数個の候補領域が存在する場合には、各候補領域の特徴量を求め、特徴量に基づいて候補領域の統合可能性を判断し、統合可能な候補領域は同一の移動物体に属する領域であるものと判断して統合する。
【００２１】
具体的には、まず、各候補領域の重心の位置を求めるとともに、各２個の候補領域について、それぞれ重心間の距離を閾値（経験的に設定する）と比較する。重心間の距離が閾値より小さく、かつ重心を対角線の両端とする矩形領域内に他の候補領域が含まれておらず、かつ当該２個の候補領域が統合可能性について未判断であるという条件を満たすときに、以下の手順で両候補領域の統合可能性を判断する。
【００２２】
選択した２個の候補領域の統合可能性の判断に際しては、まず両候補領域の特徴量に関する類似度を判断する。候補領域の特徴量としては、位置、形状、輝度分布などの情報を用いるのであって、本実施形態では特徴量の類似度を、以下の（ａ）〜（ｃ）の３種類の演算を行って判断する。
（ａ）候補領域間の距離：統合可能性を判断する２個の候補領域についてそれぞれ輪郭線を求め（輪郭線は差分２値画像により画素値の変化点として検出し、通常の輪郭線抽出処理によって求めることができる）、輪郭線間の最小距離を候補領域間の距離とし、この距離を類似度に用いる。つまり、差分２値画像の中での距離が近いほど同一の物体である確率が高いと判断する。
（ｂ）候補領域の輪郭付近における輝度分布：統合可能性を判断する２個の候補領域についてそれぞれ輪郭線を求め、輪郭線間の距離が最小になる部位の規定の近傍領域について輝度分布の類似度を求める。つまり、輝度分布の類似度が高いほど同一の物体である確率が高いと判断する。輝度分布の類似度は、各候補領域について設定した近傍領域に関する輝度の度数分布をそれぞれベクトルで表現し両ベクトルの間の角度を類似度に用いるか、あるいは、両候補領域について設定した近傍領域に関する輝度の度数分布についてユークリッド距離を類似度に用いる。
（ｃ）候補領域の複雑度：統合可能性を判断する２個の候補領域を結合し、結合後の領域の輪郭線の長さと面積とを求め、輪郭線長と面積との関係によって輪郭線の形状に関する複雑度を類似度として判断する。つまり、一般に異なる物体を結合すると輪郭線の形状が複雑になるから、輪郭線の形状に関する複雑度が小さいほど同一の物体である確率が高いと判断する。輪郭線の複雑度は次式の値が大きいほど高いと判断する。
（結合後の領域の輪郭線長の２乗）／（結合後の領域の面積）
上述のような演算により結合可能性を判断する２個の候補領域に関する特徴量の類似度を求めた後には類似度を確率に換算する。ここに、類似度を確率に換算する変換規則には、あらかじめ実験によって推定した分布を用いる。
【００２３】
次に、得られた確率を乗算し、上述した３種類の類似度の判断を折り込んだ確率を求める。このようにして得られた結合可能性の確率が規定の閾値（経験的に設定する）以上であれば、着目する２個の候補領域は同一の物体であると判断し、両候補領域を結合して新たな候補領域とする。このとき、元の２個の候補領域のラベルは削除する。候補領域の結合にあたっては、たとえば両候補領域の輪郭線間の距離が最小になる部位の近傍領域において輪郭線の膨張処理を行うなどすればよい。また、結合可能性の確率が上述した閾値未満であれば、両候補領域は同一の物体ではないものと判断する。
【００２４】
カメラ１により撮像された画像において各２個ずつの候補領域（上述の処理により新たに生成した候補領域を含む）のすべての組合せについて上述した処理が終了すれば、最終的に得られた各候補領域について面積を求め、各候補領域の面積を閾値（検出しようとする移動物体に応じて経験的に設定される）未満である候補領域については雑音成分として除外する。
【００２５】
上述の処理によって形成された候補領域は、差分領域に基づいて得られた領域であって、候補領域の輪郭線は移動物体の輪郭線であると考えられるから、図２に示すように、差分２値画像において候補領域Ｄ１に囲まれる領域Ｄ２を、候補領域Ｄ１とともに背景領域とは異なる画素値で塗りつぶし、塗りつぶした領域の全体を物体領域Ｄａとする。
【００２６】
なお、上述の処理において類似度を３種類の演算により求めているが、候補領域の位置、形状、輝度分布などに基づいて別の演算によって類似度を求めるようにしてもよい。また、類似度から求めた確率を乗算することによって、３種類の演算により求めた類似度を折り込む例を示したが、各特徴量について求めた確率をそれぞれ大小２個の閾値と比較し、大きいほうの閾値以上の場合は投票値１、小さいほうの閾値未満の場合は投票値−１、小さいほうの閾値以上かつ大きいほうの閾値未満の場合は投票値０とし、投票値の総和を閾値と比較することによって結合可能性を判断するようにしてもよい。
【００２７】
上述した類似度から確率への変換規則となる確率の分布は、検出対象の複数の異なる画像から求めた特徴量の平均値および標準偏差を、正規分布の平均および標準偏差に当てはめることで得られる。また、各特徴量の識別結果への寄与度に応じて確率および投票値に重み付けをすることも可能である。
【００２８】
上述のようにして物体領域Ｄａを求めた後に、以下の手順で物体領域の実空間での３次元位置および３次元寸法を推定する。
【００２９】
いま、実空間における地面または床面（以下では、両者をまとめて「接地面」と呼ぶ）に図３のような矩形状の１平面である対象領域Ａ１を想定し、対象領域Ａ１の面内に４個の基準点Ａ〜Ｄを設定するとともに、対象領域Ａ１の面外に２個の基準点Ｅ，Ｆを設定する。図示例では、実空間において左手系の直交座標系を想定し、接地面に原点Ｏを設定するとともに、接地面をＸＹ平面とする。基準点Ａ，ＢはＸ軸上の点とし、基準点Ｃ，ＤはＹ軸上の点とする。また、基準点ＥをＺ軸上の点、基準点Ｆを基準点Ｃに対してＺ軸方向に離れた点とする。さらに具体的に言えば、基準点ＡはＸ軸上で原点Ｏから正方向に１ｍの点、基準点ＢはＸ軸上で基準点Ａから正方向に１ｍの点、基準点ＣはＹ軸上で原点Ｏから正方向に１ｍの点、基準点ＤはＹ軸上で基準点Ｃから正方向に１ｍの点、基準点ＥはＺ軸上で原点Ｏから正方向に１ｍの点、基準点Ｆは基準点ＣからＺ軸の正方向に１ｍの点として設定する。このような基準点Ａ〜Ｆを設定することによって、たとえば基準点Ａ〜Ｄを含む平面は接地面になる。
【００３０】
一方、上述した対象領域Ａ１を含む空間をカメラ１により撮像したときに図４に示す画像Ｐ１が得られるとすれば、画像Ｐ１の中に基準点Ａ〜Ｆが含まれるから、画像Ｐ１の中の基準点Ａ〜Ｆの座標位置を既知である実空間での基準点Ａ〜Ｆとを対応付けることによって、画像Ｐ１の中の対象領域Ａ１における画素の座標を実空間における対象領域Ａ１の中の座標に対応付けるための変換規則を決定することができる。つまり、２次元の画像Ｐ１から３次元の実空間の情報を取り出す変換規則を決定することができ、画像Ｐ１から得られる２次元の情報に基づいて実空間の３次元情報を抽出することが可能になる。
【００３１】
ここで、２次元の画像Ｐ１で得られた物体領域Ｄａに対して３次元情報に対応付ける変換規則を適用するには、物体領域Ｄａについて３次元空間に対応付けるための基準が必要になる。そこで、物体領域Ｄａについて接地面に接触する点を推定する。接地面上に存在する物体であれば、たとえば、２次元の画像Ｐ１の垂直方向において物体領域Ｄａの最下点は接地面に接触していると推定することができる。そこで、物体領域Ｄａに関して接地面に接触していると推定される点の座標に変換規則を適用することによって、物体領域Ｄａについて３次元空間である実空間での接地面内での座標値が得られる。
【００３２】
さらに、直線ＣＦおよび直線ＯＥの関係によって、２次元の画像Ｐ１の中で物体が奥行方向に移動した場合の撮像画像内での見かけの高さの変化量を求めることができる。したがって、物体領域Ｄａにおける接地面上の点の座標と垂直方向の長さの変化とにより実空間での３次元位置および３次元寸法を推定することが可能になる。
【００３３】
いま、図５のように、カメラ１の視野内に複数の移動物体Ｏｂ１，Ｏｂ２，Ｏｂ３が存在するものとし、図５に示す矢印のように各移動物体Ｏｂ１，Ｏｂ２，Ｏｂ３が移動しているとすれば、カメラ１により撮像した時系列で連続する２枚の画像に上述した処理を施すことによって、各移動物体Ｏｂ１，Ｏｂ２，Ｏｂ３に対応する物体領域を個別に分離して識別することが可能になり、各移動物体Ｏｂ１，Ｏｂ２，Ｏｂ３に関して３次元位置と３次元寸法（幅および高さ）とを各別に分離して求めることが可能になる。
【００３４】
（第２実施形態）
第１実施形態では、２次元の画像Ｐ１における物体領域Ｄａの最下点を接地面に接している点とみなし、この点を移動物体の３次元位置を求める際の基準に用いているから、移動物体に影が生じている場合に、移動物体の３次元位置を正確に求めることができないことがある。つまり、移動物体の下端（移動物体が人であれば足元）から伸びる影が移動物体の一部と誤認されることがあり、３次元位置を正確に求めることができなくなる。
【００３５】
本実施形態では、自然光（太陽光）について影の影響を除去して移動物体の３次元位置を正確に求めることを目的にしている。太陽光により形成される物体の影は、太陽の位置と光量とが決まれば予測することができるから、カメラ１の視野に対する物体の影を予測するために、太陽の位置に関するデータをあらかじめ用意するとともに太陽の光量を計測する。
【００３６】
つまり、本実施形態の画像処理装置２０は、図７に示すように、カメラ１の設置場所（緯度と経度とにより特定される場所）における日時と太陽の位置および光量とを対応付けて格納した太陽位置計算部８を備え、日付時刻データ発生部７から出力される現在日時に応じて太陽の天文学的な位置を求めている。また、画像処理装置２０には日射計９において計測した太陽の光量が入力される日射データ入力部１０が設けられ、日射計９で検出した太陽の光量が日射データ入力部１０に設定された閾値よりも少ないときには、影の影響はないものと判断する。
【００３７】
画像処理装置２０には、太陽位置計算部８で求めた太陽の位置と日射データ入力部１０での影の有無の判断結果とが入力される影情報計算部１１が設けられており、影情報計算部１１では影の発生時にカメラ１の視野において、影が形成される方向と長さとが算出される。
【００３８】
影情報計算部１１の処理をさらに詳しく説明する。影情報計算部１１では、まず日射データ入力部１０の判断結果によって影の有無を判断する。このとき、太陽の光量（日射量）が閾値未満であれば実質的に影は生じていないものとして以下の処理は行わないが、太陽の光量（日射量）が閾値以上であるときには、影が生じているものと判断して、以下の処理を行うことにより影の影響を除去する。
【００３９】
つまり、影が生じているときには、影情報計算部１１では、まず影の方向を求める。いま、方位角として北を０度とし、北から東を回る向きに方位角が増加するものとすれば、影の実空間での方向は、（太陽の方位角＋１８０度）−（カメラ１の方位角）で計算することができる。ベクトルＯＡ（図３参照）を実空間の接地面内において求めた角度分回転させ、さらにベクトルＯＡの始点と終点との座標に対して請求項１において説明した座標の変換規則を適用し、原点Ｏと基準点Ａとを結ぶ直線の向きを求めればカメラ１により撮像した画像内の影の方向を推定することができる。
【００４０】
次に、物体領域Ｄａについて骨格線を求める。つまり、図８に示すように、推定された影の方向を矢印Ｒとすれば、骨格線Ｌ１は矢印Ｒに平行であって物体領域Ｄａの幅方向の略中心を通る直線とする。したがって、骨格線Ｌ１は影となる領域の全長を通るが、影以外の領域はほとんど通ることがない。そこで、骨格線Ｌ１に交差する方向（直交する方向が望ましい）において物体領域Ｄａの中での輝度分布を調べる。ここに、影となる領域は、濃度（輝度）が比較的小さく、かつ濃度の変化が小さいと考えられるから、濃度に関して微分処理を行い、各画素のうち微分値が規定の閾値（経験的に設定される）よりも小さい画素については影とみなして、物体領域Ｄａから削除する。
【００４１】
微分処理を行えば影をほとんど削除することができるが、影の領域であっても一部の画素は削除されず、図８に示すような島領域Ｄ３として残される可能性がある。このような場合には、島領域Ｄ３の輪郭線を追跡することによって、影として削除した画素と島領域Ｄ３の輪郭線上の画素とが接する個数を求め、求めた画素数の輪郭線長に対する割合があらかじめ設定した閾値（たとえば８０％）以上であれば、当該島領域Ｄ３を影としてまとめて削除する。他の構成および動作は第１実施形態と同様である。
【００４２】
本実施形態の構成により、図９のようにカメラ１の視野内に存在する移動物体Ｏｂについて日射の影響により影Ｏｍが形成されているときに、図１０に示すように、画像処理装置２０において物体領域Ｄａとして認識される領域から、影Ｏｍに対応する領域を抽出して削除することができ、結果的に移動物体Ｏｂに関する正確な３次元位置および３次元寸法を求めることが可能になる。
【００４３】
（第３実施形態）
第２実施形態は、太陽光による影の影響を除去することを目的としていたが、本実施形態は照明による影の影響を除去しようとするものである。すなわち、本実施形態では照明に関するデータを用いて影の発生を予測し、予測結果に基づいて対象領域Ｄａから影の領域を除去するものである。
【００４４】
本実施形態の画像処理装置２０には、図１１に示すように、第１実施形態の画像処理装置２０に対して、照度計１２により検出した照明の照度が入力される照度データ入力部１３が設けられるとともに、照明装置の位置を格納した人工照明位置データ記憶部１４が設けられている。また、照度データ入力部１３と人工照明位置データ記憶部１４との情報に基づいて影の領域を推定する影情報計算部１１が設けられている。本実施形態の構成は基本的には第２実施形態の構成と同様であって、第２実施形態では太陽の位置が日時によって変化するのに対して、照明では多くの場合には位置の変化を考慮する必要がない。ただし、照度に関しては照明装置を調光点灯させるなどの場合に変化が生じる。
【００４５】
そこで、影情報計算部１１では照度計１２により検出した照度が影を生じない程度であれば、物体領域Ｄａから影の領域を除去する処理は行わず、影が生じる程度であれば影の領域を除去する処理を行う。影の領域を除去する処理は基本的には第２実施形態と同様であって、人工照明位置データ記憶部１４に格納された照明装置の位置および配光に基づいて、カメラ１により得られる画像内での影の方向と長さとを求め、影の領域とみなせる画素を削除するのである。この処理によって、第２実施形態と同様に影の影響を除去して移動物体の３次元位置および３次元寸法を正確に求めることが可能になる。他の構成および動作は第２実施形態と同様である。
【００４６】
（第４実施形態）
上述した各実施形態においては、カメラ１により撮像された濃淡画像の濃度変化に基づいて移動物体を検出しているから、たとえば、太陽が雲間に出入りすることによる明るさの変化や、照明の点灯と消灯とによる明るさの変化によって、カメラ１の視野内の明るさが全体にわたって変化した場合に移動物体として誤認することがある。そこで、本実施形態では明るさの変化による画像全体の濃度変化と、画像内の移動物体の移動に伴う画像の一部の濃度変化とを識別可能とすることによって、移動物体が存在しないにもかかわらず移動物体の存在を誤検知する可能性を低減する。
【００４７】
具体的には、図１２に示すように、カメラ１により撮像される画像Ｐ１内において複数箇所（たとえば、９箇所）の判定領域（たとえば、１６×１６画素）Ｄｂを均等に配置設定する（たとえば水平方向３×垂直方向３箇所）。このような判定領域Ｄｂについて、すべての判定領域Ｄｂが候補領域になったときには、カメラ１の視野の全体の明るさが変化したと判断することができる。このように、カメラ１の視野に明るさの変化が生じたときには、時系列に並ぶ複数の濃淡画像からすべての判定領域Ｄｂに関する濃度の差分について絶対値の平均値を求め、求めた値を閾値に用いて差分２値画像を求めることにより、実際の移動物体による差分領域のみを抽出することが可能になる。他の構成および動作は第１実施形態と同様である。
【００４８】
（第５実施形態）
本実施形態は、図１３に示すように、第１実施形態に示した画像処理装置２０に対して、移動物体の形状に関する情報を用いて物体領域Ｄａのうちで移動物体（人を想定する）の足に相当する領域を推定し、移動物体の足の数を計数計る移動物体形状解析部１５を追加したものである。つまり、移動物体形状解析部１５では、移動物体の足の本数を求めることによって、移動物体が人か否かを識別するのである。移動物体の足の本数を求めるために、まず物体領域Ｄａについて末端部を抽出した後、末端部から足を選択する。
【００４９】
すなわち、移動物体が生物である場合、手足のような身体の末端部は他の部位に比較して移動量が大きいと考えられる。そこで、図１４（ａ）のように、前時刻での物体領域Ｄａ１の２値画像と現時刻での物体領域Ｄａ２の２値画像とについて、図１４（ｂ）のように両者がもっとも一致する部位および角度で重ね合わせる。重ね合わせに際しては、周知のテンプレートマッチングと同様の技術を適用する。
【００５０】
次に、重ね合わせた位置および角度で２値画像同士の差分を求め、得られた差分領域のうち現時刻の物体領域Ｄａ１に含まれる領域を抽出する。手足のような末端部は移動量が大きいから、差分領域の面積が大きくまとまった形状になる。これに対して、体の中心部は差分領域の面積が小さくなり、形状も幅の狭い線状になる。そこで、得られた差分領域に１画素幅の収縮処理を複数回施すことによって、線状の領域を除去する。収縮処理の回数は検出しようとする移動物体に関する画像のフレーム間の移動量に基づいて実験によって経験的に決定する。収縮処理の後に残った差分領域のうち面積が規定の閾値（経験的に設定する）より大きいものを大きい順に４個まで選択し、物体領域Ｄａのうち選択した領域含む部位を末端部として切り取る（図１４（ｃ）参照）。
【００５１】
その後、切り取った末端部から足に相当する領域を選択する。つまり、各末端部についてカメラ１により撮像した画面（濃淡画像）内での垂直方向の重心位置を計算し、重心位置が最下点である末端部をまず足として選択する。次に、重心位置が下から２番目である末端部の重心位置が、最下点である末端部の重心位置から規定の閾値（経験的に設定する）の範囲内（たとえば、物体領域Ｄａの高さの１／３程度）であれば、当該末端部も足として選択する。
【００５２】
さらに、足として選択した２つの末端部と残りの末端部との輪郭形状の一致度を周知のテンプレートマッチングの技術によって比較し、一致度が規定の閾値（経験的に設定する値であって、たとえば、８０％）より大きければ足として選択する。足が４本以上ある生物の場合、各足の形状の類似度が高いから個々の足を判別することは難しい。これに対して、人が杖をつく場合や四つん這いになっている場合には、杖や手の部分は足とは形状が大きく異なるから、足と他の部分とを容易に判別することができ、したがって手足を容易に判別することができる。したがって、画像中の足の本数のみを数えることが可能になる。他の構成および動作は第１実施形態と同様である。
【００５３】
（第６実施形態）
本実施形態の画像処理装置２０は、図１５に示すように、第５実施形態と同様の手足を検出するための移動体形状解析部１５に加えて、移動物体における足の位置を時系列的に解析する軌跡解析部１６を設けたものである。また、軌跡解析部１６において足の位置を追跡するために、移動体形状解析部１５で求めた移動物体の足の位置（３次元座標）と時刻とを対にして記憶部５に格納する。つまり、第５実施形態で行った足の抽出を行う処理を一定時間間隔ごとに行うことで、足の軌跡および本数の時間変化を求める。このような軌跡解析部１６を設けたことにより、移動物体の足の軌跡を追跡することが可能になる。このように、移動物体の足の軌跡を追跡することにより、移動物体が人かどうかの判別をより正確に行うことが可能になる。つまり、ある時間範囲内に侵入してきた人の行動判定を行う際に有用なデータとなり、不審者の行動追跡に役立つ。他の構成よび動作は第５実施形態と同様である。
【００５４】
（第７実施形態）
本実施形態の画像処理装置２０は、検出した移動物体の３次元位置と３次元寸法（幅と高さ）を記憶部５に保存するものである。また、画像処理部４では、移動物体を検知した時刻以降の時刻において、移動物体が存在した領域と移動物体の存在した領域に隣接する領域とで、大きさの異なる移動物体が検出されたときに、以下の処理を行う。すなわち、移動物体が存在しないときの背景のみの画像を用いて、第１実施形態と同様の処理を行い、この処理によって移動物体が存在した領域が検出された場合には、最初に検出された移動物体は静止したままで、その一部分のみが移動した判断し、記憶部５に保存した移動物体の３次元位置の内容を更新する機能を付加したものである。すなわち、前時刻での物体領域Ｄａにおける外接矩形内を走査し、現時刻での同領域内での物体領域Ｄａの面積が規定の閾値（経験的に設定され、たとえば、外接矩形の面積の５０％程度）より小さい場合は、背景のみの画像と現時刻の画像とを用いて第１実施形態と同様の処理を行うのである。ここで、物体領域Ｄａが検出されたときには、対象である移動物体が現時刻では静止していると判断する。また、以降の時刻ではこの領域をフレーム間差分による移動物体の検出結果と同様に扱う。ここに、背景のみの画像はカメラ１の設定時において移動物体が存在しない状態で撮影した画像を意味する。
【００５５】
第２実施形態、第３実施形態、第４実施形態の構成では、移動物体の重心の移動量が小さいときに、移動物体を検出することができない場合がある。これに対して、上述した本実施形態の処理を付加することによって、移動物体を確実に追跡することが可能になる。他の構成および動作は第１実施形態と同様である。
【００５６】
【発明の効果】
請求項１の発明は、同空間を撮像手段で異なる時刻に撮像した複数毎の濃淡画像から濃度の差分を２値化した差分２値画像を生成し、差分２値画像内で移動物体の候補となる複数個の候補領域のうち各候補領域の特徴量に基づいて求めた同一の移動物体である確率が規定の閾値以上である候補領域同士を結合して物体領域を形成し、得られた物体領域について２次元画像から３次元に変換する変換規則を適用することにより３次元位置および３次元寸法を求めることを特徴としており、複数の移動物体が混在している場合でも辞書パターンのような別途の情報を用いることなく各移動物体を分離して抽出することができ、しかも画像内での移動物体の３次元位置および３次元寸法を求めることが可能になる。
【００５７】
請求項２の発明では、請求項１の発明において、前記空間が太陽光を受けているときに、日時に対応した既知の太陽の位置と前記空間に対する前記撮像手段の向きとを用いて前記物体領域に含まれる影の向きおよび長さを推定し、物体領域から影に対応する領域を除去することを特徴としており、太陽光（自然光）により移動物体の影が形成される場合であっても、画像内から影の領域を分離して移動物体に対応する領域のみを精度よく抽出することができ、移動物体に関して３次元位置および３次元寸法を正確に計測することが可能になる。
【００５８】
請求項３の発明は、請求項１の発明において、前記空間が照明されているときに、照明装置の位置と前記空間に対する前記撮像手段の向きとを用いて前記物体領域に含まれる影の向きおよび長さを推定し、物体領域から影に対応する領域を除去することを特徴としており、照明により移動物体の影が形成される場合であっても、画像内から影の領域を分離して移動物体に対応する領域のみを精度よく抽出することができ、移動物体に関して３次元位置および３次元寸法を正確に計測することが可能になる。
【００５９】
請求項４の発明は、請求項１の発明において、前記撮像手段により撮像される画像内に複数個の判定領域を設定し、すべての判定領域が前記候補領域になったときには、判定領域に関する濃度の差分について絶対値の平均値を２値化の閾値に用いた差分２値画像を生成することを特徴としており、撮像した空間に光量変化があっても移動物体と誤認することがない。
【００６０】
請求項５の発明は、請求項１の発明において、前記移動物体が生物であって、異なる時刻に求めた前記差分２値画像を重ね合わせたときに生じる差分領域のうちで接地面側の差分領域を足に対応する領域として抽出することを特徴としており、移動物体が生物であるときに足に相当する領域を画像から抽出することで、足の移動軌跡を追跡するのが容易になる。
【００６１】
請求項６の発明は、請求項５の発明において、前記差分領域を一定時間間隔ごとに求めることを特徴としており、足の移動を追跡することができる。
【００６２】
請求項７の発明は、請求項１の発明において、前記空間に移動物体が存在しない状態の濃淡画像と現時刻において撮像された濃淡画像とを用いて前記差分２値画像を生成し、当該差分２値画像内で前記物体領域が検出されたときに、移動物体の一部のみが動いたと判断することを特徴としており、移動物体に実質的な移動がなく一部のみが移動する場合でも画像を用いて検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上の動作説明図である。
【図４】同上の動作説明図である。
【図５】同上の動作説明図である。
【図６】同上の動作説明図である。
【図７】本発明の第２実施形態を示すブロック図である。
【図８】同上の動作説明図である。
【図９】同上の動作説明図である。
【図１０】同上の動作説明図である。
【図１１】本発明の第３実施形態を示すブロック図である。
【図１２】本発明の第４実施形態を示す動作説明図である。
【図１３】本発明の第５実施形態を示すブロック図である。
【図１４】同上の動作説明図である。
【図１５】本発明の第６実施形態を示すブロック図である。
【符号の説明】
１ カメラ
２ 画像入力部
３ 画像データバッファ
４ 画像処理部
５ 記憶部
６ ＣＰＵ
７ 日付時刻データ発生部
８ 太陽位置計算部
９ 日射計
１０ 日射データ入力部
１１ 影情報計算部
１２ 照度計
１３ 照度データ入力部
１４ 人工照明位置データ記憶部
１５ 移動体形状解析部
１６ 軌跡解析部
２０ 画像処理装置

Claims (9)

1. 同空間を撮像手段で異なる時刻に撮像した複数毎の濃淡画像から濃度の差分を２値化した差分２値画像を生成し、差分２値画像内で移動物体の候補となる複数個の候補領域のうち各候補領域の特徴量に基づいて求めた同一の移動物体である確率が規定の閾値以上である候補領域同士を結合して物体領域を形成し、得られた物体領域について２次元画像から３次元に変換する変換規則を適用することにより３次元位置および３次元寸法を求めることを特徴とする画像処理方法。
2. 前記空間が太陽光を受けているときに、日時に対応した既知の太陽の位置と前記空間に対する前記撮像手段の向きとを用いて前記物体領域に含まれる影の向きおよび長さを推定し、物体領域から影に対応する領域を除去することを特徴とする請求項１記載の画像処理方法。
3. 前記空間が照明されているときに、照明装置の位置と前記空間に対する前記撮像手段の向きとを用いて前記物体領域に含まれる影の向きおよび長さを推定し、物体領域から影に対応する領域を除去することを特徴とする請求項１記載の画像処理方法。
4. 前記撮像手段により撮像される画像内に複数個の判定領域を設定し、すべての判定領域が前記候補領域になったときには、判定領域に関する濃度の差分について絶対値の平均値を２値化の閾値に用いた差分２値画像を生成することを特徴とする請求項１記載の画像処理方法。
5. 前記移動物体が生物であって、異なる時刻に求めた前記差分２値画像を重ね合わせたときに生じる差分領域のうちで接地面側の差分領域を足に対応する領域として抽出することを特徴とする請求項１記載の画像処理方法。
6. 前記差分領域を一定時間間隔ごとに求めることを特徴とする請求項５記載の画像処理方法。
7. 前記空間に移動物体が存在しない状態の濃淡画像と現時刻において撮像された濃淡画像とを用いて前記差分２値画像を生成し、当該差分２値画像内で前記物体領域が検出されたときに、移動物体の一部のみが動いたと判断することを特徴とする請求項１記載の画像処理方法。
8. 前記撮像手段により撮像された前記濃淡画像および濃淡画像から求めた前記差分２値画像を格納する記憶部と、記憶部に格納された濃淡画像および差分２値画像を用いて請求項１ないし請求項７のいずれか１項に記載の画像処理方法を実行するコンピュータからなる画像処理部とを具備することを特徴とする画像処理装置。
9. 請求項１ないし請求項７のいずれか１項に記載の画像処理方法をコンピュータにより実現させるための画像処理プログラム。

Images