JP2005337954A - センシング装置及び身長測定装置 - Google Patents

Abstract

【課題】監視空間に侵入した侵入者を正確に検出する。
【解決手段】監視対象空間を撮像した撮像画像を繰り返し取得する撮像部１０と、監視対象空間に音波を送出し、監視対象空間から音波を音響信号として繰り返し受信する送受信部１４と、複数の撮像画像の差分である差分画像から変動領域を抽出し、変動領域の移動方向を求める画像処理部１２と、変動領域の移動方向と、複数の音響信号の差分である差分波形に含まれる変動領域に対応するピークの数又はピーク間の間隔の時間変化とに基づいて変動領域に対応する物体の姿勢を判定する音響処理部１６と、を備えるセンシング装置によって上記課題を解決できる。
【選択図】図１

Description

本発明は、画像情報及び音響情報に基づいて侵入者の検出を行うセンシング装置、及び、音響情報に基づいて人間の身長を測定する身長測定装置に関する。

近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されている。このようなセキュリティシステムで使用されるセンシング装置としては、画像センサ等の撮像装置で取得された画像を用いて侵入者等を検出するものがある。このような画像を用いたセンシング装置には、基準となる背景画像を記録しておき、時々刻々と撮像される撮像画像と背景画像との差分画像に基づいて侵入者を検出する方法や、撮像画像間における差分画像に基づいて侵入者を検出する方法がある。

例えば、特開平３−９７０８０号公報には、撮像画像と背景画像との輝度の差分画像を生成し、その差分値が所定の閾値以上である画素を変動画素として抽出し、連続する変動画素の個数が所定の判定値以上である場合に、変動画素で構成される変動領域を侵入者であると判定し、警報駆動信号を出力する技術が開示されている。さらに、複数の撮像画像間で変動領域を対応付けて、その移動状態を追跡（トラッキング）することによって、物体の移動距離や移動速度を算出し、これらの値に基づいて侵入者を検出する方法も用いられている。

また、画像センサとの複合センシング装置としては、特開２０００−３４８２６５号公報に記載されているように、監視空間にマイクロ波を送出し、監視空間に存在する物体によって反射されたマイクロ波を受信することによって、その受信波の波形の変化に基づいて侵入者を検出する方式も知られている。このようにマイクロ波を用いた検出方法では、光や影のように監視空間における実体のない変化には影響されない性質がある。

特開平３−９７０８０号公報 特開２０００−３４８２６５号公報

しかしながら、従来の画像センサを用いた侵入者検出では、侵入者が監視空間を走り抜けた場合でも確実に検出を行うために、トラッキングの検索範囲を非常に広範囲に設定する必要がある。そのため、ノイズ等の影響により誤追跡された変動領域を侵入者として誤検出したり、検出漏れが発生してしまう確率が高くなる。

また、変動領域が床面に接していることを仮定することによって、床からの撮像カメラの設置高さや監視空間に対する俯角に基づいて、実空間における物体までの距離及び物体の大きさを推定することができる。しかしながら、物体と背景色の区別ができない等、物体の領域を正確に抽出できない場合もあり、その時には物体の正確な大きさがわからないため、人間と他の小動物等との区別ができず、誤警報を出力することもある。

本発明は、上記従来技術の問題を鑑み、侵入者の検出確度を高めたセンシング装置を提供することを目的とする。また、本発明に関する技術を応用することによって人間の身長を測定することができる。

本発明は、監視対象空間を撮像した撮像画像を取得する撮像部と、前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、前記撮像部で取得された撮像画像と前記送受信部において受信された音響信号とに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、撮像画像と基準となる背景画像との差分である差分画像に基づいて撮像画像から変動領域を抽出し、当該変動領域の移動方向を求める画像処理部と、前記変動領域の移動方向と、複数の音響信号の差分である差分波形に含まれる前記変動領域に対応するピークの数又はピーク間の間隔の時間変化とに基づいて、前記変動領域に対応する物体の姿勢を判定する音響処理部と、を備えることを特徴とする。

ここで、前記音響処理部は、前記変動領域の移動方向が、前記送受信部との距離を略保った方向である場合に、前記変動領域に対応するピークの数が１つ、又は、ピークの間隔が所定の閾値より大きいときは前記変動領域に対応する侵入者が立位であるとし、前記変動領域に対応するピークの間隔が前記所定の閾値以下のときは前記変動領域に対応する侵入者が伏せ位であると判定する。また、前記音響処理部は、前記変動領域の移動方向が、前記送受信部から近づく又は遠ざかる方向である場合に、前記変動領域に対応するピーク間の間隔の時間変化が所定の閾値より大きいときは前記変動領域に対応する侵入者が立位であるとし、前記変動領域に対応するピーク間の間隔の時間変化が前記所定の閾値以下のときは前記変動領域に対応する侵入者が伏せ位であると判定する。

また、前記画像処理部は、前記変動領域の時間的な移動を追跡するトラッキング部を備え、前記トラッキング部では、前記音響処理部において判定された物体の姿勢に基づいてトラッキングの検索範囲を変更することが好適である。

さらに、前記音響処理部は、前記変動領域に対応するピーク間の間隔から前記変動領域に対応する物体の大きさを算出する物体の大きさ算出部を備えることも好適である。

また、本発明は、立位の人間の斜め上方から音波を等方的に放射し、前記人間で反射された音波を音響信号として受信する送受信部を備える身長測定装置であって、前記音響信号に含まれる前記人間に対応するピークの間隔に基づいて、前記人間の身長を測定することを特徴とする。ここで、前記人間に対応するピークは、前記人間の頭部で反射された反射波と、前記人間の足元で反射された反射波と、に対応するピークである。

なお、本発明の装置は、コンピュータを、上記処理を行うセンシング装置又は身長測定装置として機能させる制御プログラムにより実現することができる。

本発明によれば、トラッキングの誤りによる侵入者の誤検出を低減することができる。また、侵入物体の大きさの推定精度が不十分であることによる侵入者の誤検出を低減することができる。さらに、音響信号のピークに基づいて侵入者（人間）の身長を測定することができる。

本発明の実施の形態におけるセンシング装置１００は、図１に示すように、撮像部１０、画像処理部１２、送受信部１４、音響処理部１６、記憶部１８及び情報処理部２０を含んで構成される。センシング装置１００は、画像センサやカメラなどの撮像装置及び音波の送受信装置等を備えたコンピュータによって構成することができる。

撮像部１０は、画像センサやカメラなどの撮像装置を含んで構成される。撮像部１０は、監視空間の光学的な映像を電気的な画像信号に変換して画像処理部１２へ出力する。撮像部１０は、画像信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に画像処理部１２に受け渡す機能を有することも好ましい。本実施の形態では、撮像画像は離散的な画素群からなるデジタル化された画像に変換され、各画素が輝度値で表現された撮像画像Ｉとして画像処理部１２に入力及び記憶部１８に格納及び保持される。以下、繰り返し撮像される撮像画像Ｉのうち第ｎ回目の測定で得られたものを撮像画像Ｉ⁽ⁿ⁾と示す。

送受信部１４は、超音波パルス送信器及び超音波センサを含んで構成される。送受信部１４は、超音波パルス送信器を用いて所定時間間隔で監視空間に超音波パルスを等方的に送信すると共に、監視空間から超音波を音響信号として受信する。このとき、監視空間に存在する物体や壁等によって反射された超音波パルスが時間変動する音響信号Ｓ（ｔ）として受信される。監視距離が十分に短い場合、超音波の送信から受信までの時間は無視でき、超音波の送信タイミングと撮像部１０での撮像タイミングとを一致させることによって略同時刻における同一状況の監視空間の状況をセンシングすることができる。以下、繰り返し測定される音響信号Ｓ（ｔ）のうち第ｎ回目の撮像と同期して得られたものを信号Ｓ⁽ⁿ⁾（ｔ）と示す。

受信された音響信号Ｓ（ｔ）は音響処理部１６に送信及び記憶部１８に格納及び保持される。また、送受信部１４は、音響信号Ｓ（ｔ）に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に音響処理部１６に受け渡す機能を有することも好ましい。

なお、本実施の形態では、超音波を用いた場合を例として説明するが、これに限定されるものでなく、可聴範囲の音波を用いても良い。但し、超音波は人間に聞こえないという利点を有する。また、音響信号Ｓ（ｔ）の観測時間は監視したい距離に応じて変更することが好ましい。例えば、監視したい距離をＬ（ｍ）、音速をＣ（ｍ／ｓ）とすると、監視に必要な音響信号Ｓ（ｔ）の観測時間ｔ（秒）はｔ＝２Ｌ／Ｃで算出することができる。

以下、撮像部１０において取得された撮像画像Ｉと送受信部１４において取得された超音波の音響信号Ｓ（ｔ）とを用いて、監視空間から侵入者を検出する処理ついて説明を行う。センシング装置１００の各部の機能は、図２に示すフローチャートの各工程をコンピュータで実行可能な制御プログラムとすることによって、コンピュータの処理装置によって実行させることができる。

ステップＳ１０では、監視空間の画像が取得される。撮像部１０により所定の時間間隔で１フレームの撮像画像Ｉが取得される。ここでは、ｎ回目の撮像タイミングで撮像画像Ｉ⁽ⁿ⁾が取得されたものとする。撮像画像Ｉ⁽ⁿ⁾は画像処理部１２へ転送される。

ステップＳ１２では、画像処理部１２において、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれるか否かが判断される。画像処理部１２は、図１に示すように、変動領域抽出部２２、トラッキング部２４及び画像特徴量算出部２６を含んで構成される。画像処理部１２は、デジタル化された撮像画像を受けて、背景差分処理、２値化処理、トラッキング処理及び画像特徴量算出処理を行う。

変動領域抽出部２２では、撮像画像Ｉ⁽ⁿ⁾と基準となる背景画像Ｂとにおける互いに対応する画素同士の差分値をとって差分画像Ｄ⁽ⁿ⁾が生成される。背景画像Ｂは、監視空間に侵入者等が存在しない状態で撮像された画像であり、侵入者の検出処理を開始する前に予め取得され、記憶部１８に格納及び保持されているものとする。次に、得られた差分画像Ｄ⁽ⁿ⁾に含まれる各画素の輝度（特性値）と所定の閾値との大小関係に基づいて差分画像を２値化する。すなわち、撮像画像Ｉ⁽ⁿ⁾に含まれる各画像をＩ⁽ⁿ⁾（ｉ，ｊ）で表し、背景画像Ｂに含まれる各画素をＢ（ｉ，ｊ）で表し、閾値がＴ_hvであるとすると、差分画像Ｄ⁽ⁿ⁾に含まれる各画素Ｄ⁽ⁿ⁾（ｉ，ｊ）の値を数式（１）で決定することができる。

これによって、図３に示すように、特性値の変動が閾値Ｔ_hv以上の変動であった変動画素（１）と閾値Ｔ_hvより小さい変動であった非変動画素（０）とに２値化された差分画像Ｄ⁽ⁿ⁾として表現される。算出された差分画像Ｄ⁽ⁿ⁾は、次回の撮像画像に対するトラッキング処理の基準とするために記憶部１８に格納及び保持される。

なお、本実施の形態では、背景画像Ｂは侵入者がいない状況において監視空間を予め撮像した画像としたが、所定時間毎に撮像された画像で更新することも好適である。また、前回取得された撮像画像を背景画像Ｂとして用いることにより、連続するフレーム間における差分画像Ｄ⁽ⁿ⁾を求めて処理に供しても良い。

ここで、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれていればステップＳ１４に処理を移行させる。一方、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれていなければステップＳ１８に処理を移行させる。以下では、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれていた場合について説明を行う。

ステップＳ１４では、今回の撮像で取得された差分画像Ｄ⁽ⁿ⁾と過去に取得された差分画像との比較により変動領域のトラッキング処理が行われる。トラッキング部２４では、２値化された差分画像Ｄ⁽ⁿ⁾に含まれる略連続した変動画素群が１つの変動領域としてグループ化され、各変動領域が固有のラベルでラベリングされる。続いて、記憶部１８に保持されている過去の差分画像が読み出され、差分画像Ｄ^(n-1)に含まれる各変動領域の周囲に設定されたトラッキングの検索範囲に対応する現在の差分画像における領域に変動領域が存在すれば、その領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の被写体を撮像した領域であると推定される変動領域同士が対応付けられる。なお、トラッキングの検索範囲の設定方法ついては後述する。差分画像Ｄ⁽ⁿ⁾及びラベリングの情報は画像特徴量算出部２６へ送られる。

ステップＳ１６では、差分画像Ｄ⁽ⁿ⁾及びラベリングの情報に基づいて画像に関する各種の特徴量が算出される。画像特徴量算出部２６は、例えば、画像距離算出部、領域サイズ算出部及び移動ベクトル算出部を含んで構成される。

画像距離算出部では、差分画像Ｄ⁽ⁿ⁾に基づいて、撮像部１０に含まれる撮像装置から各変動領域に撮像された物体までの距離が算出される。監視空間の床面が平坦であり、変動領域に写し込まれた物体が床面に接地しているものと仮定することによって、撮像部１０の撮像装置の俯角、設置高及び変動領域の画像内位置に基づいて撮像装置から変動領域に写し込まれた物体までの直線距離を推定することができる。

簡単の為、図４に示すように、撮像部１０の正面に変動領域が抽出された場合を説明する。差分画像Ｄの垂直方向のサイズがＹ、画像における変動領域の上端までの長さがｙ_h、画像における変動領域の下端まで長さがｙ_f、１画素間の距離がｐであり、図５に示すように、撮像装置の俯角がθ、設置高がＨ、焦点距離がＦとすると、数式（２）を用いて撮像装置から変動領域に写し込まれた物体の上端までの実空間における画像距離Ｒ_hを算出することができ、数式（３）を用いて撮像装置から変動領域に写し込まれた物体の下端までの実空間における画像距離Ｒ_fを算出することができる。より精度が必要とされる場合には、撮像部１０の特性（レンズ、ＣＣＤ）を考慮した補正を行っても良い。

以下では、ｎ回目の測定の差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域に対して求められた画像距離Ｒ_fを代表値として画像距離Ｒ_Vi ⁽ⁿ⁾と表す。ｉは、変動領域のラベリング番号である。また、実空間における撮像装置から各変動領域に対応する位置までの位置ベクトルＰ_Vi ⁽ⁿ⁾も算出する。

領域サイズ算出部では、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域の画像のサイズが算出される。例えば、各変動領域に外接する矩形領域を求め、その矩形領域の大きさを各変動領域のサイズとする。

移動ベクトル算出部では、トラッキング部２４で同一の被写体の画像であるとラベリングされた変動領域の移動ベクトルが算出される。移動ベクトルは、実空間における物体の移動の速さ及び方向であり、異なる時刻に撮影された撮像画像から得られた複数の差分画像間において、画像距離算出部において推定された位置ベクトルＰ_Vi ⁽ⁿ⁾の変動から算出することができる。

なお、上記画像距離算出部、領域サイズ算出部及び移動ベクトル算出部における処理は一例であり、同様の特徴量を算出できる方法であれば本実施の形態の処理方法に限定されるものではない。

ステップＳ１８では、受信波変動抽出部２８において、音響信号Ｓ⁽ⁿ⁾（ｔ）から差分波形が求められる。音響信号Ｓ⁽ⁿ⁾（ｔ）には、図６（ａ）に示すように、監視空間に存在する物体によって反射されたパルス信号が重畳されている。そこで、受信波変動抽出部２８では、前回の測定時に取得された音響信号Ｓ^(n-1)（ｔ）（図６（ｂ））を記憶部１８から読み出し、前回の測定時に取得された音響信号Ｓ^(n-1)（ｔ）と今回取得された音響信号Ｓ⁽ⁿ⁾（ｔ）の包絡信号を各々求める。包絡信号は既存の処理によって求めることができる。これらの差分を、数式（４）を用いて算出することによって差分波形ｄ⁽ⁿ⁾（ｔ）（図６（ｃ））を求める。監視空間に新たに現れた物体がある場合や物体が移動した場合には差分波形ｄ⁽ⁿ⁾（ｔ）にピークが現れる。

ステップＳ２０では、差分波形ｄ⁽ⁿ⁾（ｔ）に含まれているピークが抽出され、ピークが含まれている場合にはピークに対応する位置までの距離が算出される。このステップＳ２０はサブルーチン化されており、受信波変動抽出部２８及び音響特徴量算出部３０において、図７に示すフローチャートに沿って実行される。

ステップＳ２０−１では、差分波形ｄ⁽ⁿ⁾（ｔ）のうち閾値Ｔ_hを超える領域をピークとして抽出する。ここで、送受信部１４からの超音波を反射してからの時間ｔの関数として表される閾値Ｔ_h（ｔ）を用いてピークの検出を行うことも好適である。閾値Ｔ_h（ｔ）は、音波の距離減衰に基づいて遠くの距離にある物体の反射波ほど、すなわち時間ｔが大きくなるほど小さな値に設定することが好ましい。さらには、閾値Ｔ_h（ｔ）は、ステップＳ１６で求めた画像特徴量（例えば、移動速度）に基づいて設定することもできる。

例えば、図８に示すように、差分波形ｄ⁽ⁿ⁾（ｔ）及び閾値Ｔ_h（ｔ）が表される場合、閾値Ｔ_h（ｔ）以上の領域ｔ_S0 ⁽ⁿ⁾＜ｔ＜ｔ_E0 ⁽ⁿ⁾，ｔ_S1 ⁽ⁿ⁾＜ｔ＜ｔ_E1 ⁽ⁿ⁾，・・・がピークの領域として抽出される。

ステップＳ２０−２では、各ピークの領域における最大値であるピーク位置が抽出される。例えば、ｔ_S0 ⁽ⁿ⁾＜ｔ＜ｔ_E0 ⁽ⁿ⁾に対してはｔ₀ ⁽ⁿ⁾、ｔ_S1 ⁽ⁿ⁾＜ｔ＜ｔ_E1 ⁽ⁿ⁾に対してはｔ₁ ⁽ⁿ⁾、・・・と各々のピーク領域からピーク位置が決定される。

ステップＳ２０−３では、各ピーク位置に対応する物体までの距離が算出される。以下、画像信号に基づいて算出された画像距離Ｒ_Vi ⁽ⁿ⁾と区別するために、ピーク位置ｔ_i ⁽ⁿ⁾に対応する距離を音響距離Ｒ_Ai ⁽ⁿ⁾と示す。音響距離Ｒ_Ai ⁽ⁿ⁾は数式（５）を用いて算出することができる。ここで、Ｃ（ｍ／ｓ）は音速である。

ステップＳ２２では、音響特徴量算出部３０の体勢検出部において、差分波形ｄ⁽ⁿ⁾（ｔ）から抽出されたピーク位置に基づいて、監視空間に侵入者が存在するとした場合の侵入者の姿勢（形状）を求める。監視空間の天井に送受信部１４を設置して超音波を天井から斜め下方の監視空間に等方的に放射し、監視空間に在る物体からの反射波を受信すると、監視空間に侵入者が存在した場合、侵入者の姿勢によって異なる態様の反射パルスが受信されることとなる。

図９及び図１０は、身長１．７ｍの侵入者が監視空間に立って、速度０．５ｍ／ｓで移動したときのピークの到来時刻の推移を示したものである。図９及び図１０に示すように、差分波形には異なる時刻ｔ_wfと時刻ｔ_whに２つのピークが現れる。侵入者の頭部は球体状であるので、図１１に示すように、監視空間に等方的に放射された超音波は、送受信部１４に正対する頭部の一部で反射されて送受信部１４へ戻ってくる。この反射波が時刻ｔ_whに対応するピークとして検出される。一方、侵入者の背中、胸部、腹部、脚部で反射された超音波は、送受信部１４とは異なる方向へ向かうので差分波形にピークとして検出されない。また、侵入者の足元で反射された超音波は、侵入者の足元と床面とによる９０°を成す２つの面での反射により送受信部１４の方向へ向かう。この反射波が時刻ｔ_wfに対応するピークとして検出される。

また、侵入者が送受信部１４から遠ざかったり、近づいたりする場合と送受信部１４からの距離がほぼ一定となるように横切る場合とによって差分波形から検出されるピークの時間間隔の変化は異なるものとなる。すなわち、侵入者が送受信部１４から遠ざかったり、近づいたりした場合、図９のように、差分波形から検出される２つのピークの間隔が測定時刻により変化する。侵入者が送受信部１４からの距離がほぼ一定となるように横切った場合、図１０のように、測定時間により差分波形から検出される２つのピークは測定時刻によらず略一定となる。

一方、図１２及び図１３は、侵入者が監視空間の床に横たわって、速度０．５ｍ／ｓで移動したときのピークの到来時刻の推移の様子を示したものである。図１２又は１３に示すように、差分波形には異なる時刻ｔ_cfと時刻ｔ_chに２つのピークが現れるパターンと時刻ｔ_cbに１つのピークのみが現れるパターンとがある。すなわち、図１４に示すように、侵入者が送受信部１４からの超音波の放射方向に対して平行に横たわっている場合には、侵入者の頭部で反射された反射波に対応するピークが時刻ｔ_chに現れ、侵入者の足元で反射された反射波に対応するピークが時刻ｔ_cfに現れる。このとき、侵入者の背中、胸部、腹部、脚部で反射された超音波は、送受信部１４とは異なる方向へ向かうので差分波形にピークとして検出されない。図１５に示すように、侵入者が送受信部１４からの超音波の放射方向に対して直交して横たわっている場合には、侵入者と床面とによる９０°を成す２つの面での反射により送受信部１４の方向へ向かう。

また、侵入者が横たわって匍匐している場合、送受信部１４から遠ざかったり、近づいたりする場合と送受信部１４からの距離がほぼ一定となるように横切る場合とによって差分波形から検出されるピークの時間間隔の変化は異なるものとなる。すなわち、侵入者が送受信部１４から遠ざかったり、近づいたりした場合、図１２のように、差分波形から検出される２つのピークの間隔は測定時刻によらずほぼ一定の間隔となる。侵入者が送受信部１４からの距離がほぼ一定となるように横切った場合、図１３のように、測定時間によらず１つのピークが測定される。

これらのパターンを纏めたものが表１である。このように、差分波形に含まれるピークの数及びピークの間隔の時間的な変化、並びに、画像上の変動領域の移動ベクトルに基づいて、以下の４つのパターンに分類される。（パターンＡ）立位で前後移動：移動ベクトルが前後方向であり、差分波形に含まれる２つのピークの間隔が時間的に変化する、（パターンＢ）立位で横移動：移動ベクトルが平行方向であり、差分波形に含まれる２つのピークの間隔が時間的に変化しない、（パターンＣ）匍匐で前後移動：移動ベクトルが前後方向であり、差分波形に含まれる２つのピークの間隔が時間的に変化しない、（パターンＤ）匍匐で横移動：移動ベクトルが平行方向であり、差分波形に含まれるピークが１つである。

ステップＳ２２は、具体的にはサブルーチン化されており、図１６に示すフローチャートに沿って処理される。

ステップＳ２２−１では、差分画像Ｄ⁽ⁿ⁾の各変動領域について、それぞれの画像距離から所定の距離範囲に存在する音響距離がグループ化される。すなわち、差分画像Ｄ⁽ⁿ⁾から抽出された第ｇ番目の変動領域では、画像距離Ｒ_Vg ⁽ⁿ⁾に対してＲ_Vg ⁽ⁿ⁾±Δの範囲にある総ての音響距離Ｒ_Ai ⁽ⁿ⁾を検索し、それらの音響距離Ｒ_Ai ⁽ⁿ⁾をグループｇとする。ここで、Δは一般的な人間の身長に対応する音響距離とすることが好ましい。

ステップＳ２２−２では、カウンタｍが１に初期化される。カウンタｍは、各変動領域を特定するためのラベルとして用いられ、以下の処理において、各グループに属する音響距離Ｒ_Ai ⁽ⁿ⁾が侵入者の頭部と足元から反射されたピークに対応するものであるのか否かを判定するために用いられる。

ステップＳ２２−３では、第ｍ番目の変動領域のグループについて、グループに属する音響距離Ｒ_Ai ⁽ⁿ⁾のうち互いに最も離れている音響距離Ｒ_Ai ⁽ⁿ⁾を求め、それが閾値Ｔ_hdlよりも大きいか否かを判定する。例えば、グループｍに音響距離Ｒ_Ai ⁽ⁿ⁾，Ｒ_Ai+1 ⁽ⁿ⁾，Ｒ_Ai+2 ⁽ⁿ⁾，・・・Ｒ_Ai+j ⁽ⁿ⁾が属しているとした場合、最も大きい音響距離Ｒ_Ai+j ⁽ⁿ⁾と最も小さい音響距離Ｒ_Ai ⁽ⁿ⁾との間の距離Ｒ_Ai+j ⁽ⁿ⁾−Ｒ_Ai ⁽ⁿ⁾が閾値Ｔ_hdlより大きいか否かを判定する。閾値Ｔ_hdlよりも大きい場合にはそれぞれの音響距離Ｒ_Ai+j ⁽ⁿ⁾，Ｒ_Ai ⁽ⁿ⁾を同一物体からの反射波に起因する２つのピークであると判断してステップＳ２２−４に処理を移行させ、閾値Ｔ_hdl以下の場合には同一物体に起因する反射波が１つであると判断してステップＳ２２−１０に処理を移行させる。

ステップＳ２２−４では、差分画像Ｄ（ｎ）に含まれる第ｍ番目の変動領域の移動の大きさ及び移動方向が求められる。変動領域の移動を適切に求めるために、ｎ回目の撮像で得られた差分画像Ｄ⁽ⁿ⁾に含まれる第ｍ番目の変動領域の位置ベクトルＰ_Vm ⁽ⁿ⁾と、過去のｎ−ｋ回目の撮像で得られた差分画像Ｄ^(n-k)に含まれる第ｍ番目の変動領域の位置ベクトルＰ_Vm ^(n-k)との差分ベクトルの絶対値が閾値Ｔ_hd2よりも大きくなる差分画像Ｄ^(n-k)を検索する。

具体的な例として、図１７に示すように、差分画像Ｄ⁽ⁿ⁾に２つの変動領域ｇ１及びｇ２が含まれていた場合について説明する。ｍが１である場合、変動領域ｇ１について、過去の差分画像Ｄ^(n-1)，Ｄ^(n-2)，Ｄ^(n-3)・・・Ｄ^(n-k)と順次遡り、差分画像Ｄ⁽ⁿ⁾での位置ベクトルＰ_Vg1 ⁽ⁿ⁾と過去の差分画像Ｄ^(n-1)，Ｄ^(n-2)，Ｄ^(n-3)・・・Ｄ^(n-k)での位置ベクトルＰ_Vg1 ^(n-1)，Ｐ_Vg1 ^(n-2)，Ｐ_Vg1 ^(n-3)・・・Ｐ_Vg1 ^(n-k)のそれぞれとの差分ベクトルＰ_Vg1 ⁽ⁿ⁾−Ｐ_Vg1 ^(n-1)，Ｐ_Vg1 ⁽ⁿ⁾−Ｐ_Vg1 ^(n-2)，Ｐ_Vg1 ⁽ⁿ⁾−Ｐ_Vg1 ^(n-3)・・・Ｐ_Vg1 ⁽ⁿ⁾−Ｐ_Vg1 ^(n-k)，を求め、その絶対値が閾値Ｔ_hd2よりも大きくなるｋを検索する。図１７に示した例では、閾値Ｔ_hd2が３であれば、変動領域ｇ１についてはｋ＝２となる。また、そのときの差分ベクトルＰ_Vg1 ⁽ⁿ⁾−Ｐ_Vg1 ^(n-k)をＰ_Vg1 ⁽ⁿ⁾−Ｐ_Vg1 ^(n-k)＝ａ_Vg1 ⁽ⁿ⁾ｘ＋ｂ_Vg1 ⁽ⁿ⁾ｙと表した場合の係数ａ_Vg1 ⁽ⁿ⁾，ｂ_Vg1 ⁽ⁿ⁾を求める。ただし、ｘは画像の横方向（撮像部１０及び送受信部１４から距離を保って移動する方向）に対応する単位ベクトルであり、ｙは画像の縦方向（撮像部１０及び送受信部１４に近づく又は遠ざかる方向）に対応する単位ベクトルである。

ｍが２となった場合も同様に、変動領域ｇ２について、過去の差分画像Ｄ^(n-1)，Ｄ^(n-2)，Ｄ^(n-3)・・・Ｄ^(n-k)と順次遡り、差分画像Ｄ⁽ⁿ⁾での位置ベクトルＰ_Vg2 ⁽ⁿ⁾と過去の差分画像Ｄ^(n-1)，Ｄ^(n-2)，Ｄ^(n-3)・・・Ｄ^(n-k)での位置ベクトルＰ_Vg2 ^(n-1)，Ｐ_Vg2 ^(n-2)，Ｐ_Vg2 ^(n-3)・・・Ｐ_Vg2 ^(n-k)のそれぞれとの差分ベクトルＰ_Vg2 ⁽ⁿ⁾−Ｐ_Vg2 ^(n-1)，Ｐ_Vg2 ⁽ⁿ⁾−Ｐ_Vg2 ^(n-2)，Ｐ_Vg2 ⁽ⁿ⁾−Ｐ_Vg2 ^(n-3)・・・Ｐ_Vg2 ⁽ⁿ⁾−Ｐ_Vg2 ^(n-k)，を求め、その絶対値が閾値Ｔ_hd2よりも大きくなるｋを検索する。変動領域ｇ２についてはｋ＝３となる。また、そのときの差分ベクトルＰ_Vg2 ⁽ⁿ⁾−Ｐ_Vg2 ^(n-k)をＰ_Vg2 ⁽ⁿ⁾−Ｐ_Vg2 ^(n-k)＝ａ_Vg2 ⁽ⁿ⁾ｘ＋ｂ_Vg2 ⁽ⁿ⁾ｙと表した場合の係数ａ_Vg2 ⁽ⁿ⁾，ｂ_Vg2 ⁽ⁿ⁾を求める。

ステップＳ２２−５では、差分画像Ｄ⁽ⁿ⁾に含まれる第ｍ番目の変動領域の移動方向が判定される。ステップＳ２２−４で求められた係数ａ_Vgm ⁽ⁿ⁾がｂ_Vgm ⁽ⁿ⁾よりも大きければ変動領域に対応する物体は横方向に移動しているものとしてステップＳ２２−９に処理を移行させ、係数ａ_Vgm ⁽ⁿ⁾がｂ_Vgm ⁽ⁿ⁾以下であれば変動領域に対応する物体は縦方向に移動しているものとしてステップＳ２２−６に処理を移行させる。

ステップＳ２２−６では、第ｍ番目の変動領域に対応する２つのピークに対応する音響距離Ｒ_Ai+j ⁽ⁿ⁾，Ｒ_Ai ⁽ⁿ⁾の間隔に変化があるか否かが判定される。図１８に示すように、ステップＳ２２−４で求められたｋを用いて、｜（Ｒ_Ai+j ⁽ⁿ⁾−Ｒ_Ai ⁽ⁿ⁾）−（Ｒ_Ai+j ^(n-k)−Ｒ_Ai ^(n-k））｜が所定の閾値Ｔ_hd3よりも大きいか否かを判定する。例えば、変動領域ｇ１ではｋ＝２となったので、｜（Ｒ_A2 ⁽ⁿ⁾−Ｒ_A1 ⁽ⁿ⁾）−（Ｒ_A2 ^(n-2)−Ｒ_A1 ^(n-2））｜（但し、ｉ＝１，ｊ＝１であったとする）が閾値Ｔ_hd3よりも大きいか否かを判定する。閾値Ｔ_hd3よりも大きければピークの間隔に変化があるものとしてステップＳ２２−７に処理を移行させ、閾値Ｔ_hd3以下であればピークの間隔に変化がないものとしてステップＳ２２−８に処理を移行させる。

ステップＳ２２−７では、差分画像Ｄ⁽ⁿ⁾に含まれる第ｍ番目の変動領域に対応する物体が侵入者であった場合、その侵入者は立った姿勢で撮像装置１０及び送受信部１４に対して近づく又は遠ざかる方向に歩いている状態であると判断する。ステップＳ２２−８では、差分画像Ｄ⁽ⁿ⁾に含まれる第ｍ番目の変動領域に対応する物体が侵入者であった場合、その侵入者は横たわった姿勢で撮像装置１０及び送受信部１４に対して近づく又は遠ざかる方向に匍匐している状態であると判断する。ステップＳ２２−９では、差分画像Ｄ⁽ⁿ⁾に含まれる第ｍ番目の変動領域に対応する物体が侵入者であった場合、その侵入者は立った姿勢で撮像装置１０及び送受信部１４からの距離を略一定に保って歩いている状態であると判断する。ステップＳ２２−１０では、差分画像Ｄ⁽ⁿ⁾に含まれる第ｍ番目の変動領域に対応する物体が侵入者であった場合、その侵入者は横たわった姿勢で撮像装置１０及び送受信部１４からの距離を略一定に保って匍匐している状態であると判断する。これらの判定結果は、各変動領域を特定する識別子と対応付けられて記憶部１８に格納及び保持される。

ステップＳ２２−１１では、差分画像Ｄ⁽ⁿ⁾に未だ姿勢と移動方向を判定していない変動領域が残っているか否かが判断される。さらに処理を繰り返す必要があればステップＳ２２−１２でｍを１だけ増加させて、ステップＳ２２−３以降の処理を繰り返す。総ての変動領域について姿勢と移動方向が判定されていればメインルーチンに処理を戻す。

ステップＳ２４では、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域に対応する物体の大きさが算出される。ステップＳ２４はサブルーチン化されており、音響特徴量算出部３０の大きさ検出部において、図１９に示すフローチャートに沿って処理される。

ステップＳ２４−１では、カウンタｍが１に初期化される。カウンタｍは、変動領域のラベルを特定するものであり、以下の処理において、対応する物体の大きさを算出する変動領域を特定するために用いられる。

ステップＳ２４−２では、第ｍ番目の変動画像が侵入者であると仮定して、その侵入者が立った姿勢であると判定されたか、横たわった姿勢であると判定されたかが調べられる。ステップＳ２２において、第ｍ番目の変動画像が立った姿勢であると判定された場合にはステップＳ２４−６に処理を移行させ、横たわった姿勢であると判定された場合にはステップＳ２４−３に処理を移行させる。

ステップＳ２４−３では、第ｍ番目の変動画像が侵入者であった場合、その侵入者が前後に移動していると判定されたか、横に移動していると判定されたかが調べられる。ステップＳ２２において、第ｍ番目の変動画像が撮像装置１０及び送受信部１４に対して近づく又は遠ざかる方向に移動していると判定された場合にはステップＳ２４−５に処理を移行させ、撮像装置１０及び送受信部１４からの距離を略一定に保って移動していると判定された場合にはステップＳ２４−４に処理を移行させる。

ステップＳ２４−４では、物体までの音響距離Ｒ_Am ⁽ⁿ⁾、差分画像Ｄ⁽ⁿ⁾の横方向の画素数Ｐ_W、及び差分画像Ｄ⁽ⁿ⁾上での第ｍ番目の変動領域の横方向の画素数Ｐ_wm ⁽ⁿ⁾、カメラの横方向の画角δを用いて数式（６）から物体の大きさｈ（侵入者の身長）が算出される。また、ステップＳ２４−５では、第ｍ番目の変動領域に対応付けられた２つのピークの到達時刻ｔ_ch及びｔ_cf、床から送受信部１４までの高さＨ及び音波の速度Ｃを用いて数式（７）から物体の大きさｈ（侵入者の身長）が算出される。また、ステップＳ２４−６では、第ｍ番目の変動領域に対応付けられた２つのピークの到達時刻ｔ_wh及びｔ_wf、床から送受信部１４までの高さＨ及び音波の速度Ｃを用いて数式（７）から物体の大きさｈ（侵入者の身長）が算出される。

ステップＳ２４−７では、差分画像Ｄ⁽ⁿ⁾に未だ大きさ算出していない変動領域が残っているか否かが判断される。さらに処理を繰り返す必要があればステップＳ２４−８でｍを１だけ増加させて、ステップＳ２４−２以降の処理を繰り返す。総ての変動領域について姿勢と移動方向が判定されていればメインルーチンに処理を戻す。

ステップＳ２６では、トラッキングを行う範囲が設定される。差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域に対応する物体が侵入者であったとした場合に、横たわっていると判定されたときにはその変動領域の周囲に領域ｒの検索範囲を設定する。一方、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域に対応する物体が侵入者であったとした場合に、立っていると判定されたときにはその変動領域の周囲に領域Ｒの検索範囲を設定する。このとき、領域Ｒは領域ｒよりも大きく設定することが好ましい。

このように、物体が侵入者であると仮定した場合に侵入者の姿勢によってトラッキングの検索範囲を変化させることによって、侵入者の移動可能な速度に対応した適切な検索範囲においてトラッキング処理を行うことが可能となる。

ステップＳ２８では、変動領域の瞬時属性度が算出される。まず、情報処理部２０の対応付け処理部３２において画像距離と音響距離とのマッチングが行われる。対応付け処理部３２では、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域の画像距離Ｒ_Vi ⁽ⁿ⁾に対応する音響距離Ｒ_Aj ⁽ⁿ⁾が存在するか否かが判定される。

画像距離Ｒ_Vi ⁽ⁿ⁾と音響距離Ｒ_Aj ⁽ⁿ⁾とのマッチングが成功した場合、マッチングが成功した画像距離Ｒ_Vi ⁽ⁿ⁾に対応する変動領域に対してステップＳ２４で求められた物体の大きさが一般的に人間として最も小さいと考えられる人物のサイズよりも大きければ、瞬時属性度設定部３４においてその変動画像は人間に相当するものであるとして、瞬時人属性度が増加される。瞬時人属性度とは、１回の測定毎の撮像画像に人間が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に人間が撮像されている確からしさが高いことを示すものである。一方、変動領域のサイズが最小人物のサイズよりも小さければ撮像された物体が小動物（犬、猫、ねずみ等）であると判定されて、瞬時小動物属性度が増加される。瞬時小動物属性度とは、１回の測定毎の撮像画像に小動物が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に小動物が撮像されている確からしさが高いことを示すものである。

一方、画像距離Ｒ_Vi ⁽ⁿ⁾と音響距離Ｒ_Aj ⁽ⁿ⁾とのマッチングが失敗した場合、画像距離Ｒ_Vi ⁽ⁿ⁾よりも近い距離に対応する音響距離Ｒ_Aj ⁽ⁿ⁾が存在するか否かが判断される。図２０に示すように、画像距離Ｒ_Vi ⁽ⁿ⁾の距離範囲よりも近い距離に音響距離Ｒ_Aj ⁽ⁿ⁾が存在する場合、図２１に示すように、画像センサの近傍にいる小鳥や虫などの小動物が撮像され、見かけ上は差分画像Ｄの画像距離Ｒ_Vi ⁽ⁿ⁾に物体が撮像されているように見えているに過ぎない可能性が高い。

そこで、変動領域のサイズに基づいて、鳥や虫などの小動物を撮像したものであるか否かが調査される。音響距離Ｒ_Aj ⁽ⁿ⁾に小動物として考えられる最大の大きさの小動物が存在する場合に差分画像Ｄ⁽ⁿ⁾に現れるべき変動画像のサイズを求め、実際に差分画像Ｄに含まれる変動画像のサイズと比較することにより被写体が小動物であるか人間であるかを判定する。最大の小動物の画像上のサイズと変動領域のサイズとを比較し、変動領域のサイズが最大の小動物のサイズ以下であれば、瞬時属性度設定部３４において、瞬時小動物属性度が増加される。一方、変動領域のサイズが最大の小動物のサイズよりも大きければ、撮像された物体が人間であると判定して、瞬時属性度設定部３４において、瞬時人属性度が増加される。

画像距離Ｒ_Vi ⁽ⁿ⁾の距離範囲よりも近い距離に音響距離Ｒ_Aj ⁽ⁿ⁾が存在しない場合、画像距離Ｒ_Vi ⁽ⁿ⁾に対応する変動領域の輝度が調査される。変動領域の輝度（平均輝度）が所定の閾値以上である場合には実体のない光に起因する変動領域であるものとして、瞬時属性度設定部３４において、瞬時光属性度が増加される。瞬時光属性度とは、１回の測定毎の撮像画像に実体のない光が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない光が撮像されている確からしさが高いことを示すものである。一方、変動領域の輝度（平均輝度）が所定の閾値より小さい場合には実体のない影に起因する変動領域であるものとして、瞬時属性度設定部３４において、瞬時影属性度が増加される。瞬時影属性度とは、１回の測定毎の撮像画像に実体のない影が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない影が撮像されている確からしさが高いことを示すものである。

ステップＳ３０では、蓄積属性度算出部３６において、蓄積属性度が算出される。蓄積属性度とは、複数回の測定で求められた瞬時属性度及び音響特徴量に基づいて算出されるパラメータであり、変動領域が人物、小動物、光又は影であるか否かを示すものである。例えば、ステップＳ２８で求められた瞬時人属性度を所定の測定回数だけ足し合わせて蓄積人属性度として算出することができる。このように、瞬時人属性度を複数回分積算して求めた蓄積人属性度を用いることによって変動領域が人であるか否かをより正確に判定することができる。同様に、他の瞬時属性度を所定の測定回数分だけ積算することによって各瞬時属性度に対応する蓄積属性度を算出することもできる。

ステップＳ３２では、総合判定部３８において、瞬時属性度及び蓄積属性度の少なくとも１つを用いて監視空間に侵入者がいるか否かが判定される。例えば、蓄積人属性度が所定の閾値以上の値を有する場合に監視空間に侵入者がいるものと判断する。また、他の蓄積属性度、画像特徴量及び音響特徴量を組み合わせ判定を行うことも好ましい。侵入者が存在すると判断された場合にはステップＳ３４に処理を移行させて警報の発報等の処理を行い、侵入者が存在しないと判断された場合には処理を終了する。また、ステップＳ１０から処理を繰り返しても良い。

以上のように、本実施の形態によれば、監視空間に存在する物体を確実に検出できると共に、その物体が侵入者であるか否かを特定することができる。

本発明の実施の形態におけるセンシング装置を示すブロック図である。 本発明の実施の形態における侵入者検出のフローチャートを示す図である。 本発明の実施の形態における差分画像の生成方法を説明する図である。 本発明の実施の形態における画像距離を算出する方法を説明する図である。 本発明の実施の形態における画像距離を算出する方法を説明する図である。 本発明の実施の形態における音響信号の差分波形の生成方法を説明する図である。 本発明の実施の形態におけるステップＳ２０のサブルーチンのフローチャートを示す図である。 本発明の実施の形態におけるピーク検出の方法を説明する図である。 侵入者が立位かつ前後方向に移動した場合のピークの態様を示すグラフである。 侵入者が立位かつ横方向に移動した場合のピークの態様を示すグラフである。 侵入者が立位である場合の音波の反射の様子を説明する図である。 侵入者が伏せ位かつ前後方向に移動した場合のピークの態様を示すグラフである。 侵入者が伏せ位かつ横方向に移動した場合のピークの態様を示すグラフである。 侵入者が伏せ位かつ前後方向に移動している場合の音波の反射の様子を説明する図である。 侵入者が伏せ位かつ横方向に移動している場合の音波の反射の様子を説明する図である。 本発明の実施の形態におけるステップＳ２２のサブルーチンのフローチャートを示す図である。 各変動領域に対応する物体の移動量及び移動方向を求める方法を説明する図である。 各変動領域に対応するピークの間隔の変化を算出する方法を説明する図である。 本発明の実施の形態におけるステップＳ２４のサブルーチンのフローチャートを示す図である。 本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった場合を示す図である。 本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった状況を示す図である。

符号の説明

１０ 撮像部、１２ 画像処理部、１４ 送受信部、１６ 音響処理部、１８ 記憶部、２０ 情報処理部、２２ 変動領域抽出部、２４ トラッキング部、２６ 画像特徴量算出部、２８ 受信波変動抽出部、３０ 音響特徴量算出部、３２ 対応付け処理部、３４ 瞬時属性度設定部、３６ 蓄積属性度算出部、３８ 総合判定部、１００ センシング装置。

Claims (6)

1. 監視対象空間を撮像した撮像画像を取得する撮像部と、
   前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、
   前記撮像部で取得された撮像画像と前記送受信部において受信された音響信号とに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、
   撮像画像と基準となる背景画像との差分である差分画像に基づいて撮像画像から変動領域を抽出し、当該変動領域の移動方向を求める画像処理部と、
   前記変動領域の移動方向と、複数の音響信号の差分である差分波形に含まれる前記変動領域に対応するピークの数又はピーク間の間隔の時間変化とに基づいて、前記変動領域に対応する物体の姿勢を判定する音響処理部と、
   を備えることを特徴とするセンシング装置。
2. 請求項１に記載のセンシング装置において、
   前記音響処理部は、
   前記変動領域の主な移動方向が、前記送受信部との距離を略保った方向である場合に、
   前記変動領域に対応するピークの数が１つ又はピークの間隔が所定の閾値より大きいときは前記変動領域に対応する侵入者が立位であるとし、
   前記変動領域に対応するピークの間隔が前記所定の閾値以下のときは前記変動領域に対応する侵入者が伏せ位である
   と判定することを特徴とするセンシング装置。
3. 請求項１に記載のセンシング装置において、
   前記音響処理部は、
   前記変動領域の主な移動方向が、前記送受信部から近づく又は遠ざかる方向である場合に、
   前記変動領域に対応するピーク間の間隔の時間変化が所定の閾値より大きいときは前記変動領域に対応する侵入者が立位であるとし、
   前記変動領域に対応するピーク間の間隔の時間変化が前記所定の閾値以下のときは前記変動領域に対応する侵入者が伏せ位である
   と判定することを特徴とするセンシング装置。
4. 請求項１〜３のいずれか１つに記載のセンシング装置において、
   前記画像処理部は、前記変動領域の時間的な移動を追跡するトラッキング部を備え、
   前記トラッキング部では、前記音響処理部において判定された物体の姿勢に基づいてトラッキングの検索範囲を変更することを特徴とするセンシング装置。
5. 請求項１〜４のいずれか１つに記載のセンシング装置において、
   前記音響処理部は、前記変動領域に対応するピーク間の間隔から前記変動領域に対応する物体の大きさを算出する物体大きさ算出部を備えることを特徴とするセンシング装置。
6. 立位の人間の斜め上方から音波を等方的に放射し、前記人間で反射された音波を音響信号として受信する送受信部を備える身長測定装置であって、
   前記音響信号に含まれる前記人間に対応するピークの間隔に基づいて、前記人間の身長を測定することを特徴とする身長測定装置。
   
   

Images