JP2000115810A - ステレオ画像処理方法および装置と侵入物体監視システム - Google Patents

Abstract

(57)【要約】 【課題】 侵入物体を精度よく計測し、誤報の少ない侵
入者監視を行えるようにすること。 【解決手段】 対応付け部３ＤＳＮＳにおいて、左右画
像間の視差を計測し、平面推定部ＥＳＴにおいて道路、
床等基準平面の位置を３次元的に推定し、物体抽出部Ｅ
ＸＴにおいて、平面より上に存在する物体を抽出し、追
跡部ＴＲＣで物体の実空間における３次元位置を順次追
跡することによって、識別部ＲＣＧにおいて、検出時
間、移動量、大きさ、移動速度、移動方向等、物体の３
次元情報の時間的変化を精度良く算出し、これらを識別
の特徴量として用いて精度良く物体を識別することによ
り、結果的に誤報の少ないステレオ画像処理方法および
装置と侵入物体監視システムを実現することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像処理
を用いた侵入者等の監視方法および装置に関する。

【０００２】

【従来の技術】画像処理を用いて侵入者等を検出する従
来の技術として、一台の撮像装置を用いる単眼画像処理
では、撮影時刻の異なる過去と現在の画像同士を差分処
理することによって、変化が生じた画像領域を抽出し、
この領域を侵入者が存在する領域と判断し、画像上での
侵入者領域の重心位置を２次元的に追跡するなどして、
画像上での２次元的な移動量、見かけの大きさ、移動方
向等から前記動物体が侵入者であるか、検出する必要の
ない小動物等であるかを識別していた。

【０００３】一方、ステレオ画像処理を用いた技術とし
ては、例えば特開平７−９７３３７号公報に記載の侵入
物監視装置がある。検出すべき物体の識別において、あ
らかじめ物体の存在しない時の３次元情報を獲得してお
き、現在の３次元情報と比較して、過去と現在の３次元
情報の間に変化があり、かつ物体の大きさが所定の大き
さであれば警報を出力するようになっている。

【０００４】具体的な構成を図８を用いて説明する。光
軸が互いに平行であり、かつ互いの画像が水平になるよ
うに配置された２台の撮像装置からなるステレオカメラ
１０によって撮影された画像は、ステレオ画像処理装置
２０に入力される。ステレオ画像処理装置２０では、例
えば左の撮像装置の画像をいくつかの小領域に分割し、
各小領域ごとに右画像から小領域と相関の高い領域を見
つける。左右画像間にて相関の高い領域、すなわち同一
物体の同一部分が撮像されている領域を見つける処理は
一般的に対応付け、あるいはマッチングと呼ばれる。左
右画像間において対応付けられた領域の水平方向位置の
ズレ量が視差であり、視差は遠方の物体ほど小さくな
る。侵入物検出装置７０では、まず、視差を３画測量の
原理を用いて座標変換することによって、実空間上の一
点を示す位置データに変換する。

【０００５】次に、実空間を仮想的に０. ２ｍ〜０. ５
ｍの立方格子状に分割し、各立方格子内に含まれる位置
データの数をカウントし、一定以上の位置データが獲得
できている場合に物体が存在すると判断する。既存の物
体ではないと判断されれば、次に大きさによって物体を
識別し、検出すべき物体であれば警報装置９０によって
警報を発する。そして、物体が撮像範囲から外れないよ
うに物体を追跡処理し、必要があればカメラ回転装置１
３によりカメラを回転しながら撮影する。また、ステレ
オ画像処理では、複数の撮像装置からなるステレオカメ
ラを用いるが、撮像装置と画像処理部間の画像データの
伝送は、図８からも明らかなように、撮像装置の台数分
の映像ケーブル６０を必要としていた。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
単眼画像処理による侵入者の検出では、２次元情報であ
る画像を用いているため、撮像装置の光軸方向である、
奥行き方向の位置や実空間での大きさは把握することが
できなかった。代わりに画像上で２次元的に物体を追跡
し、見かけの移動量や大きさを特徴量として用いて、侵
入者等とその他の物体を識別していたが、識別の精度は
十分でなく、誤った警報が発生しやすかった。

【０００７】一方、従来のステレオ画像処理を応用した
侵入者の検出では、左右２枚の画像を用いることによっ
て、実空間の３次元情報を獲得しており、過去と現在、
時刻の異なる３次元情報を比較して侵入物体を抽出し、
実空間での大きさを計測して侵入物体が侵入者であるか
を識別していた。しかし、ある瞬間だけの大きさを用い
て、侵入物体が侵入者であるかその他の物体であるかを
識別するのでは、３次元情報等の計測誤差の影響を受け
やすく、誤った識別結果となることが考えられる。ま
た、移動方向や移動速度等といった３次元情報の時間的
変化も計測することが出来ない。

【０００８】また、従来のステレオ画像処理装置におい
て、複数の撮像装置からの画像データの入力は、撮像装
置の台数分の映像ケーブルを必要としていたため、配線
が通常の監視カメラに比較して複雑であり、配線の簡単
化が望まれている。

【０００９】本発明は、上記従来の課題を解決するもの
であり、高精度で物体識別が可能であり、結果として誤
報が少ないステレオ画像処理方法および装置を提供する
ことを目的とする。また本発明は、画像を多重化するこ
とで、一本の伝送路で複数の撮像装置の画像データを伝
送することが可能な侵入物体監視システムを提供するこ
とを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、ステレオ画像処理によって得られる物体
の実空間における３次元位置を順次追跡することで、見
かけの大きさや移動量ではなく、実際の大きさや移動量
といった、３次元情報の時間的変化を獲得することによ
り、高精度で物体識別が可能であり、誤報を少なくする
ことができる。

【００１１】

【発明の実施の形態】請求項１に記載の発明は、複数台
の撮像装置によって撮影された複数の画像を用いて、前
記複数の画像間の対応付けをすることで視差を計測し、
前記視差を用いて基準平面を３次元的に推定し、前記基
準平面より上に存在する物体を抽出し、前記物体の３次
元位置を順次追跡し、追跡中に得られる前記物体の３次
元情報の時間的変化を特徴量として前記物体を識別する
ステレオ画像処理方法である。

【００１２】請求項２に記載の発明は、複数台の撮像装
置によって撮影された複数の画像を用いて、前記複数の
画像間の視差を計測する対応付け部と、前記視差を用い
て基準平面を３次元的に推定する平面推定部と、前記基
準平面より上に存在する物体を抽出する物体抽出部と、
前記物体の３次元位置を順次追跡する追跡部と、追跡中
に得られる前記物体の３次元情報の時間的変化を特徴量
として前記物体を識別する識別部を持つステレオ画像処
理装置である。

【００１３】これらの構成により、ステレオ画像処理に
よって撮像空間の３次元情報を獲得し、道路、床等基準
平面より上に存在する物体を抽出し、物体の３次元位置
を順次追跡する事ができるため、算出される特徴量の精
度も向上し、結果的にこれを用いて行う物体識別の精度
をも向上することができる。特徴量として用いている３
次元情報の時間的変化とは具体的に以下の様である。

【００１４】第一の特徴量として、検出開始時刻と検出
終了時間の差分を計測する。一定時間以上の間検出され
続けなかった物体は、３次元情報に含まれる単発的なエ
ラーや、飛来する鳥等、侵入者以外であると判断するこ
とができる。

【００１５】第二の特徴量として、現在検出されている
物体を３次元的に追跡し、検出開始時から検出終了時ま
での実空間での移動量を算出する。これによって何らか
の要因で静止物体等が監視領域に置かれた場合等と、移
動する侵入者を識別することができる。

【００１６】第三の特徴量として、現在検出されている
物体の追跡中に、物体の実空間での幅、高さ、奥行き等
の大きさの最大値、最小値、平均値、分散値等を算出す
る。これによって侵入者と小動物等の物体を識別するこ
とができる。

【００１７】第四の特徴量として、現在検出されている
物体の追跡中に、物体の実空間での移動方向を算出す
る。これによって侵入者と退出者を区別することができ
る。

【００１８】第五の特徴量として、現在検出されている
物体の追跡中に、物体の実空間での移動速度を算出す
る。これによって侵入者と鳥等を区別することができ
る。なお、第一から第五の特徴量を統合的にすべて用い
て物体を識別しても良いし、一部のみで侵入者を精度よ
く識別することも可能であるし、その他の特徴量も併せ
て用いてもかまわない。

【００１９】請求項３に記載の発明は、複数台の撮像装
置と、請求項２記載のステレオ画像処理装置と、前記ス
テレオ画像処理装置からの警報信号を受けて、前記警報
信号が発せられる前後の画像を記録する画像蓄積部とを
持つことを特徴とする侵入物体監視システムである。以
上の構成により、請求項１、請求項２の発明の効果と同
様に、ステレオ画像処理によって、撮像空間の３次元情
報を獲得し、床、道路等基準平面の位置を実空間座標系
で推定し、基準平面より上に存在する物体を抽出し、抽
出された物体の実空間での３次元位置や大きさ等を用い
て追跡する事ができるため、算出される特徴量の精度も
向上し、結果的には物体を識別する精度をも向上するこ
とができる。

【００２０】請求項４に記載の発明は、複数台の撮像装
置と、前記複数台の撮像装置によって得られる複数の画
像を多重して伝送する画像多重伝送部と、多重化された
画像を再度複数の画像に復元する画像多重受信部と、請
求項２記載のステレオ画像処理装置と、前記ステレオ画
像処理装置からの警報信号を受けて、前記警報信号が発
せられる前後の画像を記録する画像蓄積部を持つことを
特徴とする侵入物体監視システムとしたものである。以
上の構成により、複数の撮像装置とステレオ画像処理装
置間の画像データ伝送において、複数の撮像装置によっ
て得られる複数の画像を多重化して伝送する事ができる
ため、画像データの伝送路である映像用ケーブルが一本
で済み、既設の監視カメラ用映像ケーブルを用いても複
数の撮像装置の映像をステレオ画像処理装置に伝送する
ことができると同時に、請求項１、請求項２、請求項３
の発明と同様にステレオ画像処理によって得られた撮像
範囲の３次元情報を用いて、基準平面を推定し、基準平
面より上にある物体を抽出し、抽出された物体の実空間
での３次元位置や大きさ等を用いて高度に追跡する事が
できるため、算出される特徴量の精度も向上し、結果的
には物体を識別する精度をも向上することができる。

【００２１】（第１の実施の形態）以下、本発明の実施
の形態を図面を参照して説明する。本発明の第１の実施
の形態は、対応付け部と平面推定部と物体抽出部と追跡
部と識別部を備えたステレオ画像処理装置であり、以
下、図１、図２、図３を用いて説明する。図１におい
て、ＳＴＣＡＭは複数台の撮像装置を示しており、ここ
では光軸が平行でかつ水平に配置された左右２台の撮像
装置から構成されるステレオカメラであるとする。ＳＴ
ＰＲＣはステレオ画像処理装置を示し、その内部に対応
付け部３ＤＳＮＳ、平面推定部ＥＳＴ、物体抽出部ＥＸ
Ｔ、追跡部ＴＲＣ、識別部ＲＣＧ、等を備える。以下、
各部の機能について具体的に説明する。

【００２２】（対応付け部３ＤＳＮＳ）対応付け部３Ｄ
ＳＮＳでは、ステレオカメラによって得られた画像を逐
次入力する。２台のカメラから得られる画像の内、左カ
メラの画像を基準画像として考える。基準画像を水平Ｘ
方向へＮ分割、垂直Ｙ方向へＭ分割し、図２の基準画像
I ＭＰようにＮ×Ｍ個の格子状のブロックに区切る。こ
のブロックの単位で、もう一方の右画像中から相関の高
い同一矩形領域を見つけだす対応付け処理を行う。例え
ば基準画像内における水平位置Ｌｘのブロックと、右画
像内の水平位置Ｒｘの領域が対応づけられた場合、
（１）式によって左右画像間における水平方向のズレ量
Ｄが得られ、このズレ量は視差と呼ばれている。基準画
像中のブロックの水平方向インデックスをＸ、垂直方向
のインデックスをＹとして各ブロック毎の視差Ｄは以下
のように求めることができる。 Ｄ（Ｘ，Ｙ）＝｜Ｒｘ−Ｌｘ｜ ・・・（１）

【００２３】（平面推定部ＥＳＴ）次に、計測されたブ
ロック単位の視差を用い、道路、床等、画像中の大部分
を占める、床や道路等の基準平面の位置を３次元的に推
定し、平面の視差ＤＰ（Ｘ，Ｙ）として出力する。ま
ず、ブロック毎に得られた視差Ｄ（Ｘ，Ｙ）を、図２に
示すＸ−Ｙ−Ｄ座標上にプロットする。インデックスＹ
（１≦Ｙ≦Ｎ）を固定したときの平面自体の視差Ｄ
（Ｘ，Ｙ）は一本の直線上にあるはずなので、ハフ変換
によってこの直線を近似する。この直線は推定しようと
する平面を通過していることから平面通過直線ＰＬＮＬ
と呼ぶことにする。ハフ変換によって得られる平面通過
直線の直線パラメータとして、直線からＹ軸へ下ろした
垂線の長さρと、垂線の傾きθを用いることにすると、
各平面通過直線ＰＬＮＬには（２）式のような関係が成
立する。 ρ_Y ＝Ｘsin θ_Y ＋Ｙsin θ_Y ｛１≦Ｘ≦Ｍ、１≦Ｙ≦Ｎ｝・・・（２） ただし、ρ_Y ：Ｙ軸から平面通過直線までの距離 θ_Y ：平面通過直線から下ろした垂線とＸ−Ｙ平面がな
す角度 （添字Ｙは各インデックスＹを示す）

【００２４】同様にすべての各インデックスＹ毎に平面
通過直線を近似すると、結果として基準平面ＰＬＮは平
面通過直線群で近似できるようになり、平面の位置すな
わち平面の視差ＤＰ（Ｘ，Ｙ）を大局的に推定する事が
できる。平面の位置を推定する場合は、画像中に検出す
べき物体が無い状況で行うことが望ましいが、必ずしも
無い状況でなければならない訳ではない。

【００２５】（物体抽出部ＥＸＴ）物体抽出部では、視
差Ｄ（Ｘ，Ｙ）と、推定した平面の視差ＤＰ（Ｘ，Ｙ）
を用いて座標変換を行い、物体の高さＨ、平面上での奥
行き方向の距離Ｖ、平面上における幅方向の距離Ｕを算
出した後、基準平面より上に存在している物体を抽出す
る。実空間での物体の高さＨ（Ｘ，Ｙ）は、図３に示す
ような複数台の撮像装置ＳＴＣＡＭと基準平面ＰＬＮと
物体ＯＢＪとの幾何学的関係において（３）式を用いて
算出できる。

【数１】 ・・・（３） ただし、Ｄ（Ｘ，Ｙ）：物体ＯＢＪの視差 ｈ ：撮像装置の道路面からの高さ ＤＰ（Ｘ，Ｙ）：平面ＰＬＮの視差

【００２６】図３中、平面上での奥行き方向の距離Ｖ
（Ｘ，Ｙ）もまた、撮像装置と基準平面と物体との幾何
学的関係から（４）式を用いて算出できる。（４）式で
は撮像装置からの距離ＺおよびＺＰが必要となるが、こ
れらは（５）式によって視差Ｄおよび平面の視差ＤＰか
らそれぞれ変換して得られる。

【数２】 ・・・（４） ただし、Ｚ（Ｘ，Ｙ）：撮像装置から物体までの距離 ｈ ：撮像装置の平面からの高さ ＺＰ（Ｘ，Ｙ）：撮像装置から平面までの距離 θ ：撮像装置の俯角 距離＝Ｂ×ｆ／視差 ・・・（５） ただし、Ｂ ：撮像装置の配置間隔 ｆ ：撮像装置のレンズ焦点距離

【００２７】また、基準画像上での水平方向位置Ｌｘ
を、物体の実空間における幅方向位置Ｕに変換するに
は、（６）式を用いる。

【数３】 ・・・（６） ただし、ｈ ：ステレオカメラの平面からの高さ θ ：ステレオカメラの俯角 f ：レンズの焦点距離 Ｌｘ，Ｌｙ：基準画像中のブロックの水平位置と垂直位
置 以上の座標変換処理により、物体の各部の位置を図３の
ような実空間における３次元座標系（Ｕ，Ｖ，Ｈ）で示
すことができるようになる。

【００２８】次に、物体の存在しているであろう領域を
抽出する物体抽出処理を行う。床、道路等の平面から一
定以上の高さＨをもつブロックを抽出し、実空間で互い
に近距離にあるならば、同一物体と見なしてこれらをラ
ベリングする事により実空間における重心位置を算出
し、物体の３次元位置とする。

【００２９】（追跡部ＴＲＣ）追跡部ＴＲＣでは、前記
物体検出処理にて基準平面より上に物体が存在すると判
断された場合、物体の実空間上での３次元位置を順次追
跡する。ある時刻Ｔにおける物体の３次元位置をＰ１
（ｕ１，ｖ１．ｈ１）とし、以降の時刻Ｔ＋Δ（Δは対
応付け部の処理周期）における位置をＰ２（ｕ２，ｖ
２，ｈ２）とすると、実空間での移動量は（７）式で算
出され、処理周期Δ間における位置変化量がある範囲以
内であり、物体の幅、高さ等の変化量も一定範囲内であ
れば、時刻Ｔと時刻Ｔ＋Δに抽出された物体は同一物体
であると考えられ、物体はＰ１（ｕ１，ｖ１. ｈ１）か
らＰ２（ｕ２，ｖ２，ｈ２）に移動したこととする。以
上の追跡処理は物体抽出部において物体が抽出されてい
る期間、繰り返し行われる。

【数４】 ・・・（７） 各時刻における物体の位置や大きさを、追跡データとし
て追跡終了まで保持する。

【００３０】（識別部ＲＣＧ）識別部ＲＣＧでは、追跡
によって得られる前記物体の３次元情報である位置や大
きさの時間的変化を示す特徴量を算出して前記物体を識
別する。３次元情報の時間的変化とは、例えば検出時
間、移動量、大きさ、移動方向、移動速度等の特徴量で
ある。

【００３１】検出時間は、同一物体を追跡によって得ら
れる追跡開始時刻Ｔ１から追跡終了時刻Ｔ２までの差分
によって算出される。一般的に鳥等は比較的高速で移動
して撮像範囲から外れるので連続して検出される時間が
短く、人間は比較的低速で移動するので連続して撮像範
囲中で検出される時間が長い。検出時間の長短によって
鳥等と侵入者とを識別することができる。

【００３２】移動量は、物体の追跡開始時から追跡終了
時までにおいて、実空間での３次元的な追跡開始位置か
ら追跡終了位置までの距離や、追跡開始位置から物体が
最遠となる距離である。対応付けのエラーや、照明変化
等によって、新たな物体があるかのような３次元情報が
物体抽出部により得られた場合や、木が大きく揺れてい
る場合であっても、これらがさらに侵入者等のように移
動することは考えられないので、移動する侵入者等と識
別することができる。

【００３３】大きさは、実空間での物体の幅や高さ等で
あり、追跡中に随時計測する。追跡中の平均の大きさや
分散であっても、追跡中の最大あるいは最小の大きさで
あってもよい。人間の標準的な大きさと比較してある割
合以上小さい場合や、ある割合以上大きい場合にこれら
を侵入者以外の物体であると識別することができる。実
空間における幅は物体抽出部において得られる平面上で
の幅方向の距離Ｕ（Ｘ，Ｙ）を用いて、物体の左端位置
と右端位置の差分によって得られ、高さは床、道路等か
らの高さであり、物体抽出部で得られる高さＨ（Ｘ，
Ｙ）を用いる。

【００３４】移動方向は、実空間で物体が移動する方向
である。追跡開始時から追跡終了時までに物体がどの方
向に移動したかを算出する。例えば実空間における追跡
開始点と追跡終了点を結ぶことで得られるベクトルから
求めることができる。移動方向によって、施設内からの
退出者と、施設外からの侵入者を識別することができ
る。

【００３５】移動速度は、実空間で物体が移動する速度
である。追跡中のある時刻Ｔ１からＴ２までの実空間で
の移動量を、所要時間であるＴ１とＴ２の差分絶対値で
除算することで得られる。移動速度は鳥等小動物が比較
的速く、人間等は比較的遅いので移動速度が閾値以下で
あれば侵入者等人間であると判断することができる。

【００３６】検出時間、移動量、大きさ、移動方向、移
動速度の合計５つの特徴量を統合的に用いて物体が何で
あるかの識別を行う方法としては、まず各特徴量毎に物
体が侵入者であるかどうかを識別し、識別結果が真であ
る特徴量の数が閾値ＴＨ以上あれば物体は侵入者である
と判断することが考えられる。閾値ＴＨはこの場合５以
下１以上の値である。

【００３７】なお、上記の５つの特徴量をすべて用いて
物体を識別しても、一部を用いて識別しても、その他の
３次元情報の時間的変化を示す特徴量と併せて用いて物
体識別を行ってもかまわない。

【００３８】以上のように、本実施の形態１によれば、
ステレオ画像処理によって得られる物体の実空間上の位
置や大きさを用いて３次元的に追跡できるため、物体識
別の特徴量である３次元情報の時間的変化を高精度に算
出でき、結果として侵入物体の識別の精度も向上し、誤
報の少ないステレオ画像処理装置とすることができる。

【００３９】なお、本実施の形態１と、従来の単眼画像
処理と、従来のステレオ画像処理との構成の違いを比較
したのが表１である。

【表１】

【００４０】（第２の実施の形態）本発明の第２の実施
の形態は、左右画像の対応付けによって視差を計測し、
視差を用いて基準平面の位置を３次元的に推定し、基準
平面上に存在する物体を抽出し、これを３次元的に追跡
して、検出時間、移動量、大きさ、移動方向、移動速度
等を算出し、これらを統合的に用いた識別処理を行うこ
とで、物体の種別を識別するステレオ画像処理方法であ
る。図４の処理のフロー図を用いて各処理ステップの処
理概要を説明する。なお、各ステップのより具体的処理
内容は第１の実施の形態でも説明したので省略する。

【００４１】ステップＦ０１では、ステレオ画像を入力
する。ステップＦ０２では、左右画像間で対応付け処理
を行い、左画像に設定したブロック単位で視差を獲得す
る。ステップＦ０３では、床、道路等基準平面の位置を
３次元的に推定し、ステップＦ０４では、平面位置を基
準とした座標系で物体の３次元情報を表現できるよう座
標変換を行う。ステップＦ０５では、平面上に存在する
物体を抽出する。ステップＦ０６では、Ｆ０５にて平面
上に物体が存在すると判断された場合はステップＦ０７
に進み、物体がないと判断された場合はＳＴＡＲＴに戻
る分岐処理を行う。ステップＦ０７では、処理周期毎に
物体の位置を３次元的に順次追跡する。ステップＦ１１
では、追跡によって得られる追跡開始時刻と追跡終了時
刻の差分から検出時間を算出し、検出時間の長短によっ
て物体を識別できるようにする。ステップＦ１２では、
追跡によって、物体の実空間での移動方向を計測し、例
えば入場者と退場者を識別できるようにする。ステップ
Ｆ１３では、物体の実空間における幅や高さ等の大きさ
を計測し、大きさによって、猫、鳥等小動物と、侵入者
等を識別することができるようにする。ステップＦ１４
では、物体の実空間における移動速度を計測し、鳥等高
速に移動する物体と人間等、低速で移動する物体を区別
できるようにする。ステップＦ１５では、物体の実空間
における移動量を算出し、移動しない静止物体と移動す
る動物体を識別できるようにする。ステップＦ１６で
は、ステップＦ１１〜Ｆ１５にて得られた特徴量の一部
あるいは全部を利用して物体の識別を行う。数種の特徴
量を統合的に用いて物体を識別する方法としては、例え
ば侵入者の条件を満たしているかを各特徴量毎にまず判
定し、各特徴量毎の識別結果が真であった数が一定以上
であった場合に、物体は侵入者であると識別することが
考えられる。そして、侵入者等警報を発すべき物体であ
ったと識別された場合は、警報信号を出力する。

【００４２】以上のように、本実施の形態２によれば、
ステレオ画像処理によって得られる物体の３次元情報を
用いて高度に物体追跡することによって、物体の３次元
情報の時間的変化を示す特徴量が正しく得られ、結果的
に精度良く物体の識別が行えるため、誤報の少ないステ
レオ画像処理方法とすることができる。

【００４３】（第３の実施の形態）本発明の第３の実施
の形態は、ステレオ画像処理を用いた侵入物体監視シス
テムである。図５に本実施の形態３におけるの侵入物体
監視システムの構成を示す。複数の撮像装置ＳＴＣＡＭ
によって撮影された左右一組のステレオ画像は、第１の
実施の形態に記載したステレオ画像処理装置ＳＴＯＲＣ
に入力され、このステレオ画像処理装置内の識別部によ
って、侵入者等警報を発すべき物体と識別された場合、
警報部ＡＬＭと画像蓄積部ＳＴＲに警報信号を出力し、
警報部ＡＬＭは警報を発し、画像蓄積部ＳＴＲは警報の
前後の画像を磁気ディスク等に蓄積する。なお、複数の
撮像装置ＳＴＣＡＭ、ステレオ画像処理装置ＳＴＰＲＣ
については第１の実施の形態でも説明したので詳細は省
略する。

【００４４】警報部ＡＬＭは、画像中に侵入者等が存在
すると判断された場合に、識別部ＲＣＧより出力される
警報信号を受けて、音、光、振動等で監視員に注意を喚
起し、あるいは侵入者に警報を発する。画像蓄積部ＳＴ
Ｒは、識別部ＲＣＧから警報信号が出力された時点の前
後の画像をＨＤＤや光ディスク、テープに記録蓄積す
る。画像蓄積部ＳＴＲでは、画像遅延手段であるフレー
ムバッファ等を用いることで、警報信号が発せられた数
秒間前の画像も記録することができる。なお、画像のみ
ではなく、音声等も同時に記録しておくことも可能であ
る。モニターＭＮＴＲは、複数の画像を表示したり、画
像蓄積部ＳＴＲに記録された画像を表示したりする。

【００４５】以上のように、本実施の形態３によれば、
物体の３次元位置と大きさ等ステレオ画像処理によって
得られる３次元情報を用いて３次元的に物体を追跡する
事で、物体識別の特徴量である３次元情報の時間的変化
が高精度に得られ、最終的には誤報が少ない侵入物体監
視システムとすることができる。

【００４６】（第４の実施の形態）本発明の第４の実施
の形態は、図６に示すように、第３の実施の形態で説明
した侵入物体監視装置システムの複数の撮像装置ＳＴＣ
ＡＭとステレオ画像処理装置ＳＴＰＲＣの間に、画像多
重伝送部ＳＮＤと画像多重受信部ＲＣＶを挿入した侵入
物体監視システムである。複数の撮像装置ＳＴＣＡＭに
よって撮影された左右一組のステレオ画像は、画像多重
伝送部ＳＮＤに入力される。画像多重伝送部ＳＮＤで
は、複数の画像であるステレオ画像を多重化して伝送、
送出する。画像多重受信部ＲＣＶでは、多重化された画
像データを再度複数の画像、つまりステレオ画像に戻す
処理を行う。ステレオ画像処理装置ＳＴＰＲＣ内の識別
部ＲＣＧで物体を識別し、侵入者等警報を発すべき物体
であるとされた場合、警報部ＡＬＭと画像蓄積部ＳＴＲ
に警報信号を出力し、警報部ＡＬＭは警報を発し、画像
蓄積部ＳＴＲは、警報の前後の画像を磁気ディスク等に
蓄積する。なお、複数の撮像装置ＳＴＣＡＭ、ステレオ
画像処理装置ＳＴＰＲＣについては第１の実施の形態、
警報部ＡＬＭおよび画像蓄積部ＳＴＲについては第３の
実施の形態で説明したので詳細は省略する。

【００４７】画像多重伝送部ＳＮＤは、同一時刻に撮影
された複数の画像を多重して伝送する。複数の画像の多
重化方法としては、フィールド毎に多重、周波数多重、
時分割多重が考えられる。フィールド毎に多重する場合
は、２枚のフィールド画像を同一フレーム内の第一フィ
ールドと第二フィールドに多重化して画像を伝送する。
図７を用いて具体的に説明する。ステレオ画像処理にお
いては、同時刻に撮影された左右２枚からなるステレオ
画像を用いる必要があるため、一旦それぞれの画像をフ
ィールドメモリまたはフレームメモリＦＭＲ、ＦＭＬに
保持する。次に左右の画像が保持されているメモリか
ら、奇数あるいは偶数のいずれか同じフィールドの画像
を取り出し、一枚のフレーム画像として合成、多重した
のが左右多重画像ＭＬＴＩＭＧである。画像多重伝送部
ＲＣＶでは、この左右多重画像を伝送、送出する。この
場合、画像多重受信部ＲＣＶでは、左右多重画像像から
それぞれ左フィールド画像と右フィールド画像を分離し
て復調する。

【００４８】周波数多重して伝送する場合は、多重化す
る左右画像の映像信号帯域が互いに重ならないように周
波数をずらして周波数軸上に配置して伝送する。この場
合、画像多重受信部ＲＣＶは、複数の画像が周波数多重
された信号から、それぞれの画像の映像信号帯域を、帯
域通過フィルタを用いて分離して復調する。周波数多重
は、放送、電話網等でも用いられている。

【００４９】時分割多重して伝送する場合は、複数の画
像が同時刻に撮影された右画像と左画像の２つの画像で
あるとした場合、時刻Ｔ１には右画像の信号、時刻Ｔ２
には左画像の信号、時刻Ｔ３には右画像の信号といった
順に順次切り替えて伝送する。この場合画像多重受信部
では、伝送された順番で各画像のデータを受信して左右
の画像を復調する。なお、いずれの多重化方法も伝送路
は無線であってもかまわないし、光ケーブルを用いて多
重化した画像を伝送することも可能である。

【００５０】以上のように、本実施の形態４によれば、
ステレオ画像処理によって得られる物体の３次元位置と
大きさ等を用いて３次元的に追跡する事で、特徴量であ
る３次元情報の時間的変化が高精度に得られ、最終的に
は誤報なく侵入者等を識別することができる。また、複
数の撮像装置によって撮影された画像を一本の伝送路に
多重化して伝送することで、複数の撮像装置と３次元情
報処理部との間の配線を簡単にすることができ、また、
既存の監視カメラ用の映像信号伝送路をそのまま用いて
も、複数の画像からなるステレオ画像を伝送することが
できるようになる。

【００５１】

【発明の効果】以上のように、本発明によれば、第１の
効果として、ステレオ画像処理によって、撮像範囲内の
視差を獲得し、床や道路等基準平面を３次元的に推定
し、基準平面より上にある物体を抽出し、この物体の３
次元位置を順次追跡する事で、見かけではなく実際の移
動量、大きさ、移動方向、移動速度等、物体の３次元情
報の時間的変化を示す特徴量を精度良く取得でき、これ
を用いて物体を識別するため、結果として誤報の少ない
ステレオ画像処理方法およびステレオ画像処理装置と、
侵入物体監視システムを提供することができる。

【００５２】第２の効果として、複数の撮像装置からス
テレオ画像処理装置へ画像を伝送する際、多重化して伝
送することによって、複数の伝送路を必要としない侵入
物体監視システムとする事ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態におけるステレオ画
像処理装置の構成図

【図２】本発明の第１の実施の形態における平面推定部
が道路、床等の平面の位置を３次元的に推定する際の原
理を示す説明図

【図３】本発明の第１の実施の形態にけるステレオ画像
処理装置の物体抽出部が座標変換を行う様子の説明図

【図４】本発明の第２の実施の形態におけるステレオ画
像処理方法の処理の流れを示すフロー図

【図５】本発明の第３の実施の形態における侵入物体監
視システムの構成図

【図６】本発明の第４の実施の形態における侵入物体監
視システムの構成図

【図７】本発明の第４の実施の形態における画像多重伝
送部の動作内容を示す説明図

【図８】従来の技術である侵入者監視装置の構成図

【符号の説明】

ＳＴＣＡＭ 複数台の撮像装置、ステレオカメラ ＳＴＰＲＣ ステレオ画像処理装置 ３ＤＳＮＳ 対応付け部 ＥＳＴ 平面推定部 ＥＸＴ 物体抽出部 ＴＲＣ 追跡部 ＲＣＧ 識別部 ＰＬＮ 道路、床等の平面 ＰＬＮＬ 平面通過直線 ＩＭＰ 基準画像面 ＯＢＪ 侵入者等の物体 ＳＮＤ 画像多重伝送部 ＲＣＶ 画像多重受信部 ＳＴＲ 画像蓄積部 ＭＮＴＲ モニタ ＡＬＭ 警報部 ＦＭＲ，ＦＭＬ 左右それぞれの画像データを保持する
フレームメモリ ＭＬＴＩＭＧ 左右多重画像 ＬＩＭＧ，ＲＩＭＧ 左右それぞれのフィールド画像

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C054 AA02 CF05 CG02 CG05 CH02 CH03 CH04 DA08 EA01 EA03 FC11 FC12 FC13 FC15 FC16 FD02 FE09 FE28 FF02 GA01 GA02 GA04 GB01 GD03 GD04 GD05 HA18 5C061 AB01 AB04 AB08 AB10 AB11 AB21 AB24 5C084 AA02 AA07 BB05 BB31 DD12 FF15 GG52 GG78 HH12

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数台の撮像装置によって撮影された複
   数の画像を用いて、前記複数の画像間の対応付けをする
   ことで視差を計測し、前記視差を用いて基準平面を３次
   元的に推定し、前記基準平面より上に存在する物体を抽
   出し、前記物体の３ 次元位置を順次追跡し、追跡中に
   得られる前記物体の３次元情報の時間的変化を特徴量と
   して前記物体を識別するステレオ画像処理方法。
2. 【請求項２】 複数台の撮像装置によって撮影された複
   数の画像を用いて、前記複数の画像間の視差を計測する
   対応付け部と、前記視差を用いて基準平面を３次元的に
   推定する平面推定部と、前記基準平面より上に存在する
   物体を抽出する物体抽出部と、前記物体の３次元位置を
   順次追跡する追跡部と、追跡中に得られる前記物体の３
   次元情報の時間的変化を特徴量として前記物体を識別
   する識別部を持つステレオ画像処理装置。
3. 【請求項３】 複数台の撮像装置と、請求項２記載のス
   テレオ画像処理装置と、前記ステレオ画像処理装置から
   の警報信号を受けて、前記警報信号が発せられる前後の
   画像を記録する画像蓄積部を持つことを特徴とする侵入
   物体監視システム。
4. 【請求項４】 複数台の撮像装置と、前記複数台の撮像
   装置によって得られる複数の画像を多重して伝送する画
   像多重伝送部と、多重化された画像を再度複数の画像に
   復元する画像多重受信部と、請求項２記載のステレオ画
   像処理装置と、前記ステレオ画像処理装置からの警報信
   号を受けて、前記警報信号が発せられる前後の画像を記
   録する画像蓄積部を持つことを特徴とする侵入物体監視
   システム。