JP2000261787A

JP2000261787A - 侵入物体検出方法及び装置

Info

Publication number: JP2000261787A
Application number: JP11057657A
Authority: JP
Inventors: Seiji Kikazawa; 征次気賀沢; Katsumasa Onda; 田勝政恩; Makoto Suzuki; 木良鈴
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-03-04
Filing date: 1999-03-04
Publication date: 2000-09-22

Abstract

(57)【要約】【課題】ステレオ画像処理で物体までの距離が一部計
測できなかったり、誤差が含まれる場合でも、精度良く
侵入物体の検出し、また検知空間内への侵入物体の情報
を補正して、精度良く侵入物体の検出を行うこと。【解決手段】撮像手段１０１で検知空間を俯瞰撮影
し、距離計測手段１０９がステレオ画像処理により物体
までの距離分布を計測し、侵入物体検出手段１１１が侵
入物体を検出する。また、画像変化算出手段１０７が撮
像手段の一方のカメラから得た基準時刻の画像とそれ以
降の画像とを比較して画像変化領域を算出し、検出結果
補正手段１１３が画像変化領域の算出結果を用いて誤検
出された物体の情報を除去し、また、複数に分割して検
出された１つの物体の情報を結合し、基準画像更新手段
１２０が所定の条件を満たす時に基準画像を更新する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、所定の検知空間を
撮像し、撮像された画像から検知空間内への侵入物体を
検出する侵入物体検出装置に関する。

【０００２】

【従来の技術】撮像された画像から検知空間内の物体を
検出する技術として、ステレオ画像処理を用いて物体を
検出するものがある。ステレオ画像処理は複数のカメラ
で撮像した画像から物体までの距離を計測するものであ
り、距離の変化で物体を検出することで、検知空間内の
照明条件の変化の影響を受けることがなく、精度良く物
体を検出することができる。

【０００３】ステレオ画像処理を用いて物体を検出する
方法の従来技術として、特開平９−９７３３７号公報記
載のものがある。この従来技術では、図６に示すよう
に、まず、複数のカメラの画像から物体までの距離分布
を計算し、距離分布に対応する物体の各部分三次元的な
位置を計算した後、検知対象となる三次元空間６０１を
立方格子６０２に分割して、既存の物体が含まれる立方
格子のグループを既存物体領域６０３とし、この既存物
体領域６０３以外の各格子内において、後から物体が検
知され、この物体検知がなされたデータ数が閾値を超え
た場合に、その立方格子を物体として検出し、侵入物体
領域６０４としている。

【０００４】

【発明が解決しようとする課題】しかしながら、ステレ
オ画像処理を用いた従来の物体検出技術では、距離分布
の計測が正確に行えないために、物体が無いのに検出し
てしまったり、物体の一部分が検出できず物体領域が正
しく計算できなかったりするという問題があった。ま
た、特徴のない形状や模様をした物体は輪郭以外では距
離計測できないことがあるために、１つの物体が複数に
分割されて検出されたり、既存物体の設定が正しくおこ
なえないという問題があった。

【０００５】本発明は、このような従来の問題を解決す
るものであり、ステレオ画像処理で距離分布が正しく計
測できなかった場合でも検知空間内の侵入物体を精度良
く検出する方法および装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、検出された物体が撮像されている画像領
域内で基準画像との画像変化があった領域の比率を算出
し、変化領域の比率が予め定めた比率以下である場合に
検出された物体を侵入物体と判定しないようにしたもの
であり、距離分布により検出した物体の情報を基準画像
との画像変化を用いて補正するので、距離計測の誤差の
ために誤って検出した物体を除去することが可能であ
る。

【０００７】また、本発明は、検出された物体の距離お
よび画像上での水平位置および垂直位置が近い位置にあ
る複数の物体を抽出し、抽出された複数の物体が撮像さ
れている画像領域およびその間の領域内での基準画像と
の画像変化領域の分布から複数の物体が同一の物体であ
るかを判定し、同一である場合に複数の物体を結合する
ようにしたものであり、距離分布により検出した物体の
情報を基準画像との画像変化を用いて補正するので、物
体の一部から距離計測ができずに分割して検出された物
体を一つの物体として検出することが可能である。

【０００８】そしてまた、本発明は、検出された物体を
検知空間内に設定した平面上に投影して投影像を作成
し、基準時刻の投影像と基準時刻以降に順次作成される
投影像とを比較して検出された物体が侵入物体であるか
を判定するようにしたものであり、投影像上で既存物体
か侵入物体かを判定するので、既存物体の一部から距離
計測ができなかった場合でも侵入物体を精度良く検出す
ることが可能である。

【０００９】

【発明の実施の形態】本発明の請求項１に記載の発明
は、侵入物体検出方法として、複数のカメラで所定の検
知空間を俯瞰撮影し、基準時刻に得られるいずれか１つ
のカメラの画像を基準画像として記憶し、基準画像と基
準時刻以降に得られる同じカメラの画像とを比較して画
像変化を算出し、複数のカメラから得られる画像を用い
てステレオ画像処理で撮像されている物体までの距離分
布を計測し、計測された距離分布から検知空間内の侵入
物体を検出し、基準画像との画像変化の算出結果を用い
て検出された侵入物体の情報を補正し、所定の条件を満
たす時に基準画像を更新するようにしたものであり、こ
れによって距離分布から検出した物体の情報を画像変化
の情報で補正して精度良く侵入物体を検出できるという
作用を有する。

【００１０】本発明の請求項２に記載の発明は、請求項
１記載の侵入物体検出方法において、侵入物体の情報を
補正する処理段階では、検出された物体が撮像されてい
る画像領域内で、基準画像との画像変化があった領域の
比率を算出し、変化領域の比率が予め定めた比率以下で
ある場合に、検出された物体を侵入物体と判定しないよ
うにしたものであり、これによって距離計測の誤差によ
り誤って検出した物体を除去できるという作用を有す
る。

【００１１】本発明の請求項３に記載の発明は、請求項
１または請求項２記載の侵入物体検出方法において、侵
入物体の情報を補正する処理段階では、検出された物体
の距離および画像上での水平位置および垂直位置が近い
位置にある複数の物体を抽出し、抽出された複数の物体
が撮像されている画像領域およびその間の領域内での基
準画像との画像変化領域の分布から複数の物体が同一の
物体であるかを判定し、同一である場合に複数の物体を
結合するようにしたものであり、これによって物体の一
部から距離が計測できずに分割して検出された物体を一
つの物体として検出できるという作用を有する。

【００１２】本発明の請求項４に記載の発明は、請求項
１から請求項３のいずれかに記載の侵入物体検出方法に
おいて、基準画像を更新する処理段階では、新たな基準
画像が作成されてから一定時間以上経過し、かつ侵入物
体が検出されなかった時に基準画像を更新するようにし
たものであり、これによって検知空間内の照明条件が変
化した場合でも精度良く侵入物体の検出を継続できるよ
いう作用を有する。

【００１３】本発明の請求項５に記載の発明は、侵入物
体検出方法として、複数のカメラで所定の検知空間を俯
瞰撮影し、複数のカメラから得られる画像を用いてステ
レオ画像処理で撮像されている物体までの距離分布を計
測し、計測された距離分布から検知空間内の物体を検出
し、基準時刻において検出された物体を検知空間内に設
定した平面上に投影して基準投影像を作成し、基準投影
像と基準時刻以降に順次作成される投影像とを比較して
検出された物体が侵入物体であるかを判定するようにし
たものであり、これによって検出された物体が既存の物
体か侵入物体かを精度良く判定できるという作用を有す
る。

【００１４】本発明の請求項６に記載の発明は、侵入物
体検出装置として、所定の検知空間を俯瞰撮影する複数
のカメラから成る撮像手段と、基準時刻に得られるいず
れか１つのカメラの画像を記憶する基準画像記憶手段
と、前記基準画像を撮影したカメラから基準時刻以降に
得られる画像と前記基準画像記憶手段に記憶されている
画像とを比較して画像変化を算出する画像変化算出手段
と、前記複数のカメラから得られる画像を用いてステレ
オ画像処理で撮像されている物体までの距離分布を計測
する距離計測手段と、前記距離計測手段で計測された距
離分布から検知空間内に侵入した物体を検出する侵入物
体検出手段と、前記画像変化算出手段で得られた画像変
化算出結果を用いて前記侵入物体検出手段で得られた侵
入物体検出結果を補正する検出結果補正手段と、所定の
条件を満たす時に基準画像を更新する基準画像更新手段
とを備えたものであり、これによって距離分布から検出
した物体の情報を画像変化の情報で補正して精度良く侵
入物体を検出できるという作用を有する。

【００１５】本発明の請求項７に記載の発明は、請求項
６記載の侵入物体検出装置において、検出結果補正手段
が、画像変化算出手段で得られた画像変化算出結果から
侵入物体検出手段で検出された物体が撮像されている画
像領域内における画像変化領域の比率を算出する変化比
率算出手段と、前記変化比率算出手段で算出された画像
変化領域の比率が予め定めた比率以下である場合に前記
物体を侵入物体として扱わない誤検出除去手段とを備え
たものであり、これによって距離計測の誤差により誤っ
て検出した物体を除去できるという作用を有する。

【００１６】本発明の請求項８に記載の発明は、請求項
６または請求項７記載の侵入物体検出装置において、検
出結果補正手段が、侵入物体検出手段で検出された侵入
物体までの距離および画像上での水平位置および垂直位
置が近い位置にある複数の物体を抽出する近接物体抽出
手段と、前記近接物体抽出手段で抽出された複数の物体
が撮像されている領域および前記複数の物体が撮像され
ている間の領域における画像変化算出手段で算出された
画像変化算出結果を用いて前記複数の物体が同一の物体
であるかを判定する同一物体判定手段と、前記同一物体
判定手段で同一の物体であると判定された前記複数の物
体の情報を結合する物体結合手段とを備えたものであ
り、これによって物体の一部から距離が計測できずに分
割して検出された物体を一つの物体として検出できると
いう作用を有する。

【００１７】本発明の請求項９に記載の発明は、請求項
６から請求項８のいずれかに記載の侵入物体検出装置に
おいて、基準画像更新手段が、新たな基準画像が作成さ
れてからの時間と検出された侵入物体の数から基準画像
を更新するか判定する更新判定手段と、前記更新判定手
段で更新すると判定された時に基準画像を更新する更新
手段とを備えたものであり、これによって検知空間内の
照明条件が変化した場合でも精度良く侵入物体の検出を
継続できるよいう作用を有する。

【００１８】本発明の請求項１０に記載の発明は、侵入
物体検出装置として、所定の検知空間を俯瞰撮影する複
数のカメラから成る撮像手段と、前記複数のカメラから
得られる画像を用いてステレオ画像処理で撮像されてい
る物体までの距離分布を計測する距離計測手段と、前記
距離計測手段で計測された距離分布から検知空間内の物
体を検出する物体検出手段と、前記物体検出手段で検出
された物体を検知空間内に設定した平面上へ投影する投
影手段と、基準時刻において前記投影手段で作成された
投影像を記憶する基準投影像記憶手段と、前記基準投影
像記憶手段に記憶されている基準時刻の投影像と基準時
刻以降に順次作成される投影像を比較して侵入物体を判
定する侵入物体判定手段とを備えたものであり、これに
よって検出された物体が既存の物体か侵入物体かを精度
良く判定できるという作用を有する。

【００１９】（実施の形態１）以下、本発明の実施の形
態について、添付図面を参照して詳細に説明する。図１
は、本発明の実施の形態１に係る侵入物体検出装置の構
成を示すブロック図である。図１において、符号１０１
は所定の検知空間を俯瞰撮影する撮像手段、１０２と１
０３は撮像手段１０１を構成するカメラ、１０４はカメ
ラ１０２から得られる画像、１０５は基準時刻において
得られる画像１０４を記憶する基準画像記憶手段、１０
６は基準画像記憶手段１０５に記憶されている基準画
像、１０７は基準画像１０６と基準時刻以降に得られる
画像１０４を比較して画像変化を算出する画像変化算出
手段、１０８は画像変化算出手段１０８で算出された画
像変化算出結果、１０９は撮像手段１０１で得られる複
数の画像を用いてステレオ画像処理により物体までの距
離分布を計測する距離計測手段、１１０は距離計測手段
１０９で計測された物体までの距離分布データ、１１１
は距離分布データ１１０から検知空間内の侵入物体を検
出する侵入物体検出手段である。

【００２０】また、１１２は侵入物体検出手段１１１で
検出された侵入物体情報、１１３は侵入物体情報１１２
を画像変化算出結果１０８を用いて補正する検出結果補
正手段、１１４は画像変化算出結果１０８から侵入物体
が撮像されている領域内の画像変化の比率を算出する変
化比率算出手段、１１５は変化比率算出手段１１４で算
出された変化比率を用いて検出された物体が誤検出であ
るかを判定する誤検出除去手段、１１６は侵入物体情報
１１２から近接している複数の物体を抽出する近接物体
抽出手段、１１７は近接物体抽出手段１１６で抽出され
た複数の物体が同一であるかを画像変化算出結果１０８
を用いて判定する同一物体判定手段、１１８は同一物体
判定手段１１７で同一であると判定された複数の物体の
侵入物体情報１１２を結合する物体結合手段、１１９は
検出結果補正手段１１３で補正された侵入物体情報、１
２０は基準画像１０６を更新する基準画像更新手段、１
２１は補正された侵入物体情報１１９を参照して基準画
像１０５を更新するかを判定する更新判定手段、１２２
は基準画像１０５を更新する更新手段である。

【００２１】次に、本実施の形態１における動作につい
て詳細に説明する。まず、撮像手段１０１は複数のカメ
ラ１０２、１０３で所定の検知空間内を俯瞰撮影する。
基準画像記憶手段１０５では基準時刻においてカメラ１
０２から得られる画像を基準画像１０６として記憶し、
画像変化算出手段１０７では基準画像１０６と基準時刻
以降にカメラ１０２から得られる画像１０４とを比較し
て、画像変化のあった領域を算出する。基準画像１０
６をＡ０（ｉ，ｊ）とし、基準時刻以降に得られる画像
１０４をＡ（ｉ，ｊ）とすると、｜Ａ０（ｉ，ｊ）−Ａ（ｉ，ｊ）｜＞ＡＴＨ・・・（式１）を満たす時に、画素（ｉ，ｊ）が変化画素となる。ただ
し、ＡＴＨは所定の閾値である。そして、（式１）を満
たす画素では画像変化分布Ｃ（ｉ，ｊ）＝１とし、それ
以外の画素ではＣ（ｉ，ｊ）＝０とする。この画像変化
分布Ｃ（ｉ，ｊ）を画像変化算出結果１０８として検出
結果補正手段１１３へ出力する。

【００２２】なお、画像変化の算出は画素単位でなく、
複数の画素をまとめて算出してもよい。例えば、ｍ×ｎ
画素の矩形領域の画像変化を算出する場合、各画素の変
化を算出し、矩形領域中に変化画素が一定数以上存在す
る時にこの矩形領域を変化領域とする。

【００２３】次に、距離計測手段１０９では、撮像手段
１０１で得られた複数の画像を用いてステレオ画像処理
により撮像されている物体までの距離分布を計測する。
ステレオ画像処理を用いた距離計測方法の例として、実
吉他著「三次元画像認識技術を用いた運転支援システ
ム」、自動車技術会学術講演会前刷９２４、ｐｐ１６９
−１７２（１９９２−１０）に記載の方法について図２
を用いて説明する。図２は本実施の形態１に係る侵入物
体検出装置における画像と小領域の関係を表わす模式図
である。なお、本発明は以下に説明する距離計測方法に
限定されるものではない。

【００２４】カメラ１０２と１０３は、水平方向に既知
の間隔で配置されており、カメラ１０２により撮影され
た画像を右画像２０１、カメラ１０３により撮影された
画像を左画像とする。まず、右画像２０１を、水平方向
にｍ、垂直方向にｎの合計（ｍ×ｎ）個の画素２０２か
ら成る小領域２０３毎に、左画像中を順次探索し、対応
する領域を決定していく。具体的には、左画像の中で右
画像２０１の小領域２０３の画像に類似する画像が存在
する可能性のある探索範囲において、水平方向にｍ、垂
直方向にｎの合計（ｍ×ｎ）個の画素２０２からなる探
索矩形領域を水平方向に１画素分移動させる度に、右画
像２０１の小領域２０３の画像と左画像の探索矩形領域
の画像との類似度評価値Ｂを求める。

【００２５】類似度評価値Ｂは、右画像２０１の小領域
２０３中のｉ番目の画素における輝度値をＬｉ、右画像
の探索矩形領域中のｉ番目の画素における輝度値をＲｉ
としたとき、（式２）によって求めることができる。

【数１】・・・・（式２）

【００２６】その結果、類似度評価値Ｂが最小になった
ときに左画像における探索小領域の位置を右画像２０１
の小領域２０３に対応する領域（以下「対応領域」とい
う）と判定して、右画像２０１の小領域２０３の座標Ｐ
と左画像の対応領域の座標ＰＬとのずれから視差ｄを
（式３）によって求め、それを出力する。ｄ＝ＰＬ−Ｐ・・・（式３）

【００２７】なお、右画像２０１の小領域２０３の画像
と左画像の探索小領域の画像との類似度評価値Ｂを求め
た上、右画像２０１の小領域２０３の座標Ｐと左画像の
対応領域の座標ＰＬとのずれから視差ｄを求める動作
は、右画像２０１の全ての小領域２０３に対して順次行
う。

【００２８】そして、以上のような処理によって右画像
２０１の小領域２０３毎に得られた視差ｄ（Ｘ，Ｙ）に
基づいて、カメラから撮影されている物体までの光軸方
向の距離Ｋ（Ｘ，Ｙ）[但し、０＜Ｘ≦Ｍ，０＜Ｙ≦
Ｎ］を、（式４）によって求め、小領域２０３毎の距離
を計測する。ここで、２ａはカメラ１０２とカメラ１０
３の設置間隔を表わし、ｆはカメラ１０２およびカメラ
１０３のレンズの焦点距離を表わす。Ｋ（Ｘ，Ｙ）＝２ａｆ／ｄ（Ｘ，Ｙ）・・・・（式４）

【００２９】次に、侵入物体検出手段１１１では、距離
計測手段１０９により計測された物体までの距離分布デ
ータ１１０を用いて、検知空間内の侵入物体を検出す
る。

【００３０】まず、ある基準時刻における距離分布Ｋ
（Ｘ，Ｙ）を基準距離分布Ｋ０（Ｘ，Ｙ）として記憶す
る。ここで、基準時刻として、検知空間内に侵入物体が
存在しない任意の時刻が選択される。そして、この基準
距離分布Ｋ０（Ｘ，Ｙ）と基準時刻以降に得られる距離
分布Ｋ（Ｘ，Ｙ）を比較して、（式５）を満たす小領域
２０３中に侵入物体が存在していると判定する。Ｋ（Ｘ，Ｙ）＜Ｋ０（Ｘ，Ｙ）・・・・（式５）

【００３１】さらに、（式５）を満たす各小領域の中か
ら同一の物体が存在している小領域を選択し各小領域に
存在する物体を識別するための物体番号を付けていく。
（式５）を満たす小領域の距離分布Ｋ（Ｘ，Ｙ）と隣接
する小領域のうち（式５）を満たす小領域の距離分布と
を比較する。隣接する小領域の距離分布をＫ（Ｘ＋１，
Ｙ）とし、所定の閾値をＫＴＨとすると、｜Ｋ（Ｘ，Ｙ）−Ｋ（Ｘ＋１，Ｙ）｜＜ＫＴＨ・・・・（式６）を満たす時に、この２つの小領域（Ｘ，Ｙ）と（Ｘ＋
１，Ｙ）には同一の物体が存在していると判定する。そ
して、この２つの小領域に同じ物体番号を付ける。物体
番号の分布をＯＢＪ（Ｘ，Ｙ）とすると、ＯＢＪ（Ｘ，Ｙ）＝ＯＢＪ（Ｘ＋１，Ｙ）＝ＮＵＭ・・・・（式７）である。ここで、ＮＵＭは自然数であり、検知空間内に
存在する侵入物体を識別するために物体毎に与えられた
番号である。また、（式５）を満たさない小領域ではＯ
ＢＪ（Ｘ，Ｙ）＝０とする。画像全体に対してこの操作
を行い物体番号の分布ＯＢＪ（Ｘ，Ｙ）を算出し、侵入
物体検出結果１１２として検出結果補正手段１１３へ出
力する。検出結果補正手段１１３では、画像変化算出手
段１０８を用いて侵入物体検出結果１１２である物体番
号の分布ＯＢＪ（Ｘ，Ｙ）を補正する。

【００３２】変化比率算出手段１１４では、各侵入物体
が存在している領域内に含まれる画素のうち基準画像と
の変化があった画素の比率ＣＲを算出する。物体番号の
分布ＯＢＪ（Ｘ，Ｙ）中で各物体番号が付けられている
小領域群を抽出し、画像変化算出結果１０８である画像
変化分布Ｃ（ｉ，ｊ）を参照して、各小領域群に含まれ
る画素において画像変化分布Ｃ（ｉ，ｊ）＝１となる画
素数を数えて、物体毎に画素の変化比率ＣＲを算出す
る。そして、誤検出除去手段１１５では、物体毎の変化
比率ＣＲと所定の閾値ＣＲＴＨを比較し、ＣＲ≦ＣＲＴＨ・・・・（式８）を満たす物体は誤検出であると判定とし、（式８）を満
たす物体が存在している小領域の物体番号分布をＯＢＪ
（Ｘ，Ｙ）＝０とする。

【００３３】また、近接物体抽出手段１１６では、物体
番号分布ＯＢＪ（Ｘ、Ｙ）と距離分布Ｋ（Ｘ，Ｙ）から
近接する複数の物体を抽出する。物体番号分布ＯＢＪ
（Ｘ-，Ｙ）において各番号が付けられている小領域群
の重心の座標（ＸＣ、ＹＣ）および、小領域群の距離分
布Ｋ（Ｘ，Ｙ）から平均距離Ｋａｖｅを算出し、各物体
のＸＣ、ＹＣ、Ｋａｖｅを比較する。物体番号Ｓが付け
られている小領域群の重心座標を（ＸＣＳ，ＹＣＳ）、
平均距離をＫａｖｅＳとし、物体番号Ｔが付けられてい
る小領域群の重心座標を（ＸＣＴ、ＹＣＴ）、平均距離
をＫａｖｅＴとすると、（式９）〜（式１１）を満た
す、番号Ｓの物体と番号Ｔの物体は隣接していると判定
する。｜ＸＣＳ−ＸＣＴ｜＜ＸＴＨ・・・・（式９）｜ＹＣＳ−ＹＣＴ｜＜ＹＴＨ・・・・（式１０）｜ＫａｖｅＳ−ＫａｖｅＴ｜＜ＫａｖｅＴＨ・・・・（式１１）ここで、ＸＴＨ，ＹＴＨ，ＫａｖｅＴＨは所定の閾値で
ある。そして、近接している物体の番号を同一物体判定
手段１１７へ出力する。

【００３４】同一物体判定手段１１７は、画像変化算出
結果１０８を用いて近接している物体が同一の物体であ
るかを判定する。まず、画像変化算出結果１０８である
画像変化分布Ｃ（ｉ，ｊ）において変化画素群に番号付
けを行う。隣接する変化画素には同じ番号を付け、変化
画素のかたまり毎に異なる番号が付けられるようにす
る。これにより変化画素のかたまりである小領域群（後
出の図３に符号３０１で示してある）ができる。

【００３５】そして、図３のように、隣接物体として判
定された物体の各小領域群３０１に付けられた変化画素
群番号が同じであるかを調べる。図３は本発明の実施の
形態１に係る侵入物体検出装置における同一物体判定手
段の動作を説明する模式図である。この、同一物体判定
手段の動作の結果、隣接物体として判定された物体の各
小領域群３０１に付けられた変化画素群番号が同じであ
る時には、隣接物体の間の領域３０２中の変化画素比率
ＣＲを変化比率算出手段１１４と同様の方法で算出し、ＣＲ≧ＣＲＴＨ２・・・・（式１２）を満せば、隣接物体が同一の物体であると判定する。こ
こで、ＣＲＴＨ２は所定の閾値である。なお、隣接物体
間領域３０２は、図３ではＸ軸方向は複数の隣接物体小
領域群ではさまれた範囲、Ｙ軸方向は複数の隣接物体小
領域群が重複している範囲を設定したが、どのような方
法で範囲を設定してもよい。その後、同一物体と判定さ
れた隣接物体は各小領域群の物体番号分布ＯＢＪ（Ｘ，
Ｙ）が同じ番号に付け替えられ、さらに、隣接物体間の
小領域にも同じ物体番号が付けられ、補正された侵入物
体情報１１９として基準画像更新手段１２０へ出力され
る。

【００３６】最後に、基準画像更新手段１２０では、基
準画像を更新するかを判定して、更新を行う。更新判定
手段１２１では、新たに基準画像が作られた時にタイマ
を０にセットしてスタートする。タイマが所定の時間を
過ぎると、補正された侵入物体情報１１９を参照し、検
知空間内に侵入物体が存在しなければ基準画像更新を行
うと判定する。更新手段１２２では、更新判定手段１２
１で更新を行うと判定されると、カメラ１０２から得ら
れた画像１０４を基準画像記憶手段１０５に記憶する。

【００３７】（実施の形態２）図４は、本発明の実施の
形態２に係る侵入物体検出装置の構成を示すブロック図
である。図４において、符号１０１は所定の検知空間を
俯瞰撮影する撮像手段、１０２と１０３は撮像手段１０
１を構成するカメラ、１０９は撮像手段１０１で得られ
る複数の画像を用いてステレオ画像処理により物体まで
の距離分布を計測する距離計測手段、１１０は距離計測
手段１０９で計測された物体までの距離分布データであ
り、これらの構成は上記第１の実施の形態における構成
を同じである。４０１は距離分布データ１１０から検知
空間内の物体を検出する物体検出手段、４０２は物体検
出手段４０１で検出された物体の分布、４０３は物体検
出手段４０１で検出された物体を検知空間内に設定した
平面上へ投影する投影手段、４０４は投影手段４０３で
基準時刻に作成された投影像を記憶する基準投影像記憶
手段、４０５は基準投影像記憶手段４０４に記憶されて
いる基準投影像、４０６は投影手段４０３で基準時刻以
降に作成された投影像、４０７は基準投影像４０５と投
影像４０６を比較し侵入物体を判定する侵入物体判定手
段である。

【００３８】次に、本実施の形態２における動作につい
て詳細に説明する。撮像手段１０１および距離計測手段
１０９は実施の形態１と同様の動作が行われる。

【００３９】物体検出手段４０１では、検知空間の地面
までの距離分布Ｋ０（Ｘ，Ｙ）を予め計測しておく。そ
して、距離計測手段１０９で計測された距離分布Ｋ
（Ｘ，Ｙ）と地面までの距離分布Ｋ０（Ｘ，Ｙ）を比較
して、Ｋ（Ｘ，Ｙ）＜Ｋ０（Ｘ，Ｙ）・・・・（式１３）を満たす小領域（Ｘ，Ｙ）に物体が存在していると判定
する。さらに、（式１３）を満たす小領域において物体
の有無を表わす分布ＳＴ（Ｘ，Ｙ）＝１し、それ以外の
小領域においてはＳＴ（Ｘ，Ｙ）＝０とする。

【００４０】投影手段４０３では、物体検出手段４０１
で検出された物体を検知空間内に設定した平面上へ投影
する。投影手段の動作の例として、投影平面として検知
空間内の地面を設定した場合について説明するが、投影
平面は検知空間内に自由に設定してよい。

【００４１】図５は本発明の実施の形態２に係る侵入物
体検出装置における投影手段の動作を説明する図であ
る。図５（ａ）は投影手段の動作に際しての撮像カメラ
の設置の態様を示す図である。図５（ａ）に示すよう
に、カメラの撮像面のＸ軸と実空間のＵ軸とが平行にな
るようにカメラを設置し、検知空間５０１中に存在する
物体５０２を撮影する。このとき、物体検出手段４０１
で物体が検出された小領域（Ｘ１，Ｙ１）を投影平面５
０４上へ投影するために、（Ｘ１，Ｙ１）に撮像されて
いる物体のＶ軸方向の位置Ｖ（Ｘ１，Ｙ１）を算出す
る。図５（ｂ）は撮像されている物体のＶ軸方向の位置
Ｖを算出する手順を説明する図である。Ｖ軸方向の位置
は図５（ｂ）から、

【数２】・・・・（式１４）として算出できる。ここで、Ｈｃはカメラ設置高であ
る。つまり、小領域（Ｘ１，Ｙ１）の物体はＶ（Ｘ１，
Ｙ１）の地面（投影平面）上に投影されることになる。
次に、投影された地面の位置が撮像されている小領域の
座標（Ｘ２，Ｙ２）を算出する。Ｘ軸とＵ軸が平行であ
ればＸ２＝Ｘ１とみなすことができ、また、投影された
位置のＶ座標Ｖ（Ｘ１，Ｙ１）から、Ｋｓ＝Ｖ（Ｘ１，Ｙ１）×ｃｏｓθ＋Ｈｃ×ｓｉｎθ ・・・・（式１５）により投影された位置までの光軸方向の距離Ｋｓを算出
し、地面までの距離分布Ｋ０が、ｋ０（Ｘ１，Ｙ２）＝Ｋｓ・・・・（式１６）となるＹ２を求める。そして、このとき小領域（Ｘ１，
Ｙ１）に撮像されている物体は小領域（Ｘ２，Ｙ２）に
撮像されている地面上へ投影されることになるので、投
影像ＴＺ（Ｘ２，Ｙ２）＝１とする。ただし、物体が投
影されなかった小領域では投影像ＴＺ（Ｘ，Ｙ）＝０で
ある。この操作を画像全体の画像全体のＳＴ（Ｘ、Ｙ）
＝１である小領域に対して行って物体の投影像ＴＺ
（Ｘ，Ｙ）を作成する。

【００４２】基準投影像記憶手段４０４では、基準時刻
に作成された投影像を基準投影像４０５として記憶して
おく。そして、侵入物体判定手段４０７では、基準時刻
以降に作成された投影像４０６と基準投影像４０５を比
較する。基準投影像をＴＺ０（Ｘ，Ｙ）とすると、ＴＺ０（Ｘ，Ｙ）＝０・・・・（式１７）ＴＺ（Ｘ，Ｙ）＝１・・・・（式１８）を満たす小領域に投影された物体が侵入物体であると判
定する。そして、ＴＺ（Ｘ，Ｙ）＝ＴＺ０（Ｘ，Ｙ）＝１・・・・（式１９）を満たす小領域に投影された物体は既存の物体であると
判定し、投影元の物体が存在していた小領域（Ｘ、Ｙ）
の物体分布をＳＴ（Ｘ，Ｙ）＝０とする。

【００４３】

【発明の効果】以上のように、本発明によれば、ステレ
オ画像処理により検出した侵入物体の情報を画像変化分
布を用いて補正するので、侵入物体の誤検出を削減で
き、また、複数に分割して検出された侵入物体の情報を
結合して一つの物体として検出できる。さらに、検出し
た物体を空間内の平面に投影して投影像上で既存の物体
か侵入物体かを判定するので、侵入物体だけを精度良く
検出することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る侵入物体検出装置
の構成を示すブロック図

【図２】本発明の実施の形態１に係る侵入物体検出装置
における画像と小領域の関係を表わす模式図

【図３】本発明の実施の形態１に係る侵入物体検出装置
における同一物体判定手段の動作を説明する模式図

【図４】本発明の実施の形態２に係る侵入物体検出装置
の構成を示すブロック図

【図５】本発明の実施の形態２に係る侵入物体検出装置
における投影手段の動作を説明する図であり、（ａ）撮像空間の座標系と実空間の座標系の関係を表わ
す模式図（ｂ）物体を地面上へ投影する動作を説明する模式図

【図６】従来技術の侵入物体検出方法を説明する模式図

【符号の説明】

１０１撮像手段１０２、１０３カメラ１０４画像１０５基準画像記憶手段１０６基準画像１０７画像変化算出手段１０８画像変化算出結果１０９距離計測手段１１０距離分布１１１侵入物体検出手段１１２侵入物体情報１１３検出結果補正手段１１４変化比率算出手段１１５誤検出除去手段１１６近接物体抽出手段１１７同一物体判定手段１１８物体結合手段１９補正された侵入物体情報１２０基準画像更新手段１２１更新判定手段１２２更新手段２０１右画像２０２画素２０３小領域３０１小領域群３０２物体間領域４０１物体検出手段４０２物体検出分布４０３投影手段４０４基準投影像記憶手段４０５基準投影像４０６投影像４０７侵入物体判定手段５０１検知空間５０２物体５０３画像５０４投影平面６０１検知空間６０２立方格子６０３既存物体領域６０４侵入物体領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者鈴木良静岡県浜松市元城町216−18 株式会社松下通信静岡研究所内Ｆターム(参考） 5B057 AA19 DA07 DB03 DC04 DC14 DC32 5C022 AA05 AB06 AB15 AB30 AB61 AB62 AB65 AC42 AC69 CA00 5C054 AA01 AA05 CA04 CC05 CG02 CH01 EA05 EF06 FA09 FC13 FE28 FF06 HA18 HA19 5C061 AA13 AB04 AB08 AB12

Claims

【特許請求の範囲】

【請求項１】複数のカメラで所定の検知空間を俯瞰撮
影し、基準時刻に得られるいずれか１つのカメラの画像
を基準画像として記憶し、基準画像と基準時刻以降に得
られる同じカメラの画像とを比較して画像変化を算出
し、複数のカメラから得られる画像を用いてステレオ画
像処理で撮像されている物体までの距離分布を計測し、
計測された距離分布から検知空間内の侵入物体を検出
し、基準画像との画像変化の算出結果を用いて検出され
た侵入物体の情報を補正し、所定の条件を満たす時に基
準画像を更新する、ことを特徴とする侵入物体検出方
法。
【請求項２】侵入物体の情報を補正する処理段階で
は、検出された物体が撮像されている画像領域内で、基
準画像との画像変化があった領域の比率を算出し、変化
領域の比率が予め定めた比率以下である場合に、検出さ
れた物体を侵入物体と判定しない、ことを特徴とする請
求項１記載の侵入物体検出方法。
【請求項３】侵入物体の情報を補正する処理段階で
は、検出された物体の距離および画像上での水平位置お
よび垂直位置が近い位置にある複数の物体を抽出し、抽
出された複数の物体が撮像されている画像領域およびそ
の間の領域内での基準画像との画像変化領域の分布から
複数の物体が同一の物体であるかを判定し、同一である
場合に複数の物体を結合する、ことを特徴とする請求項
１または請求項２に記載の侵入物体検出方法。
【請求項４】基準画像を更新する処理段階では、新た
な基準画像が作成されてから一定時間以上経過し、かつ
侵入物体が検出されなかった時に基準画像を更新する、
ことを特徴とする請求項１から請求項３のいずれかに記
載の侵入物体検出方法。
【請求項５】複数のカメラで所定の検知空間を俯瞰撮
影し、複数のカメラから得られる画像を用いてステレオ
画像処理で撮像されている物体までの距離分布を計測
し、計測された距離分布から検知空間内の物体を検出
し、基準時刻において検出された物体を検知空間内に設
定した平面上に投影して基準投影像を作成し、基準投影
像と基準時刻以降に順次作成される投影像とを比較して
検出された物体が侵入物体であるかを判定する、ことを
特徴とする侵入物体検出方法。
【請求項６】所定の検知空間を俯瞰撮影する複数のカ
メラから成る撮像手段と、基準時刻に得られるいずれか
１つのカメラの画像を記憶する基準画像記憶手段と、前
記基準画像を撮影したカメラから基準時刻以降に得られ
る画像と前記基準画像記憶手段に記憶されている画像と
を比較して画像変化を算出する画像変化算出手段と、前
記複数のカメラから得られる画像を用いてステレオ画像
処理で撮像されている物体までの距離分布を計測する距
離計測手段と、前記距離計測手段で計測された距離分布
から検知空間内に侵入した物体を検出する侵入物体検出
手段と、前記画像変化算出手段で得られた画像変化算出
結果を用いて前記侵入物体検出手段で得られた侵入物体
検出結果を補正する検出結果補正手段と、所定の条件を
満たす時に基準画像を更新する基準画像更新手段とを備
えていることを特徴とする侵入物体検出装置。
【請求項７】検出結果補正手段が、画像変化算出手段
で得られた画像変化算出結果から侵入物体検出手段で検
出された物体が撮像されている画像領域内における画像
変化領域の比率を算出する変化比率算出手段と、前記変
化比率算出手段で算出された画像変化領域の比率が予め
定めた比率以下である場合に前記物体を侵入物体として
扱わない誤検出除去手段とを備えていることを特徴とす
る請求項６記載の侵入物体検出装置。
【請求項８】検出結果補正手段が、侵入物体検出手段
で検出された侵入物体までの距離および画像上での水平
位置および垂直位置が近い位置にある複数の物体を抽出
する近接物体抽出手段と、前記近接物体抽出手段で抽出
された複数の物体が撮像されている領域および前記複数
の物体が撮像されている間の領域における画像変化算出
手段で算出された画像変化算出結果を用いて前記複数の
物体が同一の物体であるかを判定する同一物体判定手段
と、前記同一物体判定手段で同一の物体であると判定さ
れた前記複数の物体の情報を結合する物体結合手段とを
備えていることを特徴とする請求項６または請求項７に
記載の侵入物体検出装置。
【請求項９】基準画像更新手段が、新たな基準画像が
作成されてからの時間と検出された侵入物体の数から基
準画像を更新するか判定する更新判定手段と、前記更新
判定手段で更新すると判定された時に基準画像を更新す
る更新手段とを備えていることを特徴とする請求項６か
ら請求項８のいずれかに記載の侵入物体検出装置。
【請求項１０】所定の検知空間を俯瞰撮影する複数の
カメラから成る撮像手段と、前記複数のカメラから得ら
れる画像を用いてステレオ画像処理で撮像されている物
体までの距離分布を計測する距離計測手段と、前記距離
計測手段で計測された距離分布から検知空間内の物体を
検出する物体検出手段と、前記物体検出手段で検出され
た物体を検知空間内に設定した平面上へ投影する投影手
段と、基準時刻において前記投影手段で作成された投影
像を記憶する基準投影像記憶手段と、前記基準投影像記
憶手段に記憶されている基準時刻の投影像と基準時刻以
降に順次作成される投影像を比較して侵入物体を判定す
る侵入物体判定手段とを備えていることを特徴とする侵
入物体検出装置。