JP2002024808A - 静止障害物検出方式及びその装置 - Google Patents

静止障害物検出方式及びその装置

Info

Publication number
JP2002024808A
JP2002024808A JP2000206289A JP2000206289A JP2002024808A JP 2002024808 A JP2002024808 A JP 2002024808A JP 2000206289 A JP2000206289 A JP 2000206289A JP 2000206289 A JP2000206289 A JP 2000206289A JP 2002024808 A JP2002024808 A JP 2002024808A
Authority
JP
Japan
Prior art keywords
image
obstacle
correlation value
small
sampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000206289A
Other languages
English (en)
Other versions
JP4254022B2 (ja
Inventor
Takashi Igarashi
貴 五十嵐
Makoto Niwakawa
誠 庭川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP2000206289A priority Critical patent/JP4254022B2/ja
Publication of JP2002024808A publication Critical patent/JP2002024808A/ja
Application granted granted Critical
Publication of JP4254022B2 publication Critical patent/JP4254022B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 静止した単一カメラの画像を処理することに
より、道路又は通路において移動物体を含む環境下で落
下物のような正常な状態では存在せず通行の妨げとなる
ような静止した障害物を検出する方法及び装置を提供す
るものである。 【解決手段】 動画像からサンプリングした画像を小領
域に切り分け、一つ一つの小領域について予め準備した
移動物体を含まず障害物の存在しない背景画像の対応す
る小領域との正規化相関値の計算を一定時間ごとにサン
プリングされる画像に対して繰り返し行って、その相関
値の変化状態を一定の閾値で判定することにより、路上
の静止障害物を検出することを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、静止障害物検出方
式及びその装置に関する。詳しくは、静止した単一カメ
ラの画像を処理することにより、道路又は通路において
移動物体を含む環境下で落下物のような正常な状態では
存在せず通行の妨げとなるような静止した障害物を検出
する方法及びその装置に関するものである。
【0002】
【従来の技術】道路や建物内の異常等を非接触で検出す
る技術として画像処理技術がある。また、障害物検出の
技術としては、車両や移動ロボットなどそれ自身が移動
しながら進行方向の障害物を検出するものが多いが、こ
れらは移動しない状態でも障害物の検出が可能である。
【0003】これらはステレオカメラ、超音波センサ、
レーザなどを用いて距離を計測することで3次元の凹凸
を把握し、路面や床面より高い位置にある場合に障害物
があると判断するものである。これにより路上の移動・
静止物体が検出される。
【0004】また、静止した単一カメラの画像を処理す
る背景差分法としては、落下物などのない状態で移動物
体を含まない背景画像を予め用意しておき、この背景画
像と現在の画像の差分をとって差の大きい領域には背景
には含まれない物体が存在すると判断するものがある
(参考文献:画像処理産業広用総覧下巻)。これにより
背景にない物体が、移動しているいないに関わらず抽出
される。
【0005】いずれの方法も移動・静止物体の双方を検
出するものであるが、単位時間ごとに繰り返し行うこと
により、移動物体であるか静止物体であるかの区別は可
能である。後述の画像処理による方法は、移動物体の検
出に関する研究が多くなされており、背景画像を適宜更
新することにより環境変化に対応し、安定して移動物体
を検出するといった研究もある。
【0006】
【発明が解決しようとする課題】移動体の障害物検出で
よく用いられる距離を計測する方法では、路面との高さ
の違いによって物体が存在するかどうかを判定すること
になるため、板、布、紙といった厚みのあまりないもの
に関しては検出が難しい。また、画像処理を用いる方法
では、天候や時間による明るさや見え方の変化によって
背景画像も変化していくため、単純な背景差分では障害
物のみを抽出することは困難である。これに対応するた
め、移動物体の検出を行う場合には背景を適宜更新して
いく方法がとられるが、この方法では始めの背景画像に
は存在しない静止障害物も更新時に背景画像として取り
込んでしまうため、静止障害物は検出できなくなってし
まう。
【0007】
【課題を解決するための手段】上記課題を解決する本発
明の請求項1に係る静止障害物検出方式及びその装置
は、動画像からサンプリングした画像を小領域に切り分
け、一つ一つの小領域について予め準備した移動物体を
含まず障害物の存在しない背景画像の対応する領域との
正規化相関値の計算を一定時間ごとにサンプリングされ
る画像に対して繰り返し行って、その相関値の変化状態
を一定の閾値で判定することにより、路上の静止障害物
を検出することを特徴とする。
【0008】上記課題を解決する本発明の請求項2に係
る静止障害物検出方式及びその装置は、動画像からサン
プリングした画像を小領域に切り分け、一つ一つの小領
域について予め準備した移動物体を含まず障害物の存在
しない背景画像の対応する領域との正規化相関値の計算
を一定時間ごとにサンプリングされる画像に対して繰り
返し行って、その相関値の変化状態を閾値で判定し、ま
た、その判定に基づいて背景画像の更新も適宜行いなが
ら、路上の静止障害物を検出することを特徴とする。
【0009】上記課題を解決する本発明の請求項3に係
る静止障害物検出方式及びその装置は、動画像からサン
プリングした画像を小領域に切り分け、一つ一つの小領
域について予め準備した移動物体を含まず障害物の存在
しない背景画像の対応する領域との正規化相関値の計算
を一定時間ごとにサンプリングされる画像に対して繰り
返し行って、その相関値の変化状態をその小領域の画像
の輝度値に応じて設定される閾値で判定することによ
り、路上の静止障害物を検出することを特徴とする。
【0010】上記課題を解決する本発明の請求項4に係
る静止障害物検出方式及びその装置は、静止した単一の
撮像装置により時系列的に取り込まれた画像と、予め前
記撮像装置で取り込まれた移動物体を含まず障害物の存
在しない背景画像とを小領域毎に正規化相関値により比
較し、正規相関値の大きさが一定以上大きく、正規相関
値の変化量が小さい状態が一定期間継続している小領域
についてはの静止障害物があると判断することを特徴と
する。
【0011】
【発明の実施の形態】1)基本的な考え方 本方式は、図1に示すように、移動物体を含む動画像か
らサンプリングした画像(現在の画像)を小領域に切り
分け、一つ一つの小領域について予め準備した移動物体
を含まず、障害物の存在しない背景画像の対応する小領
域との正規化相関を計算することを、一定時間ごとにサ
ンプリングされる画像に対して繰り返す。図1は、画像
を縦横に分割して小領域(高さL、幅K)としたもので
ある。正規化相関の計算式は、例えば、式(1)があ
る。
【0012】
【数1】
【0013】ある小領域についてその相関値の時間変化
をグラフにした例を図2に示す。図2の区間Aに示すよ
うに、ある小領域についてこの相関値の変化量が大きけ
れば、移動物体が通過中であると判断し、また、図2の
区間B、Cに示すように、相関値の変化量が小さい状態
が一定回数以上連続すれば、その小領域に写っているの
は背景であると判断できる。このようにして背景と見な
された小領域の相関値が、図2の区間Bに示すように、
1に近い値であれば、予め準備した背景画像の対応する
小領域と同じ画像であることになる。
【0014】しかし、図2の区間Cに示すように、ある
閾値より小さければ、この小傾城には予め準備した背景
画像には写っていない静止物体が存在すると判断でき
る。そこで、図3のフローチャートに示すように、先
ず、移動物体を含む動画像からサンプリングした現在の
画像を取り込み(ステップS1)、次いで、相関計算の
済んでいない小領域を選択し(ステップS2)、その小
領域について背景画像との正規化相関を式(1)に従っ
て計算する(ステップS3)。
【0015】そして、計算した相関値の時間的な変化量
が小さく(ステップS4)、その小さな変化量がN(N
は自然数)回連続し(ステップS5)、かつ、相関値が
1に近くないとき(ステップS6)、その小領域におい
て静止障害物が検出したと判断する(ステップS7)。
尚、計算した相関値の時間的な変化量が小さくないか
(ステップS4)、小さな変化量がN(Nは自然数)回
連続しないか(ステップS5)、或いは、相関値が1に
近いとき(ステップS6)、その小領域において静止障
害物が検出されないことになる。
【0016】その後、全領域について上述した判断が済
んでいない場合は(ステップS8)、相関計算の済んで
いない小領域の選択(ステップS2)へ戻り、全領域に
ついて、上述した判断を繰り返す。
【0017】2)背景画像の更新 基本的な考え方で説明したように、相関値の変化量が小
さい状態が一定回数以上連続し相関値が1に近い値とな
った小領域について、現在の画像の小領域を背景画像の
対応する小領域と置き換えることにより、背景画像を更
新する。
【0018】即ち、図4のフローチャートに示すよう
に、先ず、移動物体を含む動画像からサンプリングした
現在の画像を取り込み(ステップT1)、次いで、相関
計算の済んでいない小領域を選択し(ステップT2)、
その小領域について背景画像との正規化相関を式(1)
に従って計算する(ステップT3)。
【0019】そして、計算した相関値の時間的な変化量
が小さく(ステップT4)、その小さな変化量がN(N
は自然数)回連続し(ステップT5)、かつ、相関値が
1に近くないとき(ステップT6)、その小領域におい
て静止障害物が検出したと判断する(ステップT7)。
【0020】一方、計算した相関値の時間的な変化量が
小さく(ステップT4)、その小さな変化量がN(Nは
自然数)回連続し(ステップT5)、かつ、相関値が1
に近いとき(ステップT6)、その小領域の画像を背景
に上書き、つまり、置き換えることにより、背景画像を
更新する(ステップT9)。その後、全領域について上
述した判断が済んでいない場合は(ステップT8)、相
関計算の済んでいない小領域の選択(ステップT2)へ
戻り、全領域について、上述した判断を繰り返す。
【0021】3)閾値の設定 正規化相関の計算式は、例えば、式(1)に示すとおり
であるが、この式の分母(以後Dと呼ぶ)がそれぞれの
画像領域の輝度値の2乗和の平方根の積であるため、輝
度値の小さい暗い領域では明るい領域に比べて、量子化
誤差及びノイズによる輝度値の変化の影響が大きく現れ
ることになる。
【0022】そこで、正規化相関値から計算した値を閾
値と比較して判定を行う場合には、閾値を一定値とせ
ず、Dの関数として設定することで、領域の明暗による
量子化誤差及びノイズの影響の違いを吸収できる。ここ
では、そのような閾値として、正規化相関値の変化量の
大小を判定する閾値v(i,j)と背景画像との一致度
(正規化相関値が1に十分近いかどうか)を判定する閾
値W(i,j)の2つがある。これらの閾値を、例えば
それぞれ式(2)、(3)に示すように設定する。
【0023】
【数2】
【0024】
【発明の効果】以上、実施例に基づいて具体的に説明し
たように、本発明によれば、以下の効果を奏する。 (1)カメラ映像中の静止した路上障害物を検出でき
る。 (2)正規化相関を使うことで明るさの変動による誤検
出が減る。 (3)板、布、紙といった厚みの小さいものも検出でき
る。 (4)背景画像を適宜更新すれば、時刻による影の移動
や、天候、時間によるゆっくりとした背景変化を誤って
検出する確率を減らすことができる。 (5)背景画像の更新に際して静止障害物を背景画像に
取り込むことを防げる。 (6)ノイズや量子化誤差の影響を小領域の明暗によら
ず均等化できるので、より安定した検出が可能になる。
【図面の簡単な説明】
【図1】小領域に区分された現在の画像と背景画像とを
示す説明図である。
【図2】背景画像との正規化相関値時間推移を示すグラ
フである。
【図3】静止障害物を検出するフローチャートである。
【図4】障害物を検出すると共に背景更新を行うフロー
チャートである。
【符号の説明】
A,B,C 区間
フロントページの続き Fターム(参考) 5B057 AA16 BA19 CE09 CF03 CH11 DA02 DA07 DB02 5C054 AA01 AA05 CA04 EA01 EA05 FC03 FC12 HA26

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 動画像からサンプリングした画像を小領
    域に切り分け、一つ一つの小領域について予め準備した
    移動物体を含まず障害物の存在しない背景画像の対応す
    る領域との正規化相関値の計算を一定時間ごとにサンプ
    リングされる画像に対して繰り返し行って、その相関値
    の変化状態を一定の閾値で判定することにより、路上の
    静止障害物を検出することを特徴とする静止障害物検出
    方式及びその装置。
  2. 【請求項2】 動画像からサンプリングした画像を小領
    域に切り分け、一つ一つの小領域について予め準備した
    移動物体を含まず障害物の存在しない背景画像の対応す
    る領域との正規化相関値の計算を一定時間ごとにサンプ
    リングされる画像に対して繰り返し行って、その相関値
    の変化状態を閾値で判定し、また、その判定に基づいて
    背景画像の更新も適宜行いながら、路上の静止障害物を
    検出することを特徴とする静止障害物検出方式及びその
    装置。
  3. 【請求項3】 動画像からサンプリングした画像を小領
    域に切り分け、一つ一つの小領域について予め準備した
    移動物体を含まず障害物の存在しない背景画像の対応す
    る領域との正規化相関値の計算を一定時間ごとにサンプ
    リングされる画像に対して繰り返し行って、その相関値
    の変化状態をその小領域の画像の輝度値に応じて設定さ
    れる閾値で判定することにより、路上の静止障害物を検
    出することを特徴とする静止障害物検出方式及びその装
    置。
  4. 【請求項4】 静止した単一の撮像装置により時系列的
    に取り込まれた画像と、予め前記撮像装置で取り込まれ
    た移動物体を含まず障害物の存在しない背景画像とを小
    領域毎に正規化相関値により比較し、正規相関値の大き
    さが一定以上大きく、正規相関値の変化量が小さい状態
    が一定期間継続している小領域についてはの静止障害物
    があると判断することを特徴とする静止障害物検出方式
    及びその装置。
JP2000206289A 2000-07-07 2000-07-07 静止障害物検出方式 Expired - Fee Related JP4254022B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000206289A JP4254022B2 (ja) 2000-07-07 2000-07-07 静止障害物検出方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000206289A JP4254022B2 (ja) 2000-07-07 2000-07-07 静止障害物検出方式

Publications (2)

Publication Number Publication Date
JP2002024808A true JP2002024808A (ja) 2002-01-25
JP4254022B2 JP4254022B2 (ja) 2009-04-15

Family

ID=18703238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000206289A Expired - Fee Related JP4254022B2 (ja) 2000-07-07 2000-07-07 静止障害物検出方式

Country Status (1)

Country Link
JP (1) JP4254022B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348732A (ja) * 2003-05-21 2004-12-09 Mitsubishi Electric Research Laboratories Inc シーンの背景を表現する背景画像を適応的に更新する方法
JP2009146337A (ja) * 2007-12-18 2009-07-02 Kyosan Electric Mfg Co Ltd 車両存否判定装置、車両存否判定方法及びプログラム
JP2009169718A (ja) * 2008-01-17 2009-07-30 Meidensha Corp 画像処理による環境適応型侵入者検知装置
JP2010079561A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 警告装置及び警告方法
JP2010114916A (ja) * 2004-11-02 2010-05-20 Cascade Microtech Inc ディジタル撮像システムにおける画像中の障害物除去方法
JP2012089929A (ja) * 2010-10-15 2012-05-10 Canon Inc 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
CN108427424A (zh) * 2018-05-14 2018-08-21 珠海市微半导体有限公司 一种障碍物的检测装置、方法与移动机器人
CN113822593A (zh) * 2021-09-30 2021-12-21 中国第一汽车股份有限公司 一种安全态势评估方法、装置、存储介质及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018122135A1 (de) 2018-09-11 2020-03-12 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Antriebsanordnung für eine Klappe eines Kraftfahrzeugs

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348732A (ja) * 2003-05-21 2004-12-09 Mitsubishi Electric Research Laboratories Inc シーンの背景を表現する背景画像を適応的に更新する方法
JP4629364B2 (ja) * 2003-05-21 2011-02-09 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの背景を表現する背景画像を適応的に更新する方法
JP2010114916A (ja) * 2004-11-02 2010-05-20 Cascade Microtech Inc ディジタル撮像システムにおける画像中の障害物除去方法
JP2009146337A (ja) * 2007-12-18 2009-07-02 Kyosan Electric Mfg Co Ltd 車両存否判定装置、車両存否判定方法及びプログラム
JP2009169718A (ja) * 2008-01-17 2009-07-30 Meidensha Corp 画像処理による環境適応型侵入者検知装置
JP2010079561A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 警告装置及び警告方法
JP2012089929A (ja) * 2010-10-15 2012-05-10 Canon Inc 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
US9098748B2 (en) 2010-10-15 2015-08-04 Canon Kabushiki Kaisha Object detection apparatus, object detection method, monitoring camera system and storage medium
CN108427424A (zh) * 2018-05-14 2018-08-21 珠海市微半导体有限公司 一种障碍物的检测装置、方法与移动机器人
CN108427424B (zh) * 2018-05-14 2023-10-27 珠海一微半导体股份有限公司 一种障碍物的检测装置、方法与移动机器人
CN113822593A (zh) * 2021-09-30 2021-12-21 中国第一汽车股份有限公司 一种安全态势评估方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP4254022B2 (ja) 2009-04-15

Similar Documents

Publication Publication Date Title
EP0567059B1 (en) Object recognition system using image processing
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
US20090304229A1 (en) Object tracking using color histogram and object size
EP1329850A2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
JP2006302284A (ja) 2d画像ドメインデータを3d高密度レンジマップに変換するためのシステムおよび方法
US20080056534A1 (en) Object Detector
EP2993621B1 (en) Method and apparatus for detecting shielding against object
Hamzah et al. Sum of absolute differences algorithm in stereo correspondence problem for stereo matching in computer vision application
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
JP4631036B2 (ja) 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム
JP2002024808A (ja) 静止障害物検出方式及びその装置
KR20140144047A (ko) 실시간 도로 네트워크의 교통특성 정보 추정 시스템 및 방법
JP2009268005A (ja) 侵入物検知追跡装置
Siyal et al. A neural-vision based approach to measure traffic queue parameters in real-time
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
CN104504730B (zh) 一种对停放车辆及抛落物的区分方法
JP2536986B2 (ja) 車間距離検出装置
JP2016162096A (ja) 移動物体追跡装置
JPH05242399A (ja) 車間距離検出装置
US9001207B1 (en) Apparatus and method for motion detection in video
JPH06180749A (ja) 路上物体監視装置
KR101032098B1 (ko) 열적외선을 이용한 환경독립형 교통검지시스템
KR100994722B1 (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
KR101398684B1 (ko) 승강기 도어 개폐 감지 방법 및 장치
JP2002123820A (ja) 路上静止障害物検出方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4254022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees