JP2003051016A - 接近検出装置、接近検出方法、及び接近検出プログラム - Google Patents
接近検出装置、接近検出方法、及び接近検出プログラムInfo
- Publication number
- JP2003051016A JP2003051016A JP2002100567A JP2002100567A JP2003051016A JP 2003051016 A JP2003051016 A JP 2003051016A JP 2002100567 A JP2002100567 A JP 2002100567A JP 2002100567 A JP2002100567 A JP 2002100567A JP 2003051016 A JP2003051016 A JP 2003051016A
- Authority
- JP
- Japan
- Prior art keywords
- value
- detection
- approach
- optical flow
- addition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】 簡単な処理によって物体の接近を検出するこ
とができる接近検出装置を提供する。 【解決手段】 周囲の環境を時系列で撮像した画像に基
づいて物体への接近を検出する接近検出装置であって、
時間的に連続する少なくとも２枚の画像からオプティカ
ルフローを算出するオプティカルフロー算出手段と、画
像上の第１の選択領域において所定のフィルター関数を
用い、オプティカルフローの大きさに応じた値を加算し
て接近検出用加算値を算出する第１の加算手段と、画像
上の第２の選択領域においてフィルター関数を用い、オ
プティカルフローの大きさに応じた値を加算して振動検
出用加算値を算出する第２の加算手段と、接近検出用加
算値と振動検出用加算値との差が所定のしきい値を超え
た場合に、物体への接近を検出する状況判断手段とを備
える。
とができる接近検出装置を提供する。 【解決手段】 周囲の環境を時系列で撮像した画像に基
づいて物体への接近を検出する接近検出装置であって、
時間的に連続する少なくとも２枚の画像からオプティカ
ルフローを算出するオプティカルフロー算出手段と、画
像上の第１の選択領域において所定のフィルター関数を
用い、オプティカルフローの大きさに応じた値を加算し
て接近検出用加算値を算出する第１の加算手段と、画像
上の第２の選択領域においてフィルター関数を用い、オ
プティカルフローの大きさに応じた値を加算して振動検
出用加算値を算出する第２の加算手段と、接近検出用加
算値と振動検出用加算値との差が所定のしきい値を超え
た場合に、物体への接近を検出する状況判断手段とを備
える。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理によって
得られるオプティカルフローの情報に基づいて物体の接
近を検出することができる接近検出装置、接近検出方
法、及び接近検出プログラムに関する。
得られるオプティカルフローの情報に基づいて物体の接
近を検出することができる接近検出装置、接近検出方
法、及び接近検出プログラムに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】移動体
において、画像処理によって得られたオプティカルフロ
ーの情報に基づいて、衝突を回避する方法として、Ｌｅ
ｅが定式化した到達時間検出のアルゴリズムを用いたも
のが知られている（David N Lee(1976):A theory of vi
sual control of braking based on information about
time-to-collision. Perception,5,437-459）。これ
は、オプティカルフローの情報に基づいて現時点から物
体との衝突までの時間を求めるアルゴリズムである。移
動体にカメラを備え、得られた画像に基づきこのアルゴ
リズムを用いて画像処理を行えば、移動中の移動体にお
ける物体までの到達時間を求めることが可能となるた
め、移動体に対する物体の接近検出等に応用可能であ
る。
において、画像処理によって得られたオプティカルフロ
ーの情報に基づいて、衝突を回避する方法として、Ｌｅ
ｅが定式化した到達時間検出のアルゴリズムを用いたも
のが知られている（David N Lee(1976):A theory of vi
sual control of braking based on information about
time-to-collision. Perception,5,437-459）。これ
は、オプティカルフローの情報に基づいて現時点から物
体との衝突までの時間を求めるアルゴリズムである。移
動体にカメラを備え、得られた画像に基づきこのアルゴ
リズムを用いて画像処理を行えば、移動中の移動体にお
ける物体までの到達時間を求めることが可能となるた
め、移動体に対する物体の接近検出等に応用可能であ
る。
【０００３】しかしながら、この方法では、移動体が接
近していく過程における移動体自身の移動に伴う揺れが
考慮されていないため正確な接近度合いを求めることが
困難な場合がある。移動体には自己の移動に伴う揺れや
振動がともなうため移動体に備えられたカメラにより得
られた実環境の画像から算出したオプティカルフローに
は、接近方向の成分にヨー方向（水平方向）の振動成分
やピッチ方向（垂直方向）の振動成分等が含まれてい
る。オプティカルフローの情報に基づいて障害物との接
近を検出する際においては、これらの成分はノイズ成分
となり誤検出の原因になるという問題がある。本願出願
人は、先に特開平１１−１３４５０４号公報にて障害物
との接近を検出する方法を提案しているが、より精度の
高い衝突の検出、認識手法が要求されている。
近していく過程における移動体自身の移動に伴う揺れが
考慮されていないため正確な接近度合いを求めることが
困難な場合がある。移動体には自己の移動に伴う揺れや
振動がともなうため移動体に備えられたカメラにより得
られた実環境の画像から算出したオプティカルフローに
は、接近方向の成分にヨー方向（水平方向）の振動成分
やピッチ方向（垂直方向）の振動成分等が含まれてい
る。オプティカルフローの情報に基づいて障害物との接
近を検出する際においては、これらの成分はノイズ成分
となり誤検出の原因になるという問題がある。本願出願
人は、先に特開平１１−１３４５０４号公報にて障害物
との接近を検出する方法を提案しているが、より精度の
高い衝突の検出、認識手法が要求されている。
【０００４】本発明は、このような事情に鑑みてなされ
たもので、垂直または水平の振動成分を含む画像におい
ても簡単な処理によって物体の接近を高精度に検出する
ことができる接近検出装置、接近検出方法、及び接近検
出プログラムを提供することを目的とする。
たもので、垂直または水平の振動成分を含む画像におい
ても簡単な処理によって物体の接近を高精度に検出する
ことができる接近検出装置、接近検出方法、及び接近検
出プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】請求項１に記載の発明
は、周囲の環境を時系列で撮像した画像に基づいて物体
への接近を検出する接近検出装置であって、時間的に連
続する少なくとも２枚の画像からオプティカルフローを
算出するオプティカルフロー算出手段と、前記画像上の
第１の選択領域において所定のフィルター関数を用い、
前記オプティカルフローの大きさに応じた値を加算して
接近検出用加算値を算出する第１の加算手段と、前記画
像上の第２の選択領域において前記フィルター関数を用
い、前記オプティカルフローの大きさに応じた値を加算
して振動検出用加算値を算出する第２の加算手段と、前
記接近検出用加算値と前記振動検出用加算値との差が所
定のしきい値を超えた場合に、物体への接近を検出する
状況判断手段とを備えたことを特徴とする。この発明に
よれば、時間的に連続する少なくとも２枚の画像からオ
プティカルフローを算出するオプティカルフロー算出手
段と、前記画像上の第１の選択領域において所定のフィ
ルター関数を用い、前記オプティカルフローの大きさに
応じた値を加算して接近検出用加算値を算出する第１の
加算手段と、前記画像上の第２の選択領域において前記
フィルター関数を用い、前記オプティカルフローの大き
さに応じた値を加算して振動検出用加算値を算出する第
２の加算手段と、前記接近検出用加算値と前記振動検出
用加算値との差が所定のしきい値を超えた場合に、物体
への接近を検出する状況判断手段とを備えたため、所定
の選択領域におけるオプティカルフローの接近検出用加
算値と振動検出用加算値との差を求めるだけで、垂直ま
たは水平の振動成分を含む画像においても簡単な処理に
よって物体の接近を精度良く検出することができる。
は、周囲の環境を時系列で撮像した画像に基づいて物体
への接近を検出する接近検出装置であって、時間的に連
続する少なくとも２枚の画像からオプティカルフローを
算出するオプティカルフロー算出手段と、前記画像上の
第１の選択領域において所定のフィルター関数を用い、
前記オプティカルフローの大きさに応じた値を加算して
接近検出用加算値を算出する第１の加算手段と、前記画
像上の第２の選択領域において前記フィルター関数を用
い、前記オプティカルフローの大きさに応じた値を加算
して振動検出用加算値を算出する第２の加算手段と、前
記接近検出用加算値と前記振動検出用加算値との差が所
定のしきい値を超えた場合に、物体への接近を検出する
状況判断手段とを備えたことを特徴とする。この発明に
よれば、時間的に連続する少なくとも２枚の画像からオ
プティカルフローを算出するオプティカルフロー算出手
段と、前記画像上の第１の選択領域において所定のフィ
ルター関数を用い、前記オプティカルフローの大きさに
応じた値を加算して接近検出用加算値を算出する第１の
加算手段と、前記画像上の第２の選択領域において前記
フィルター関数を用い、前記オプティカルフローの大き
さに応じた値を加算して振動検出用加算値を算出する第
２の加算手段と、前記接近検出用加算値と前記振動検出
用加算値との差が所定のしきい値を超えた場合に、物体
への接近を検出する状況判断手段とを備えたため、所定
の選択領域におけるオプティカルフローの接近検出用加
算値と振動検出用加算値との差を求めるだけで、垂直ま
たは水平の振動成分を含む画像においても簡単な処理に
よって物体の接近を精度良く検出することができる。
【０００６】請求項２に記載の発明は、前記第２の選択
領域は、該領域内に前記オプティカルフローの湧き出し
点が含まれない位置に設けられ、前記第１の選択領域
は、前記第２の選択領域よりも外側に設けられているこ
とを特徴とする。この発明によれば、前記第２の選択領
域は、該領域内に前記オプティカルフローの湧き出し点
が含まれない位置に設けられ、前記第１の選択領域は、
前記第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができる。
領域は、該領域内に前記オプティカルフローの湧き出し
点が含まれない位置に設けられ、前記第１の選択領域
は、前記第２の選択領域よりも外側に設けられているこ
とを特徴とする。この発明によれば、前記第２の選択領
域は、該領域内に前記オプティカルフローの湧き出し点
が含まれない位置に設けられ、前記第１の選択領域は、
前記第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができる。
【０００７】請求項３に記載の発明は、前記第１及び第
２の選択領域は、それぞれ前記オプティカルフローのヨ
ー方向成分とピッチ方向成分の少なくとも一方の方向成
分から前記接近検出用加算値及び前記振動検出用加算値
を算出するように設けられていることを特徴とする。こ
の発明によれば、前記第１及び第２の選択領域は、それ
ぞれ前記オプティカルフローのヨー方向成分とピッチ方
向成分の少なくとも一方の方向成分から前記接近検出用
加算値及び前記振動検出用加算値を算出するように設け
たため、画像に含まれる振動成分の大部分を占めるヨー
方向成分とピッチ方向成分のノイズを効率良く除去する
ことができる。
２の選択領域は、それぞれ前記オプティカルフローのヨ
ー方向成分とピッチ方向成分の少なくとも一方の方向成
分から前記接近検出用加算値及び前記振動検出用加算値
を算出するように設けられていることを特徴とする。こ
の発明によれば、前記第１及び第２の選択領域は、それ
ぞれ前記オプティカルフローのヨー方向成分とピッチ方
向成分の少なくとも一方の方向成分から前記接近検出用
加算値及び前記振動検出用加算値を算出するように設け
たため、画像に含まれる振動成分の大部分を占めるヨー
方向成分とピッチ方向成分のノイズを効率良く除去する
ことができる。
【０００８】請求項４に記載の発明は、前記状況判断手
段は、所定の時定数に基づく時間的なフィルタにより前
記接近検出用加算値及び前記振動検出用加算値から高周
波成分のノイズを除去するノイズ除去手段と、前記高周
波成分のノイズが除去された前記接近検出用加算値及び
前記振動検出用加算値に対してそれぞれ予め決められた
重み付け係数を乗算する重み付け手段と、前記重み付け
手段によって重み付けされた前記接近検出用加算値と前
記振動検出用加算値との差を求める減算手段と前記接近
検出用加算値と前記振動検出用加算値との差が所定のし
きい値を超えたか否かを判定する判定手段とからなるこ
とを特徴とする。この発明によれば、２つの加算値から
高周波成分のノイズ除去を行う手段と、２つの加算値に
対して重み付けを行う手段を備えたため、移動体の移動
速度、画像の画角・解像度、サンプリング周波数に応じ
た補正を加算値に対して施すことが可能となり、結果的
に検出精度の向上を図ることが可能となる。
段は、所定の時定数に基づく時間的なフィルタにより前
記接近検出用加算値及び前記振動検出用加算値から高周
波成分のノイズを除去するノイズ除去手段と、前記高周
波成分のノイズが除去された前記接近検出用加算値及び
前記振動検出用加算値に対してそれぞれ予め決められた
重み付け係数を乗算する重み付け手段と、前記重み付け
手段によって重み付けされた前記接近検出用加算値と前
記振動検出用加算値との差を求める減算手段と前記接近
検出用加算値と前記振動検出用加算値との差が所定のし
きい値を超えたか否かを判定する判定手段とからなるこ
とを特徴とする。この発明によれば、２つの加算値から
高周波成分のノイズ除去を行う手段と、２つの加算値に
対して重み付けを行う手段を備えたため、移動体の移動
速度、画像の画角・解像度、サンプリング周波数に応じ
た補正を加算値に対して施すことが可能となり、結果的
に検出精度の向上を図ることが可能となる。
【０００９】請求項５に記載の発明は、周囲の環境を時
系列で撮像した画像に基づいて物体への接近を検出する
接近検出方法であって、時間的に連続する少なくとも２
枚の画像からオプティカルフローを算出するオプティカ
ルフロー算出過程と、前記画像上の第１の選択領域にお
いて所定のフィルター関数を用い、前記オプティカルフ
ローの大きさに応じた値を加算して接近検出用加算値を
算出する第１の加算過程と、前記画像上の第２の選択領
域において前記フィルター関数を用い、前記オプティカ
ルフローの大きさに応じた値を加算して振動検出用加算
値を算出する第２の加算過程と、前記接近検出用加算値
と前記振動検出用加算値との差が所定のしきい値を超え
た場合に、物体への接近を検出する状況判断過程とを有
することを特徴とする。この発明によれば、時間的に連
続する少なくとも２枚の画像からオプティカルフローを
算出するオプティカルフロー算出過程と、前記画像上の
第１の選択領域において所定のフィルター関数を用い、
前記オプティカルフローの大きさに応じた値を加算して
接近検出用加算値を算出する第１の加算過程と、前記画
像上の第２の選択領域において前記フィルター関数を用
い、前記オプティカルフローの大きさに応じた値を加算
して振動検出用加算値を算出する第２の加算過程と、前
記接近検出用加算値と前記振動検出用加算値との差が所
定のしきい値を超えた場合に、物体への接近を検出する
状況判断過程とを有したため、所定の選択領域における
オプティカルフローの接近検出用加算値と振動検出用加
算値との差を求めるだけで、垂直または水平の振動成分
を含む画像においても簡単な処理によって物体の接近を
精度良く検出することができる。
系列で撮像した画像に基づいて物体への接近を検出する
接近検出方法であって、時間的に連続する少なくとも２
枚の画像からオプティカルフローを算出するオプティカ
ルフロー算出過程と、前記画像上の第１の選択領域にお
いて所定のフィルター関数を用い、前記オプティカルフ
ローの大きさに応じた値を加算して接近検出用加算値を
算出する第１の加算過程と、前記画像上の第２の選択領
域において前記フィルター関数を用い、前記オプティカ
ルフローの大きさに応じた値を加算して振動検出用加算
値を算出する第２の加算過程と、前記接近検出用加算値
と前記振動検出用加算値との差が所定のしきい値を超え
た場合に、物体への接近を検出する状況判断過程とを有
することを特徴とする。この発明によれば、時間的に連
続する少なくとも２枚の画像からオプティカルフローを
算出するオプティカルフロー算出過程と、前記画像上の
第１の選択領域において所定のフィルター関数を用い、
前記オプティカルフローの大きさに応じた値を加算して
接近検出用加算値を算出する第１の加算過程と、前記画
像上の第２の選択領域において前記フィルター関数を用
い、前記オプティカルフローの大きさに応じた値を加算
して振動検出用加算値を算出する第２の加算過程と、前
記接近検出用加算値と前記振動検出用加算値との差が所
定のしきい値を超えた場合に、物体への接近を検出する
状況判断過程とを有したため、所定の選択領域における
オプティカルフローの接近検出用加算値と振動検出用加
算値との差を求めるだけで、垂直または水平の振動成分
を含む画像においても簡単な処理によって物体の接近を
精度良く検出することができる。
【００１０】請求項６に記載の発明は、前記第２の選択
領域は、該領域内に前記オプティカルフローの湧き出し
点が含まれない位置に設けられ、前記第１の選択領域
は、前記第２の選択領域よりも外側に設けられているこ
とを特徴とする。この発明によれば、前記第２の選択領
域は、該領域内に前記オプティカルフローの湧き出し点
が含まれない位置に設けられ、前記第１の選択領域は、
前記第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができる。
領域は、該領域内に前記オプティカルフローの湧き出し
点が含まれない位置に設けられ、前記第１の選択領域
は、前記第２の選択領域よりも外側に設けられているこ
とを特徴とする。この発明によれば、前記第２の選択領
域は、該領域内に前記オプティカルフローの湧き出し点
が含まれない位置に設けられ、前記第１の選択領域は、
前記第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができる。
【００１１】請求項７に記載の発明は、前記第１及び第
２の選択領域は、それぞれ前記オプティカルフローのヨ
ー方向成分とピッチ方向成分の少なくとも一方の方向成
分から前記接近検出用加算値及び前記振動検出用加算値
を算出するように設けられていることを特徴とする。こ
の発明によれば、前記第１及び第２の選択領域は、それ
ぞれ前記オプティカルフローのヨー方向成分とピッチ方
向成分の少なくとも一方の方向成分から前記接近検出用
加算値及び前記振動検出用加算値を算出するように設け
たため、画像に含まれる振動成分の大部分を占めるヨー
方向成分とピッチ方向成分のノイズを効率良く除去する
ことができる。
２の選択領域は、それぞれ前記オプティカルフローのヨ
ー方向成分とピッチ方向成分の少なくとも一方の方向成
分から前記接近検出用加算値及び前記振動検出用加算値
を算出するように設けられていることを特徴とする。こ
の発明によれば、前記第１及び第２の選択領域は、それ
ぞれ前記オプティカルフローのヨー方向成分とピッチ方
向成分の少なくとも一方の方向成分から前記接近検出用
加算値及び前記振動検出用加算値を算出するように設け
たため、画像に含まれる振動成分の大部分を占めるヨー
方向成分とピッチ方向成分のノイズを効率良く除去する
ことができる。
【００１２】請求項８に記載の発明は、前記状況判断過
程は、所定の時定数に基づく時間的なフィルタにより前
記接近検出用加算値及び前記振動検出用加算値から高周
波成分のノイズを除去するノイズ除去過程と、前記高周
波成分のノイズが除去された前記接近検出用加算値及び
前記振動検出用加算値に対してそれぞれ予め決められた
重み付け係数を乗算する重み付け過程と、前記重み付け
過程において重み付けされた前記接近検出用加算値と前
記振動検出用加算値との差を求める減算過程と、前記接
近検出用加算値と前記振動検出用加算値との差が所定の
しきい値を超えたか否かを判定する判定過程とからなる
ことを特徴とする。この発明によれば、２つの加算値か
ら高周波成分のノイズ除去を行う過程と、２つの加算値
に対して重み付けを行う過程を備えたため、移動体の移
動速度、画像の画角・解像度、サンプリング周波数に応
じた補正を加算値に対して施すことが可能となり、結果
的に検出精度の向上を図ることが可能となる。
程は、所定の時定数に基づく時間的なフィルタにより前
記接近検出用加算値及び前記振動検出用加算値から高周
波成分のノイズを除去するノイズ除去過程と、前記高周
波成分のノイズが除去された前記接近検出用加算値及び
前記振動検出用加算値に対してそれぞれ予め決められた
重み付け係数を乗算する重み付け過程と、前記重み付け
過程において重み付けされた前記接近検出用加算値と前
記振動検出用加算値との差を求める減算過程と、前記接
近検出用加算値と前記振動検出用加算値との差が所定の
しきい値を超えたか否かを判定する判定過程とからなる
ことを特徴とする。この発明によれば、２つの加算値か
ら高周波成分のノイズ除去を行う過程と、２つの加算値
に対して重み付けを行う過程を備えたため、移動体の移
動速度、画像の画角・解像度、サンプリング周波数に応
じた補正を加算値に対して施すことが可能となり、結果
的に検出精度の向上を図ることが可能となる。
【００１３】請求項９に記載の発明は、周囲の環境を時
系列で撮像した画像に基づいて物体への接近を検出する
接近検出プログラムであって、時間的に連続する少なく
とも２枚の画像からオプティカルフローを算出するオプ
ティカルフロー算出処理と、前記画像上の第１の選択領
域において所定のフィルター関数を用い、前記オプティ
カルフローの大きさに応じた値を加算して接近検出用加
算値を算出する第１の加算処理と、前記画像上の第２の
選択領域において前記フィルター関数を用い、前記オプ
ティカルフローの大きさに応じた値を加算して振動検出
用加算値を算出する第２の加算処理と、前記接近検出用
加算値と前記振動検出用加算値との差が所定のしきい値
を超えた場合に、物体への接近を検出する状況判断処理
とをコンピュータに行わせることを特徴とする。この発
明によれば、時間的に連続する少なくとも２枚の画像か
らオプティカルフローを算出するオプティカルフロー算
出処理と、前記画像上の第１の選択領域において所定の
フィルター関数を用い、前記オプティカルフローの大き
さに応じた値を加算して接近検出用加算値を算出する第
１の加算処理と、前記画像上の第２の選択領域において
前記フィルター関数を用い、前記オプティカルフローの
大きさに応じた値を加算して振動検出用加算値を算出す
る第２の加算処理と、前記接近検出用加算値と前記振動
検出用加算値との差が所定のしきい値を超えた場合に、
物体への接近を検出する状況判断処理とをコンピュータ
に行わせるようにしたため、所定の選択領域におけるオ
プティカルフローの接近検出用加算値と振動検出用加算
値との差を求めるだけで、垂直または水平の振動成分を
含む画像においても簡単な処理によって物体の接近を精
度良く検出することができる。
系列で撮像した画像に基づいて物体への接近を検出する
接近検出プログラムであって、時間的に連続する少なく
とも２枚の画像からオプティカルフローを算出するオプ
ティカルフロー算出処理と、前記画像上の第１の選択領
域において所定のフィルター関数を用い、前記オプティ
カルフローの大きさに応じた値を加算して接近検出用加
算値を算出する第１の加算処理と、前記画像上の第２の
選択領域において前記フィルター関数を用い、前記オプ
ティカルフローの大きさに応じた値を加算して振動検出
用加算値を算出する第２の加算処理と、前記接近検出用
加算値と前記振動検出用加算値との差が所定のしきい値
を超えた場合に、物体への接近を検出する状況判断処理
とをコンピュータに行わせることを特徴とする。この発
明によれば、時間的に連続する少なくとも２枚の画像か
らオプティカルフローを算出するオプティカルフロー算
出処理と、前記画像上の第１の選択領域において所定の
フィルター関数を用い、前記オプティカルフローの大き
さに応じた値を加算して接近検出用加算値を算出する第
１の加算処理と、前記画像上の第２の選択領域において
前記フィルター関数を用い、前記オプティカルフローの
大きさに応じた値を加算して振動検出用加算値を算出す
る第２の加算処理と、前記接近検出用加算値と前記振動
検出用加算値との差が所定のしきい値を超えた場合に、
物体への接近を検出する状況判断処理とをコンピュータ
に行わせるようにしたため、所定の選択領域におけるオ
プティカルフローの接近検出用加算値と振動検出用加算
値との差を求めるだけで、垂直または水平の振動成分を
含む画像においても簡単な処理によって物体の接近を精
度良く検出することができる。
【００１４】請求項１０に記載の発明は、前記第２の選
択領域は、該領域内に前記オプティカルフローの湧き出
し点が含まれない位置に設けられ、前記第１の選択領域
は、前記第２の選択領域よりも外側に設けられているこ
とを特徴とする。この発明によれば、前記第２の選択領
域は、該領域内に前記オプティカルフローの湧き出し点
が含まれない位置に設けられ、前記第１の選択領域は、
前記第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができる。
択領域は、該領域内に前記オプティカルフローの湧き出
し点が含まれない位置に設けられ、前記第１の選択領域
は、前記第２の選択領域よりも外側に設けられているこ
とを特徴とする。この発明によれば、前記第２の選択領
域は、該領域内に前記オプティカルフローの湧き出し点
が含まれない位置に設けられ、前記第１の選択領域は、
前記第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができる。
【００１５】請求項１１に記載の発明は、前記第１及び
第２の選択領域は、それぞれ前記オプティカルフローの
ヨー方向成分とピッチ方向成分の少なくとも一方の方向
成分から前記接近検出用加算値及び前記振動検出用加算
値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、そ
れぞれ前記オプティカルフローのヨー方向成分とピッチ
方向成分の少なくとも一方の方向成分から前記接近検出
用加算値及び前記振動検出用加算値を算出するように設
けたため、画像に含まれる振動成分の大部分を占めるヨ
ー方向成分とピッチ方向成分のノイズを効率良く除去す
ることができる。
第２の選択領域は、それぞれ前記オプティカルフローの
ヨー方向成分とピッチ方向成分の少なくとも一方の方向
成分から前記接近検出用加算値及び前記振動検出用加算
値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、そ
れぞれ前記オプティカルフローのヨー方向成分とピッチ
方向成分の少なくとも一方の方向成分から前記接近検出
用加算値及び前記振動検出用加算値を算出するように設
けたため、画像に含まれる振動成分の大部分を占めるヨ
ー方向成分とピッチ方向成分のノイズを効率良く除去す
ることができる。
【００１６】請求項１２に記載の発明は、前記状況判断
処理は、所定の時定数に基づく時間的なフィルタにより
前記接近検出用加算値及び前記振動検出用加算値から高
周波成分のノイズを除去するノイズ除去処理と、前記高
周波成分のノイズが除去された前記接近検出用加算値及
び前記振動検出用加算値に対してそれぞれ予め決められ
た重み付け係数を乗算する重み付け処理と、前記重み付
け処理において重み付けされた前記接近検出用加算値と
前記振動検出用加算値との差を求める減算処理と、前記
接近検出用加算値と前記振動検出用加算値との差が所定
のしきい値を超えたか否かを判定する判定処理とからな
ることを特徴とする。この発明によれば、２つの加算値
から高周波成分のノイズ除去を行う処理と、２つの加算
値に対して重み付けを行う処理をコンピュータに行わせ
るようにしたため、移動体の移動速度、画像の画角・解
像度、サンプリング周波数に応じた補正を加算値に対し
て施すことが可能となり、結果的に検出精度の向上を図
ることが可能となる。
処理は、所定の時定数に基づく時間的なフィルタにより
前記接近検出用加算値及び前記振動検出用加算値から高
周波成分のノイズを除去するノイズ除去処理と、前記高
周波成分のノイズが除去された前記接近検出用加算値及
び前記振動検出用加算値に対してそれぞれ予め決められ
た重み付け係数を乗算する重み付け処理と、前記重み付
け処理において重み付けされた前記接近検出用加算値と
前記振動検出用加算値との差を求める減算処理と、前記
接近検出用加算値と前記振動検出用加算値との差が所定
のしきい値を超えたか否かを判定する判定処理とからな
ることを特徴とする。この発明によれば、２つの加算値
から高周波成分のノイズ除去を行う処理と、２つの加算
値に対して重み付けを行う処理をコンピュータに行わせ
るようにしたため、移動体の移動速度、画像の画角・解
像度、サンプリング周波数に応じた補正を加算値に対し
て施すことが可能となり、結果的に検出精度の向上を図
ることが可能となる。
【００１７】
【発明の実施の形態】以下、本発明の一実施形態による
接近検出装置を図面を参照して説明する。図１は同実施
形態の構成を示すブロック図である。この図において、
符号１は、接近検出装置である。符号１１は、得られた
画像を記憶する画像メモリであり、少なくとも２枚の画
像を記憶可能である。符号１２は、画像メモリ１１に記
憶された２枚の画像からオプティカルフローを算出する
オプティカルフロー算出部である。符号１３は、オプテ
ィカルフロー算出部１２において算出されたオプティカ
ルフローに基づいて、自己と物体との接近状況を判定す
る状況判断部である。符号３１は、無線通信によって情
報通信を行う通信部である。符号Ｖは、移動体であり、
ここでは自動車を例にして説明することとして、以下の
説明では自動車Ｖと称する。符号Ｗは、接近検出対象の
壁であり、以下の説明では物体Ｗと称する。符号１０
は、周囲の環境を撮像して時系列の画像を得るビデオカ
メラ（以下、単にカメラと称する）である。このカメラ
１０は、自動車Ｖの前方を見渡せる位置に備えられ、水
平な地面に自動車Ｖを置いたときにカメラ１０の光軸が
水平になるように配置される。符号２は、状況判断部１
３の出力に基づいて自動車Ｖの移動制御を行う移動体制
御部である。符号３２は、通信部３１との間で情報通信
を行う通信部である。なお、接近検出装置１は、通信部
３１、３２が通信可能な位置に配置される必要があるの
で、原則的に通信可能距離と移動体の行動範囲内に基づ
いて、接近検出装置１の配置位置を決定すればよい。ま
た、通信部３１、３２の間を携帯電話網等の公衆回線を
介して、移動体の行動範囲を拡張するようにしてもよ
い。また、接近検出装置１は、自動車Ｖ（移動体）内に
備えられていてもよい。
接近検出装置を図面を参照して説明する。図１は同実施
形態の構成を示すブロック図である。この図において、
符号１は、接近検出装置である。符号１１は、得られた
画像を記憶する画像メモリであり、少なくとも２枚の画
像を記憶可能である。符号１２は、画像メモリ１１に記
憶された２枚の画像からオプティカルフローを算出する
オプティカルフロー算出部である。符号１３は、オプテ
ィカルフロー算出部１２において算出されたオプティカ
ルフローに基づいて、自己と物体との接近状況を判定す
る状況判断部である。符号３１は、無線通信によって情
報通信を行う通信部である。符号Ｖは、移動体であり、
ここでは自動車を例にして説明することとして、以下の
説明では自動車Ｖと称する。符号Ｗは、接近検出対象の
壁であり、以下の説明では物体Ｗと称する。符号１０
は、周囲の環境を撮像して時系列の画像を得るビデオカ
メラ（以下、単にカメラと称する）である。このカメラ
１０は、自動車Ｖの前方を見渡せる位置に備えられ、水
平な地面に自動車Ｖを置いたときにカメラ１０の光軸が
水平になるように配置される。符号２は、状況判断部１
３の出力に基づいて自動車Ｖの移動制御を行う移動体制
御部である。符号３２は、通信部３１との間で情報通信
を行う通信部である。なお、接近検出装置１は、通信部
３１、３２が通信可能な位置に配置される必要があるの
で、原則的に通信可能距離と移動体の行動範囲内に基づ
いて、接近検出装置１の配置位置を決定すればよい。ま
た、通信部３１、３２の間を携帯電話網等の公衆回線を
介して、移動体の行動範囲を拡張するようにしてもよ
い。また、接近検出装置１は、自動車Ｖ（移動体）内に
備えられていてもよい。
【００１８】次に、図１、２を参照して、図１に示す接
近検出装置の動作を説明する。図２は、図１に示す接近
検出装置の動作を示すフローチャートである。まず、接
近検出装置１を起動すると、通信部３１は情報通信を行
うことが可能になるとともに、画像メモリ１１、オプテ
ィカルフロー算出部１２、状況判断部１３が起動する。
一方、自動車ＶのイグニッションスイッチをＯＮにする
と、通信部３２は情報通信を行うことが可能となるとも
に、カメラ１０は撮像を開始し、移動体制御部２も起動
する。そして、カメラ１０によって得られた画像信号
は、通信部３２及び通信部３１を介して、画像メモリ１
１に格納される。このとき、カメラ１０によって得られ
た画像に対して、標本化と量子化の処理が施され、ｍ×
ｎ（ｍ、ｎは自然数）画素のディジタル画像となり画像
メモリ１１に格納される（ステップＳ１）。
近検出装置の動作を説明する。図２は、図１に示す接近
検出装置の動作を示すフローチャートである。まず、接
近検出装置１を起動すると、通信部３１は情報通信を行
うことが可能になるとともに、画像メモリ１１、オプテ
ィカルフロー算出部１２、状況判断部１３が起動する。
一方、自動車ＶのイグニッションスイッチをＯＮにする
と、通信部３２は情報通信を行うことが可能となるとも
に、カメラ１０は撮像を開始し、移動体制御部２も起動
する。そして、カメラ１０によって得られた画像信号
は、通信部３２及び通信部３１を介して、画像メモリ１
１に格納される。このとき、カメラ１０によって得られ
た画像に対して、標本化と量子化の処理が施され、ｍ×
ｎ（ｍ、ｎは自然数）画素のディジタル画像となり画像
メモリ１１に格納される（ステップＳ１）。
【００１９】次に、オプティカルフローを算出するには
少なくとも２枚の画像が必要であるため、起動時におい
てのみ続けて得られた画像を、画像メモリ１１へ格納す
る（ステップＳ２）。この時点で、画像メモリ１１に
は、時間的に連続する画像が２枚分格納されたこととな
る。以下の説明において、最新の画像を時刻ｔにおいて
撮像された画像（または、時刻ｔの画像）と称し、時刻
ｔの画像の直前の画像を時刻ｔ−１において撮像された
画像（または、時刻ｔ−１の画像）と称する。
少なくとも２枚の画像が必要であるため、起動時におい
てのみ続けて得られた画像を、画像メモリ１１へ格納す
る（ステップＳ２）。この時点で、画像メモリ１１に
は、時間的に連続する画像が２枚分格納されたこととな
る。以下の説明において、最新の画像を時刻ｔにおいて
撮像された画像（または、時刻ｔの画像）と称し、時刻
ｔの画像の直前の画像を時刻ｔ−１において撮像された
画像（または、時刻ｔ−１の画像）と称する。
【００２０】次に、カメラ１０は、１枚の画像を画像メ
モリ１１へ格納が終了する毎に、通信部３２，３１を介
して、オプティカルフロー算出部１２に対して、画像の
格納が終了したことを通知する。この通知を受けて、オ
プティカルフロー算出部１２は、画像メモリ１１に格納
されている最新の２枚の画像からオプティカルフローＶ
x,yを算出する（ステップＳ３）。ここでいうオプティ
カルフローとは、画素毎に定義される速度場のことであ
り、画像上のある位置にあったパターンが時間的に連続
する次の画面でどこに移動したかを画素毎に表現したも
のである。すなわち、時系列の画像間で、画像中の各点
が、時間と共にどのように変化したかを、ベクトルで表
したものであり、このオプティカルフローから、画像中
の対象がどのような動きをしていたかを推定することが
できるものである。ここでオプティカルフローを算出す
る方法として、２枚の画像間で対応点を探索する方法や
画像中の各点の明度勾配と明度の時間勾配により推定す
る方法などの周知の方法を用いることができる。この処
理によって、少なくとも２枚の画像間の画素のうち対応
が取れた対応点についてオプティカルフローが求められ
たことになる。続いて、オプティカルフロー算出部１２
は、算出したオプティカルフローＶx,yを状況判断部１
３へ渡す。
モリ１１へ格納が終了する毎に、通信部３２，３１を介
して、オプティカルフロー算出部１２に対して、画像の
格納が終了したことを通知する。この通知を受けて、オ
プティカルフロー算出部１２は、画像メモリ１１に格納
されている最新の２枚の画像からオプティカルフローＶ
x,yを算出する（ステップＳ３）。ここでいうオプティ
カルフローとは、画素毎に定義される速度場のことであ
り、画像上のある位置にあったパターンが時間的に連続
する次の画面でどこに移動したかを画素毎に表現したも
のである。すなわち、時系列の画像間で、画像中の各点
が、時間と共にどのように変化したかを、ベクトルで表
したものであり、このオプティカルフローから、画像中
の対象がどのような動きをしていたかを推定することが
できるものである。ここでオプティカルフローを算出す
る方法として、２枚の画像間で対応点を探索する方法や
画像中の各点の明度勾配と明度の時間勾配により推定す
る方法などの周知の方法を用いることができる。この処
理によって、少なくとも２枚の画像間の画素のうち対応
が取れた対応点についてオプティカルフローが求められ
たことになる。続いて、オプティカルフロー算出部１２
は、算出したオプティカルフローＶx,yを状況判断部１
３へ渡す。
【００２１】状況判断部１３は、得られたオプティカル
フローＶx,yのうち予め決められた画像上の領域（以
下、選択領域と称する）内のオプティカルフローを空間
的に加算した値εn tを、（１）式によって求める（ステ
ップＳ４）。 εn t＝ΣΣｈnx,yＶx,y・・・・・・・（１） ここで、ｈnx,yはオプティカルフローを空間的に加算す
る際の選択領域特性（例えば、選択領域の広さ及び選択
領域の中心位置）を示す関数であり、例えば、ガウス関
数やガボール関数等のように空間的に局在したフィルタ
ー関数を用いることが可能である。（１）式によって、
関数ｈnx,yで定義される画像上の選択領域内のオプティ
カルフロー（ベクトル）が加算されることとなる。この
選択領域特性ｈnx,yは、図１に示すカメラ１０が搭載さ
れる自動車Ｖの速度や、カメラ１０の視野角・解像度、
サンプリング周波数等によって決定されるものである。
また、物体Ｗに衝突する何秒前にトリガを出力する必要
があるかによって選択領域特性ｈnx,yを決定するように
してもよい。ただし、以下に述べる条件は必ず満たす必
要がある。この条件とは、接近成分を検出する１対の選
択領域が、自動車Ｖの前方移動時における画像のフロー
湧き出しの中心点を境に左右対称になるように配置する
ことである。本実施例では、自動車Ｖが直進する場合で
あって、一対の対応する選択領域が、それぞれ画像フレ
ームに対して、左右上下対称に設定された例を説明す
る。ヨー方向の成分を検出する選択領域は画像上の水平
線上に左右１対配置する。また、ピッチ方向の成分を検
出するための選択領域は、画像上の鉛直線上に上下１対
になるように配置する。また、添え字ｎは、各選択領域
に順に付与された順番号である。図３及び図４に示すよ
うに本実施例では「ｎ」＝８の例を示した。「ｎ」の数
は自動車Ｖのゆれの状況や要求する接近検出精度等に応
じて適宜決定される。
フローＶx,yのうち予め決められた画像上の領域（以
下、選択領域と称する）内のオプティカルフローを空間
的に加算した値εn tを、（１）式によって求める（ステ
ップＳ４）。 εn t＝ΣΣｈnx,yＶx,y・・・・・・・（１） ここで、ｈnx,yはオプティカルフローを空間的に加算す
る際の選択領域特性（例えば、選択領域の広さ及び選択
領域の中心位置）を示す関数であり、例えば、ガウス関
数やガボール関数等のように空間的に局在したフィルタ
ー関数を用いることが可能である。（１）式によって、
関数ｈnx,yで定義される画像上の選択領域内のオプティ
カルフロー（ベクトル）が加算されることとなる。この
選択領域特性ｈnx,yは、図１に示すカメラ１０が搭載さ
れる自動車Ｖの速度や、カメラ１０の視野角・解像度、
サンプリング周波数等によって決定されるものである。
また、物体Ｗに衝突する何秒前にトリガを出力する必要
があるかによって選択領域特性ｈnx,yを決定するように
してもよい。ただし、以下に述べる条件は必ず満たす必
要がある。この条件とは、接近成分を検出する１対の選
択領域が、自動車Ｖの前方移動時における画像のフロー
湧き出しの中心点を境に左右対称になるように配置する
ことである。本実施例では、自動車Ｖが直進する場合で
あって、一対の対応する選択領域が、それぞれ画像フレ
ームに対して、左右上下対称に設定された例を説明す
る。ヨー方向の成分を検出する選択領域は画像上の水平
線上に左右１対配置する。また、ピッチ方向の成分を検
出するための選択領域は、画像上の鉛直線上に上下１対
になるように配置する。また、添え字ｎは、各選択領域
に順に付与された順番号である。図３及び図４に示すよ
うに本実施例では「ｎ」＝８の例を示した。「ｎ」の数
は自動車Ｖのゆれの状況や要求する接近検出精度等に応
じて適宜決定される。
【００２２】ここで、図３、４を参照して、選択領域の
配置関係について説明する。図３は、オプティカルフロ
ーＶx,yのヨー方向成分を用いて、ヨー方向のノイズ成
分を除去することにより、接近を検出する場合の選択領
域の配置例を示す説明図である。図３において、符号ｈ
1、ｈ2は、オプティカルフローＶx,yの接近成分を検出
する１対の選択領域である。符号ｈ3、ｈ4は、オプティ
カルフローＶx,yのヨー方向成分を検出する１対の選択
領域であり、選択領域ｈ1，ｈ2の内側に配置される。こ
のように、本実施例では、左右を２分する中心線を境に
１対の選択領域が、接近成分検出用とヨー方向成分検出
用に分けてそれぞれ配置される。なお、選択領域ｈ1〜
ｈ4は、選択領域ｈ1〜ｈ4のそれぞれをピッチ方向（画
像における垂直方向）のみ拡大した選択領域ｈ1’〜
ｈ4’としてもよい。
配置関係について説明する。図３は、オプティカルフロ
ーＶx,yのヨー方向成分を用いて、ヨー方向のノイズ成
分を除去することにより、接近を検出する場合の選択領
域の配置例を示す説明図である。図３において、符号ｈ
1、ｈ2は、オプティカルフローＶx,yの接近成分を検出
する１対の選択領域である。符号ｈ3、ｈ4は、オプティ
カルフローＶx,yのヨー方向成分を検出する１対の選択
領域であり、選択領域ｈ1，ｈ2の内側に配置される。こ
のように、本実施例では、左右を２分する中心線を境に
１対の選択領域が、接近成分検出用とヨー方向成分検出
用に分けてそれぞれ配置される。なお、選択領域ｈ1〜
ｈ4は、選択領域ｈ1〜ｈ4のそれぞれをピッチ方向（画
像における垂直方向）のみ拡大した選択領域ｈ1’〜
ｈ4’としてもよい。
【００２３】一方、図４は、オプティカルフローＶx,y
のピッチ方向成分を用いて、ピッチ方向のノイズ成分を
除去することにより、接近を検出する場合の選択領域の
配置例を示す説明図である。図４において、符号ｈ5、
ｈ6は、オプティカルフローＶx,yの接近成分を検出する
１対の選択領域である。符号ｈ7、ｈ8は、オプティカル
フローＶx,yのピッチ方向の成分を検出する１対の選択
領域であり、選択領域ｈ5，ｈ6の内側に配置される。こ
のように、本実施例では、上下を２分する中心線を境に
１対の選択領域が、接近成分検出用とピッチ方向成分検
出用に分けてそれぞれ配置される。なお、選択領域ｈ5
〜ｈ8は、選択領域ｈ5〜ｈ8のそれぞれをヨー方向（画
像における水平方向）のみ拡大した選択領域ｈ5’〜
ｈ8’としてもよい。
のピッチ方向成分を用いて、ピッチ方向のノイズ成分を
除去することにより、接近を検出する場合の選択領域の
配置例を示す説明図である。図４において、符号ｈ5、
ｈ6は、オプティカルフローＶx,yの接近成分を検出する
１対の選択領域である。符号ｈ7、ｈ8は、オプティカル
フローＶx,yのピッチ方向の成分を検出する１対の選択
領域であり、選択領域ｈ5，ｈ6の内側に配置される。こ
のように、本実施例では、上下を２分する中心線を境に
１対の選択領域が、接近成分検出用とピッチ方向成分検
出用に分けてそれぞれ配置される。なお、選択領域ｈ5
〜ｈ8は、選択領域ｈ5〜ｈ8のそれぞれをヨー方向（画
像における水平方向）のみ拡大した選択領域ｈ5’〜
ｈ8’としてもよい。
【００２４】一般的に図１に示すような場面において、
自動車Ｖが前進して物体Ｗへ接近したとき、得られた画
像からオプティカルフローを算出すると、無限遠の点Ｍ
（フローの湧き出し点）から放射状のベクトルが得られ
る。このとき、図３に示す各選択領域におけるフローベ
クトルの大きさは、ｈ1＞ｈ3，ｈ2＞ｈ4の関係となるの
が一般的である。一方、自動車Ｖの移動に伴うヨー方向
の振動がカメラ１０に対して加えられた場合、この振動
によるヨー成分のベクトルの大きさは、各選択領域にお
いて差はあまり無い。したがって、接近をした場合に振
動に伴って生じるベクトルに比して、相対的に接近ベク
トルが大きいベクトルを得ることができる選択領域
ｈ1、ｈ2によって接近成分検出を行い、接近の影響が相
対的に小さくなる選択領域ｈ3、ｈ4によって振動による
ヨー成分検出を行うようにすれば、ノイズ成分の除去を
効率良く行うことが可能となる。これは、図４に示すピ
ッチ方向を検出する選択領域ｈ5〜ｈ8についても同様で
ある。
自動車Ｖが前進して物体Ｗへ接近したとき、得られた画
像からオプティカルフローを算出すると、無限遠の点Ｍ
（フローの湧き出し点）から放射状のベクトルが得られ
る。このとき、図３に示す各選択領域におけるフローベ
クトルの大きさは、ｈ1＞ｈ3，ｈ2＞ｈ4の関係となるの
が一般的である。一方、自動車Ｖの移動に伴うヨー方向
の振動がカメラ１０に対して加えられた場合、この振動
によるヨー成分のベクトルの大きさは、各選択領域にお
いて差はあまり無い。したがって、接近をした場合に振
動に伴って生じるベクトルに比して、相対的に接近ベク
トルが大きいベクトルを得ることができる選択領域
ｈ1、ｈ2によって接近成分検出を行い、接近の影響が相
対的に小さくなる選択領域ｈ3、ｈ4によって振動による
ヨー成分検出を行うようにすれば、ノイズ成分の除去を
効率良く行うことが可能となる。これは、図４に示すピ
ッチ方向を検出する選択領域ｈ5〜ｈ8についても同様で
ある。
【００２５】次に、状況判断部１３は、ステップＳ４に
おいて求めたオプティカルフローの空間的加算値εn tに
対して、時間的なフィルタを用いて高周波成分のノイズ
を除去した値ρn tを、（２）式よって求める（ステップ
Ｓ５）。 ρn t＝ρn tー1−τ（ρn tー1−εn t）・・・・・・・（２） ここで、τはτ＜１を満たす時定数である。この時定数
τは自動車Ｖの速度等によって決定されるものである。
おいて求めたオプティカルフローの空間的加算値εn tに
対して、時間的なフィルタを用いて高周波成分のノイズ
を除去した値ρn tを、（２）式よって求める（ステップ
Ｓ５）。 ρn t＝ρn tー1−τ（ρn tー1−εn t）・・・・・・・（２） ここで、τはτ＜１を満たす時定数である。この時定数
τは自動車Ｖの速度等によって決定されるものである。
【００２６】次に、状況判断部１３は、ノイズ除去フィ
ルタの出力であるρn tに対して重み付け係数ｗnを乗算
して加算した値θtを、接近成分検出用及びヨー成分検
出用のそれぞれについて（３）、（４）式によって求め
る（ステップＳ６）。すなわち、接近成分検出用θtは θt＝ｗ1ρ1 t＋（−１・ｗ2）ρ2 t・・・・・・（３） によって求め、ヨー成分検出用θtは θt＝ｗ3ρ3 t＋（−１・ｗ4）ρ4 t・・・・・・（４） によって求める。
ルタの出力であるρn tに対して重み付け係数ｗnを乗算
して加算した値θtを、接近成分検出用及びヨー成分検
出用のそれぞれについて（３）、（４）式によって求め
る（ステップＳ６）。すなわち、接近成分検出用θtは θt＝ｗ1ρ1 t＋（−１・ｗ2）ρ2 t・・・・・・（３） によって求め、ヨー成分検出用θtは θt＝ｗ3ρ3 t＋（−１・ｗ4）ρ4 t・・・・・・（４） によって求める。
【００２７】ここで、重み付け係数ｗnに−１を乗算し
て極性を逆にしている理由は、画像上の無限遠の点Ｍを
中心として対称の位置に配置される選択領域ｈ1、ｈ
2（またはｈ3、ｈ4）内において得られるρn tの極性が
原則的に逆になるため、加算するときに一方のρn tの極
性を逆にする必要があるからである。
て極性を逆にしている理由は、画像上の無限遠の点Ｍを
中心として対称の位置に配置される選択領域ｈ1、ｈ
2（またはｈ3、ｈ4）内において得られるρn tの極性が
原則的に逆になるため、加算するときに一方のρn tの極
性を逆にする必要があるからである。
【００２８】次に、状況判断部１３は、接近成分検出用
θtとヨー方向成分検出用θtとの差Ｓtを求め（ステッ
プＳ７）、この値Ｓtと予め決められたしきい値とを比
較する（ステップＳ８）。この結果、値Ｓtがしきい値
より大きい場合、状況判断部１３は、物体Ｗに接近した
と判断し（ステップＳ９）、しきい値より小さい場合
は、接近はなしと判断する（ステップＳ１０）。この判
定結果は、移動体制御部２へ通知され、自動車Ｖの減速
や停止の制御を行う場合のトリガに用いられる。このし
きい値は、自動車Ｖの速度や、カメラ１０の視野角・解
像度等、さらには各選択領域特性ｈnx,yに基づいて最適
値を選択して設定する。また、自動車Ｖが物体Ｗに衝突
する何秒前にトリガを出力する必要があるかによってし
きい値の大小を決定するようにしてもよい。なお、上記
のＷnも、しきい値を設定した後、自動車Ｖに最適なタ
イミングでトリガがかかるように自動車Ｖの速度、カメ
ラ１０の視野角等を考慮して設定される。
θtとヨー方向成分検出用θtとの差Ｓtを求め（ステッ
プＳ７）、この値Ｓtと予め決められたしきい値とを比
較する（ステップＳ８）。この結果、値Ｓtがしきい値
より大きい場合、状況判断部１３は、物体Ｗに接近した
と判断し（ステップＳ９）、しきい値より小さい場合
は、接近はなしと判断する（ステップＳ１０）。この判
定結果は、移動体制御部２へ通知され、自動車Ｖの減速
や停止の制御を行う場合のトリガに用いられる。このし
きい値は、自動車Ｖの速度や、カメラ１０の視野角・解
像度等、さらには各選択領域特性ｈnx,yに基づいて最適
値を選択して設定する。また、自動車Ｖが物体Ｗに衝突
する何秒前にトリガを出力する必要があるかによってし
きい値の大小を決定するようにしてもよい。なお、上記
のＷnも、しきい値を設定した後、自動車Ｖに最適なタ
イミングでトリガがかかるように自動車Ｖの速度、カメ
ラ１０の視野角等を考慮して設定される。
【００２９】そして、ステップＳ８の判定結果が得られ
た時点で、再びステップＳ２に戻り前述した動作を繰り
返す。このとき、取得する画像は、１枚のみ（ステップ
Ｓ１は２回目以降の処理においては実行されない）であ
り、前回の実行時にステップＳ２で得られた画像が、時
刻ｔ−１の画像となり、今回新たに得られた画像が時刻
ｔの画像として処理を繰り返す。
た時点で、再びステップＳ２に戻り前述した動作を繰り
返す。このとき、取得する画像は、１枚のみ（ステップ
Ｓ１は２回目以降の処理においては実行されない）であ
り、前回の実行時にステップＳ２で得られた画像が、時
刻ｔ−１の画像となり、今回新たに得られた画像が時刻
ｔの画像として処理を繰り返す。
【００３０】このように、接近成分検出用とヨーまたは
ピッチ方向成分検出用の画像領域を、左右または上下を
２分する中心線を境に１対の選択領域として配置し、こ
の選択領域におけるオプティカルフローの情報に基づい
て、簡単な演算処理を施し、これによって得られた値が
しきい値より大きいか否かで、物体の接近を検出するよ
うにしたため、振動成分が混在する画像においても精度
良くかつ高速に接近検出が可能となる。すなわち、接近
をした場合にオプティカルフローＶx,yの総和が増大す
る選択領域ｈ1、ｈ2によって接近成分検出を行い、接近
の影響が比較的小さい選択領域ｈ3、ｈ4によって振動に
よるヨー成分検出を行うようにしたため、ノイズ成分の
除去を効率良く行うことが可能となる。これはピッチ方
向についても同様である。なお、状況判断部１３は、図
３及び図４に示す選択領域ｈ1〜ｈ4、ｈ5〜ｈ8について
同時に処理を行い、どちらか一方の値Ｓtがしきい値を
超えた場合に停止トリガを出力するようにしてもよい
し、２つの値Ｓtがそれぞれしきい値を超えた場合に停
止トリガを出力するようにしてもよい。
ピッチ方向成分検出用の画像領域を、左右または上下を
２分する中心線を境に１対の選択領域として配置し、こ
の選択領域におけるオプティカルフローの情報に基づい
て、簡単な演算処理を施し、これによって得られた値が
しきい値より大きいか否かで、物体の接近を検出するよ
うにしたため、振動成分が混在する画像においても精度
良くかつ高速に接近検出が可能となる。すなわち、接近
をした場合にオプティカルフローＶx,yの総和が増大す
る選択領域ｈ1、ｈ2によって接近成分検出を行い、接近
の影響が比較的小さい選択領域ｈ3、ｈ4によって振動に
よるヨー成分検出を行うようにしたため、ノイズ成分の
除去を効率良く行うことが可能となる。これはピッチ方
向についても同様である。なお、状況判断部１３は、図
３及び図４に示す選択領域ｈ1〜ｈ4、ｈ5〜ｈ8について
同時に処理を行い、どちらか一方の値Ｓtがしきい値を
超えた場合に停止トリガを出力するようにしてもよい
し、２つの値Ｓtがそれぞれしきい値を超えた場合に停
止トリガを出力するようにしてもよい。
【００３１】次に図５を参照して、実画像を用いた実施
例を説明する。図５は、自動車Ｖにカメラ１０を搭載
し、ある障害物に接近するまでの動画像をビデオレート
でサンプリングして前述した動作の処理を施した結果を
示すグラフである。図５において、Ｘ軸は、自動車Ｖが
発進してからの経過時間を示し、Ｙ軸は、前述した
（３）、（４）式で求めた２つの値θt（左軸）と、こ
の２つの値θtの差に基づいて算出される値であるトリ
ガ出力（右軸）を示している。なお、（３）、（４）式
で求めた２つの値θtの差は非常に小さい値であるた
め、関数ｔａｎｈ（θ）によって非線形に増幅して明示
している。ここでは増幅する関数としてｔａｎｈ（）を
用いたが、２つの値の差がある程度大きくなったことを
検出できるものであれば何でもよい。この実施例では、
自動車Ｖが発進してから約６.２秒後に物体Ｗに接触し
た。図５から分かるように、接近成分の値θt及びヨー
成分の値θtは、接触前においてはほぼ同じ変動を示す
が、物体へ接近するにつれて差Ｓtが大きくなり、５.８
秒後に差が非常に大きくなって、トリガが出力されるこ
ととなる。前述した接近検出装置においては、この差Ｓ
tが所定のしきい値より大きくなったときにトリガを出
力するようにして、移動体と物体の接近を検出する。こ
れに応じて、自動車Ｖの減速、停止を行うことで物体Ｗ
への衝突を防止できる。
例を説明する。図５は、自動車Ｖにカメラ１０を搭載
し、ある障害物に接近するまでの動画像をビデオレート
でサンプリングして前述した動作の処理を施した結果を
示すグラフである。図５において、Ｘ軸は、自動車Ｖが
発進してからの経過時間を示し、Ｙ軸は、前述した
（３）、（４）式で求めた２つの値θt（左軸）と、こ
の２つの値θtの差に基づいて算出される値であるトリ
ガ出力（右軸）を示している。なお、（３）、（４）式
で求めた２つの値θtの差は非常に小さい値であるた
め、関数ｔａｎｈ（θ）によって非線形に増幅して明示
している。ここでは増幅する関数としてｔａｎｈ（）を
用いたが、２つの値の差がある程度大きくなったことを
検出できるものであれば何でもよい。この実施例では、
自動車Ｖが発進してから約６.２秒後に物体Ｗに接触し
た。図５から分かるように、接近成分の値θt及びヨー
成分の値θtは、接触前においてはほぼ同じ変動を示す
が、物体へ接近するにつれて差Ｓtが大きくなり、５.８
秒後に差が非常に大きくなって、トリガが出力されるこ
ととなる。前述した接近検出装置においては、この差Ｓ
tが所定のしきい値より大きくなったときにトリガを出
力するようにして、移動体と物体の接近を検出する。こ
れに応じて、自動車Ｖの減速、停止を行うことで物体Ｗ
への衝突を防止できる。
【００３２】なお、図３、４に示す例では、選択領域を
左右または上下に２つずつ設定するようにしたが、高精
度な検出精度を必要としない接近検出は、片側の２つの
みでも可能である。すなわち、図３の例では、選択領域
ｈ1、ｈ3（またはｈ2、ｈ4）のみで処理しても検出可能
である。このとき、（３）、（４）式は、以下のように
なる。 θt＝ｗ1ρ1 t・・・・・・（３）’ θt＝ｗ3ρ3 t・・・・・・（４）’ また、図４の例では、選択ｈ5、ｈ7（または、ｈ6、
ｈ8）のみで検出処理を行っても可能である。また、逆
に選択領域は、左右または上下に、接近成分検出用とヨ
ーまたはピッチ成分検出用をそれぞれ３つ以上設定して
もよい。
左右または上下に２つずつ設定するようにしたが、高精
度な検出精度を必要としない接近検出は、片側の２つの
みでも可能である。すなわち、図３の例では、選択領域
ｈ1、ｈ3（またはｈ2、ｈ4）のみで処理しても検出可能
である。このとき、（３）、（４）式は、以下のように
なる。 θt＝ｗ1ρ1 t・・・・・・（３）’ θt＝ｗ3ρ3 t・・・・・・（４）’ また、図４の例では、選択ｈ5、ｈ7（または、ｈ6、
ｈ8）のみで検出処理を行っても可能である。また、逆
に選択領域は、左右または上下に、接近成分検出用とヨ
ーまたはピッチ成分検出用をそれぞれ３つ以上設定して
もよい。
【００３３】また、前述した説明では、ヨー成分を用い
て接近する動作を説明したが、ピッチ線分を用いた場合
であっても同様の処理で接近を検出することが可能であ
る。また、移動体は、自動車のみならず、二足歩行の人
間型ロボットを含む自律移動ロボットや無人搬送車であ
ってもよい。また、カメラ１０の光軸に直交する光軸を
有するカメラを新たに備えるようにして、このカメラか
ら得られた画像のオプティカルフローに基づいて、自動
車Ｖのロール成分を求め、この求めたロール成分を状況
判断部１３へ通知するようにして、ロール成分の影響を
除去するようにしてもよい。また、ロール成分検出にジ
ャイロを用い、ジャイロの出力を状況判断部１３へ通知
するようにして、ロール成分の影響を除去するようにし
てもよい。
て接近する動作を説明したが、ピッチ線分を用いた場合
であっても同様の処理で接近を検出することが可能であ
る。また、移動体は、自動車のみならず、二足歩行の人
間型ロボットを含む自律移動ロボットや無人搬送車であ
ってもよい。また、カメラ１０の光軸に直交する光軸を
有するカメラを新たに備えるようにして、このカメラか
ら得られた画像のオプティカルフローに基づいて、自動
車Ｖのロール成分を求め、この求めたロール成分を状況
判断部１３へ通知するようにして、ロール成分の影響を
除去するようにしてもよい。また、ロール成分検出にジ
ャイロを用い、ジャイロの出力を状況判断部１３へ通知
するようにして、ロール成分の影響を除去するようにし
てもよい。
【００３４】また、図２に示す処理の機能を実現するた
めのプログラムをコンピュータ読み取り可能な記録媒体
に記録して、この記録媒体に記録されたプログラムをコ
ンピュータシステムに読み込ませ、実行することにより
接近検出を行ってもよい。なお、ここでいう「コンピュ
ータシステム」とは、ＯＳや周辺機器等のハードウェア
を含むものとする。また、「コンピュータシステム」
は、ＷＷＷシステムを利用している場合であれば、ホー
ムページ提供環境（あるいは表示環境）も含むものとす
る。また、「コンピュータ読み取り可能な記録媒体」と
は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、
ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内
蔵されるハードディスク等の記憶装置のことをいう。さ
らに「コンピュータ読み取り可能な記録媒体」とは、イ
ンターネット等のネットワークや電話回線等の通信回線
を介してプログラムが送信された場合のサーバやクライ
アントとなるコンピュータシステム内部の揮発性メモリ
（ＲＡＭ）のように、一定時間プログラムを保持してい
るものも含むものとする。
めのプログラムをコンピュータ読み取り可能な記録媒体
に記録して、この記録媒体に記録されたプログラムをコ
ンピュータシステムに読み込ませ、実行することにより
接近検出を行ってもよい。なお、ここでいう「コンピュ
ータシステム」とは、ＯＳや周辺機器等のハードウェア
を含むものとする。また、「コンピュータシステム」
は、ＷＷＷシステムを利用している場合であれば、ホー
ムページ提供環境（あるいは表示環境）も含むものとす
る。また、「コンピュータ読み取り可能な記録媒体」と
は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、
ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内
蔵されるハードディスク等の記憶装置のことをいう。さ
らに「コンピュータ読み取り可能な記録媒体」とは、イ
ンターネット等のネットワークや電話回線等の通信回線
を介してプログラムが送信された場合のサーバやクライ
アントとなるコンピュータシステム内部の揮発性メモリ
（ＲＡＭ）のように、一定時間プログラムを保持してい
るものも含むものとする。
【００３５】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル（差分プログラム）であっても良
い。
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル（差分プログラム）であっても良
い。
【００３６】
【発明の効果】以上説明したように、請求項１、５、９
に記載の発明によれば、時間的に連続する少なくとも２
枚の画像からオプティカルフローを算出し、画像上の第
１の選択領域において所定のフィルター関数を用い、オ
プティカルフローの大きさに応じた値を加算して接近検
出用加算値を算出するとともに、画像上の第２の選択領
域においてフィルター関数を用い、オプティカルフロー
の大きさに応じた値を加算して振動検出用加算値を算出
し、この接近検出用加算値と振動検出用加算値との差が
所定のしきい値を超えた場合に、物体への接近を検出す
る状況判断を行うようにしたため、所定の選択領域にお
けるオプティカルフローの接近検出用加算値と振動検出
用加算値との差を求めるだけで、垂直または水平の振動
成分を含む画像においても簡単な処理によって物体の接
近を精度良く検出することができるという効果が得られ
る。また、請求項２、６、１０に記載の発明によれば、
第２の選択領域は、該領域内にオプティカルフローの湧
き出し点が含まれない位置に設けられ、第１の選択領域
は、第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができるという効果が得られる。また、請求項
３、７、１１に記載の発明によれば、第１及び第２の選
択領域は、それぞれオプティカルフローのヨー方向成分
とピッチ方向成分の少なくとも一方の方向成分から接近
検出用加算値及び振動検出用加算値を算出するように設
けたため、画像に含まれる振動成分の大部分を占めるヨ
ー方向成分とピッチ方向成分のノイズを効率良く除去す
ることができるという効果が得られる。また、請求項
４、８、１２に記載の発明によれば、２つの加算値から
高周波成分のノイズ除去を行い、２つの加算値に対して
重み付けを行うようにしたため、移動体の移動速度、画
像の画角・解像度、サンプリング周波数に応じた補正を
加算値に対して施すことが可能となり、結果的に検出精
度の向上を図ることが可能になるという効果が得られ
る。
に記載の発明によれば、時間的に連続する少なくとも２
枚の画像からオプティカルフローを算出し、画像上の第
１の選択領域において所定のフィルター関数を用い、オ
プティカルフローの大きさに応じた値を加算して接近検
出用加算値を算出するとともに、画像上の第２の選択領
域においてフィルター関数を用い、オプティカルフロー
の大きさに応じた値を加算して振動検出用加算値を算出
し、この接近検出用加算値と振動検出用加算値との差が
所定のしきい値を超えた場合に、物体への接近を検出す
る状況判断を行うようにしたため、所定の選択領域にお
けるオプティカルフローの接近検出用加算値と振動検出
用加算値との差を求めるだけで、垂直または水平の振動
成分を含む画像においても簡単な処理によって物体の接
近を精度良く検出することができるという効果が得られ
る。また、請求項２、６、１０に記載の発明によれば、
第２の選択領域は、該領域内にオプティカルフローの湧
き出し点が含まれない位置に設けられ、第１の選択領域
は、第２の選択領域よりも外側に設けるようにしたた
め、物体に接近した場合の接近検出用成分とノイズ成分
であるヨー方向またはピッチ方向成分の加算値の差を大
きくすることができ、結果的に検出精度の向上を図るこ
とができるとともに接近、衝突の判断及び認識を容易に
行うことができるという効果が得られる。また、請求項
３、７、１１に記載の発明によれば、第１及び第２の選
択領域は、それぞれオプティカルフローのヨー方向成分
とピッチ方向成分の少なくとも一方の方向成分から接近
検出用加算値及び振動検出用加算値を算出するように設
けたため、画像に含まれる振動成分の大部分を占めるヨ
ー方向成分とピッチ方向成分のノイズを効率良く除去す
ることができるという効果が得られる。また、請求項
４、８、１２に記載の発明によれば、２つの加算値から
高周波成分のノイズ除去を行い、２つの加算値に対して
重み付けを行うようにしたため、移動体の移動速度、画
像の画角・解像度、サンプリング周波数に応じた補正を
加算値に対して施すことが可能となり、結果的に検出精
度の向上を図ることが可能になるという効果が得られ
る。
【図１】 本発明の一実施形態の構成を示すブロック図
である。
である。
【図２】 図１に示す接近検出装置１の動作を示すフロ
ーチャートである。
ーチャートである。
【図３】 ヨー方向成分により、接近を検出する場合の
選択領域の配置例を示す説明図である。
選択領域の配置例を示す説明図である。
【図４】 ピッチ方向成分により、接近を検出する場合
の選択領域の配置例を示す説明図である。
の選択領域の配置例を示す説明図である。
【図５】 図２に示す動作の処理を施した結果を示すグ
ラフである。
ラフである。
１・・・接近検出装置
１０・・・カメラ
１１・・・画像メモリ
１２・・・オプティカルフロー算出部
１３・・・状況判断部
２・・・移動体制御部
フロントページの続き
Ｆターム(参考） 5B057 CA08 CA12 CA16 CC02 CE02
CE06 CE20 DA20 DC08 DC30
DC32
5C054 AA01 DA07 EA05 FC01 FC15
HA26
5L096 AA06 BA02 BA04 CA04 CA24
EA05 EA06 GA51 GA55 HA02
JA11
Claims (12)
- 【請求項１】 周囲の環境を時系列で撮像した画像に基
づいて物体への接近を検出する接近検出装置であって、 時間的に連続する少なくとも２枚の画像からオプティカ
ルフローを算出するオプティカルフロー算出手段と、 前記画像上の第１の選択領域において所定のフィルター
関数を用い、前記オプティカルフローの大きさに応じた
値を加算して接近検出用加算値を算出する第１の加算手
段と、 前記画像上の第２の選択領域において前記フィルター関
数を用い、前記オプティカルフローの大きさに応じた値
を加算して振動検出用加算値を算出する第２の加算手段
と、 前記接近検出用加算値と前記振動検出用加算値との差が
所定のしきい値を超えた場合に、物体への接近を検出す
る状況判断手段とを備えたことを特徴とする接近検出装
置。 - 【請求項２】 請求項１記載の接近検出装置であって、 前記第２の選択領域は、該領域内に前記オプティカルフ
ローの湧き出し点が含まれない位置に設けられ、前記第
１の選択領域は、前記第２の選択領域よりも外側に設け
られていることを特徴とする接近検出装置。 - 【請求項３】 請求項１または請求項２記載の接近検出
装置であって、 前記第１及び第２の選択領域は、それぞれ前記オプティ
カルフローのヨー方向成分とピッチ方向成分の少なくと
も一方の方向成分から前記接近検出用加算値及び前記振
動検出用加算値を算出するように設けられていることを
特徴とする接近検出装置。 - 【請求項４】 請求項１ないし請求項３のいずれかに記
載の接近検出装置であって、 前記状況判断手段は、 所定の時定数に基づく時間的なフィルタにより前記接近
検出用加算値及び前記振動検出用加算値から高周波成分
のノイズを除去するノイズ除去手段と、 前記高周波成分のノイズが除去された前記接近検出用加
算値及び前記振動検出用加算値に対してそれぞれ予め決
められた重み付け係数を乗算する重み付け手段と、 前記重み付け手段によって重み付けされた前記接近検出
用加算値と前記振動検出用加算値との差を求める減算手
段と、 前記接近検出用加算値と前記振動検出用加算値との差が
所定のしきい値を超えたか否かを判定する判定手段とか
らなることを特徴とする接近検出装置。 - 【請求項５】 周囲の環境を時系列で撮像した画像に基
づいて物体への接近を検出する接近検出方法であって、 時間的に連続する少なくとも２枚の画像からオプティカ
ルフローを算出するオプティカルフロー算出過程と、 前記画像上の第１の選択領域において所定のフィルター
関数を用い、前記オプティカルフローの大きさに応じた
値を加算して接近検出用加算値を算出する第１の加算過
程と、 前記画像上の第２の選択領域において前記フィルター関
数を用い、前記オプティカルフローの大きさに応じた値
を加算して振動検出用加算値を算出する第２の加算過程
と、 前記接近検出用加算値と前記振動検出用加算値との差が
所定のしきい値を超えた場合に、物体への接近を検出す
る状況判断過程とを有することを特徴とする接近検出方
法。 - 【請求項６】 請求項５記載の接近検出方法であって、 前記第２の選択領域は、該領域内に前記オプティカルフ
ローの湧き出し点が含まれない位置に設けられ、前記第
１の選択領域は、前記第２の選択領域よりも外側に設け
られていることを特徴とする接近検出方法。 - 【請求項７】 請求項５または請求項６記載の接近検出
方法であって、 前記第１及び第２の選択領域は、それぞれ前記オプティ
カルフローのヨー方向成分とピッチ方向成分の少なくと
も一方の方向成分から前記接近検出用加算値及び前記振
動検出用加算値を算出するように設けられていることを
特徴とする接近検出方法。 - 【請求項８】 請求項５ないし請求項７のいずれかに記
載の接近検出方法であって、 前記状況判断過程は、 所定の時定数に基づく時間的なフィルタにより前記接近
検出用加算値及び前記振動検出用加算値から高周波成分
のノイズを除去するノイズ除去過程と、 前記高周波成分のノイズが除去された前記接近検出用加
算値及び前記振動検出用加算値に対してそれぞれ予め決
められた重み付け係数を乗算する重み付け過程と、 前記重み付け過程において重み付けされた前記接近検出
用加算値と前記振動検出用加算値との差を求める減算過
程と、 前記接近検出用加算値と前記振動検出用加算値との差が
所定のしきい値を超えたか否かを判定する判定過程とか
らなることを特徴とする接近検出方法。 - 【請求項９】 周囲の環境を時系列で撮像した画像に基
づいて物体への接近を検出する接近検出プログラムであ
って、 時間的に連続する少なくとも２枚の画像からオプティカ
ルフローを算出するオプティカルフロー算出処理と、 前記画像上の第１の選択領域において所定のフィルター
関数を用い、前記オプティカルフローの大きさに応じた
値を加算して接近検出用加算値を算出する第１の加算処
理と、 前記画像上の第２の選択領域において前記フィルター関
数を用い、前記オプティカルフローの大きさに応じた値
を加算して振動検出用加算値を算出する第２の加算処理
と、 前記接近検出用加算値と前記振動検出用加算値との差が
所定のしきい値を超えた場合に、物体への接近を検出す
る状況判断処理とをコンピュータに行わせることを特徴
とする接近検出プログラム。 - 【請求項１０】 請求項９記載の接近検出プログラムで
あって、 前記第２の選択領域は、該領域内に前記オプティカルフ
ローの湧き出し点が含まれない位置に設けられ、前記第
１の選択領域は、前記第２の選択領域よりも外側に設け
られていることを特徴とする接近検出プログラム。 - 【請求項１１】 請求項９または請求項１０記載の接近
検出プログラムであって、 前記第１及び第２の選択領域は、それぞれ前記オプティ
カルフローのヨー方向成分とピッチ方向成分の少なくと
も一方の方向成分から前記接近検出用加算値及び前記振
動検出用加算値を算出するように設けられていることを
特徴とする接近検出プログラム。 - 【請求項１２】 請求項９ないし請求項１１のいずれか
に記載の接近検出プログラムであって、 前記状況判断処理は、 所定の時定数に基づく時間的なフィルタにより前記接近
検出用加算値及び前記振動検出用加算値から高周波成分
のノイズを除去するノイズ除去処理と、 前記高周波成分のノイズが除去された前記接近検出用加
算値及び前記振動検出用加算値に対してそれぞれ予め決
められた重み付け係数を乗算する重み付け処理と、 前記重み付け処理において重み付けされた前記接近検出
用加算値と前記振動検出用加算値との差を求める減算処
理と、 前記接近検出用加算値と前記振動検出用加算値との差が
所定のしきい値を超えたか否かを判定する判定処理とか
らなることを特徴とする接近検出プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002100567A JP4162910B2 (ja) | 2001-05-11 | 2002-04-02 | 接近検出装置、接近検出方法、及び接近検出プログラム |
| EP02010335A EP1256487B1 (en) | 2001-05-11 | 2002-05-07 | System, method, and program for detecting approach to object |
| DE60214073T DE60214073T2 (de) | 2001-05-11 | 2002-05-07 | System, Methode und Programm zur Erkennung einer Objektannäherung |
| US10/140,951 US6581007B2 (en) | 2001-05-11 | 2002-05-09 | System, method, and program for detecting approach to object |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-141976 | 2001-05-11 | ||
| JP2001141976 | 2001-05-11 | ||
| JP2002100567A JP4162910B2 (ja) | 2001-05-11 | 2002-04-02 | 接近検出装置、接近検出方法、及び接近検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003051016A true JP2003051016A (ja) | 2003-02-21 |
| JP4162910B2 JP4162910B2 (ja) | 2008-10-08 |
Family
ID=26614995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002100567A Expired - Fee Related JP4162910B2 (ja) | 2001-05-11 | 2002-04-02 | 接近検出装置、接近検出方法、及び接近検出プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6581007B2 (ja) |
| EP (1) | EP1256487B1 (ja) |
| JP (1) | JP4162910B2 (ja) |
| DE (1) | DE60214073T2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006099155A (ja) * | 2004-09-28 | 2006-04-13 | Nissan Motor Co Ltd | 衝突判定装置、および方法 |
| EP1729260A2 (en) | 2005-06-01 | 2006-12-06 | Nissan Motor Company Limited | Behaviour detection |
| JP2010124028A (ja) * | 2008-11-17 | 2010-06-03 | Hitachi Kokusai Electric Inc | 監視装置 |
| JP2010128869A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 接近物体検出装置、接近物体検出プログラム、接近物体検出方法 |
| US7920719B2 (en) | 2006-06-05 | 2011-04-05 | Honda Motor Co., Ltd. | Collision avoidance of a mobile unit |
| KR20130082308A (ko) * | 2012-01-11 | 2013-07-19 | 삼성테크윈 주식회사 | 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치 |
| JP2020052544A (ja) * | 2018-09-25 | 2020-04-02 | トヨタ自動車株式会社 | 画像処理装置 |
| CN111539301A (zh) * | 2020-04-20 | 2020-08-14 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| AU2001243285A1 (en) | 2000-03-02 | 2001-09-12 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| WO2007053710A2 (en) | 2005-11-01 | 2007-05-10 | Donnelly Corporation | Interior rearview mirror with display |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| EP1363810B1 (en) | 2001-01-23 | 2007-05-30 | Donnelly Corporation | Improved vehicular lighting system |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| EP1514246A4 (en) | 2002-06-06 | 2008-04-16 | Donnelly Corp | COMPASS INTERIOR COURTESY MIRROR SYSTEM |
| EP1543358A2 (en) | 2002-09-20 | 2005-06-22 | Donnelly Corporation | Mirror reflective element assembly |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| US7289037B2 (en) | 2003-05-19 | 2007-10-30 | Donnelly Corporation | Mirror assembly for vehicle |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| DE102004046101B4 (de) * | 2004-09-23 | 2007-01-18 | Daimlerchrysler Ag | Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen |
| DE102004048400A1 (de) * | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren für die Erfassung einer optischen Struktur |
| TWI243276B (en) * | 2004-11-12 | 2005-11-11 | Young Optics Inc | Imaging displacement module and optical projection device |
| US7130745B2 (en) * | 2005-02-10 | 2006-10-31 | Toyota Technical Center Usa, Inc. | Vehicle collision warning system |
| EP1883855B1 (en) | 2005-05-16 | 2011-07-20 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| CA2644710C (en) | 2006-03-09 | 2013-05-28 | Gentex Corporation | Vehicle rearview assembly including a high intensity display |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| FR2938228B1 (fr) * | 2008-11-10 | 2010-11-05 | Peugeot Citroen Automobiles Sa | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile |
| US20110102583A1 (en) * | 2009-10-30 | 2011-05-05 | Kim Kinzalow | Rear view camera system and calibration method |
| US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
| US9598018B2 (en) | 2013-03-15 | 2017-03-21 | Gentex Corporation | Display mirror assembly |
| JP5905846B2 (ja) * | 2013-03-29 | 2016-04-20 | 株式会社日本自動車部品総合研究所 | 横断判定装置およびプログラム |
| AU2014326772B2 (en) | 2013-09-24 | 2017-07-20 | Gentex Corporation | Display mirror assembly |
| WO2015116915A1 (en) | 2014-01-31 | 2015-08-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
| CN106061794B (zh) | 2014-03-21 | 2019-06-07 | 金泰克斯公司 | 三态显示镜组件 |
| US9834146B2 (en) | 2014-04-01 | 2017-12-05 | Gentex Corporation | Automatic display mirror assembly |
| US9694751B2 (en) | 2014-09-19 | 2017-07-04 | Gentex Corporation | Rearview assembly |
| KR101977686B1 (ko) | 2014-11-07 | 2019-05-13 | 젠텍스 코포레이션 | 풀 디스플레이 미러 액추에이터 |
| KR101977685B1 (ko) | 2014-11-13 | 2019-05-13 | 젠텍스 코포레이션 | 디스플레이를 갖춘 후방 미러 시스템 |
| JP6553186B2 (ja) | 2014-12-03 | 2019-07-31 | ジェンテックス コーポレイション | ディスプレイミラーアセンブリ |
| USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
| US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
| US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
| KR102050326B1 (ko) | 2015-04-20 | 2019-11-29 | 젠텍스 코포레이션 | 어플리케를 갖춘 후면뷰 조립체 |
| WO2016187215A1 (en) | 2015-05-18 | 2016-11-24 | Gentex Corporation | Full display rearview device |
| US11178353B2 (en) | 2015-06-22 | 2021-11-16 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
| USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
| USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
| EP3368375B1 (en) | 2015-10-30 | 2020-03-04 | Gentex Corporation | Rearview device |
| CN108349435B (zh) | 2015-10-30 | 2021-06-15 | 金泰克斯公司 | 切换板 |
| USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
| USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
| USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
| US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
| USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
| USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
| US20180191966A1 (en) | 2016-12-30 | 2018-07-05 | Gentex Corporation | Full display mirror with on-demand spotter view |
| EP3595931A4 (en) | 2017-03-17 | 2020-01-22 | Gentex Corporation | REVIEW REVERSE CAMERA WITH TWO |
| CN115018785A (zh) * | 2022-06-01 | 2022-09-06 | 中国矿业大学 | 基于视觉振频识别的提升钢丝绳张力检测方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5198896A (en) * | 1989-10-26 | 1993-03-30 | Canon Kabushiki Kaisha | Movement detection apparatus for detecting movement vectors from an image signal |
| US5128874A (en) * | 1990-01-02 | 1992-07-07 | Honeywell Inc. | Inertial navigation sensor integrated obstacle detection system |
| DE69322423T2 (de) * | 1992-03-13 | 1999-06-02 | Canon Kk | Vorrichtung zur Detektion von Bewegungsvektoren |
| DE4332612C2 (de) * | 1992-09-25 | 1996-02-22 | Yazaki Corp | Außenansichts-Überwachungsverfahren für Kraftfahrzeuge |
| JP3011566B2 (ja) | 1993-02-26 | 2000-02-21 | 三菱電機株式会社 | 接近車監視装置 |
| JP3321386B2 (ja) | 1997-06-27 | 2002-09-03 | 株式会社ハゴロモ | Ｃｄケース等の収納容器 |
| JP3886618B2 (ja) | 1997-10-28 | 2007-02-28 | 本田技研工業株式会社 | 動画像処理方法 |
| US6175652B1 (en) * | 1997-12-31 | 2001-01-16 | Cognex Corporation | Machine vision system for analyzing features based on multiple object images |
| JPH11353565A (ja) | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
-
2002
- 2002-04-02 JP JP2002100567A patent/JP4162910B2/ja not_active Expired - Fee Related
- 2002-05-07 EP EP02010335A patent/EP1256487B1/en not_active Expired - Fee Related
- 2002-05-07 DE DE60214073T patent/DE60214073T2/de not_active Expired - Fee Related
- 2002-05-09 US US10/140,951 patent/US6581007B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006099155A (ja) * | 2004-09-28 | 2006-04-13 | Nissan Motor Co Ltd | 衝突判定装置、および方法 |
| EP1729260A2 (en) | 2005-06-01 | 2006-12-06 | Nissan Motor Company Limited | Behaviour detection |
| US7920719B2 (en) | 2006-06-05 | 2011-04-05 | Honda Motor Co., Ltd. | Collision avoidance of a mobile unit |
| JP2010124028A (ja) * | 2008-11-17 | 2010-06-03 | Hitachi Kokusai Electric Inc | 監視装置 |
| JP2010128869A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 接近物体検出装置、接近物体検出プログラム、接近物体検出方法 |
| KR20130082308A (ko) * | 2012-01-11 | 2013-07-19 | 삼성테크윈 주식회사 | 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치 |
| KR101657524B1 (ko) | 2012-01-11 | 2016-09-19 | 한화테크윈 주식회사 | 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치 |
| JP2020052544A (ja) * | 2018-09-25 | 2020-04-02 | トヨタ自動車株式会社 | 画像処理装置 |
| JP7143703B2 (ja) | 2018-09-25 | 2022-09-29 | トヨタ自動車株式会社 | 画像処理装置 |
| CN111539301A (zh) * | 2020-04-20 | 2020-08-14 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
| CN111539301B (zh) * | 2020-04-20 | 2023-04-18 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4162910B2 (ja) | 2008-10-08 |
| EP1256487B1 (en) | 2006-08-23 |
| EP1256487A2 (en) | 2002-11-13 |
| US6581007B2 (en) | 2003-06-17 |
| DE60214073T2 (de) | 2007-04-12 |
| US20020169555A1 (en) | 2002-11-14 |
| EP1256487A3 (en) | 2005-01-19 |
| DE60214073D1 (de) | 2006-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003051016A (ja) | 接近検出装置、接近検出方法、及び接近検出プログラム | |
| JP7007497B2 (ja) | 測距方法、知能制御方法及び装置、電子機器ならびに記憶媒体 | |
| JP5187292B2 (ja) | 車両周辺監視装置 | |
| JP5323910B2 (ja) | 移動ロボットの遠隔操縦のための衝突防止装置及び方法 | |
| JP6273352B2 (ja) | 物体検出装置、物体検出方法、および移動ロボット | |
| JP5418661B2 (ja) | 車両周辺監視装置 | |
| JP2001213254A (ja) | 車両用側方監視装置 | |
| US9098750B2 (en) | Gradient estimation apparatus, gradient estimation method, and gradient estimation program | |
| JP5240149B2 (ja) | 車両周辺監視装置 | |
| JP4609076B2 (ja) | 移動物体検出装置及び移動物体検出方法 | |
| JP2012222776A (ja) | 画像処理装置、画像処理方法、及び運転支援システム | |
| JP6822571B2 (ja) | 端末装置、危険予測方法、プログラム | |
| US20190197730A1 (en) | Semiconductor device, imaging system, and program | |
| JP4483413B2 (ja) | 移動物体検出装置及び移動物体検出方法 | |
| JP5251814B2 (ja) | 運転支援装置 | |
| JP3226699B2 (ja) | 車両用周辺監視装置 | |
| JP2009087336A (ja) | 障害物検出方法 | |
| JP2008257399A (ja) | 画像処理装置 | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| JP2008066953A (ja) | 画像監視装置 | |
| JP2010286985A (ja) | 物体検出装置および物体検出方法 | |
| JP2005101758A (ja) | 車両用障害物検出装置 | |
| WO2023210288A1 (ja) | 情報処理装置、情報処理方法および情報処理システム | |
| WO2022097489A1 (ja) | 画像処理装置、画像処理方法 | |
| JP2005044196A (ja) | 移動体周辺監視装置、自動車、移動体周辺監視方法、制御プログラムおよび可読記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4162910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140801 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |