JP2002352249A - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法Info
- Publication number
- JP2002352249A JP2002352249A JP2001154570A JP2001154570A JP2002352249A JP 2002352249 A JP2002352249 A JP 2002352249A JP 2001154570 A JP2001154570 A JP 2001154570A JP 2001154570 A JP2001154570 A JP 2001154570A JP 2002352249 A JP2002352249 A JP 2002352249A
- Authority
- JP
- Japan
- Prior art keywords
- candidate area
- image
- captured
- virtual plane
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 移動体に取り付けられたＴＶカメラからの画
像から、自車両に衝突する危険のある障害物が、路面の
法線方向とは異なる法線方向の平面を含んでいることに
着目して、衝突の危険性がある障害物をもらすことなく
検出することのできる動画像処理装置を提供する。 【構成】 車両に取り付けられ、車両周辺の画像を取得
可能な装置である画像入力部１によって得られた画像列
から、候補領域設定部２によって、障害物か否かを判定
するための画像内の領域を設定する。平面方向推定部３
では、候補領域設定部２で選択された領域に対応する実
空間内の物体表面の法線方向を推定する。平面の法線方
向は、様々な法線方向を仮定して画像上の候補領域を追
跡し、その追跡結果が実際に得られている画像と適合す
る法線方向を選択することにより推定される。障害物検
出部４では、候補領域の推定された平面の法線方向が、
自車両が走行している路面の法線方向と異なる場合、そ
の候補領域を障害物領域として検出する。
像から、自車両に衝突する危険のある障害物が、路面の
法線方向とは異なる法線方向の平面を含んでいることに
着目して、衝突の危険性がある障害物をもらすことなく
検出することのできる動画像処理装置を提供する。 【構成】 車両に取り付けられ、車両周辺の画像を取得
可能な装置である画像入力部１によって得られた画像列
から、候補領域設定部２によって、障害物か否かを判定
するための画像内の領域を設定する。平面方向推定部３
では、候補領域設定部２で選択された領域に対応する実
空間内の物体表面の法線方向を推定する。平面の法線方
向は、様々な法線方向を仮定して画像上の候補領域を追
跡し、その追跡結果が実際に得られている画像と適合す
る法線方向を選択することにより推定される。障害物検
出部４では、候補領域の推定された平面の法線方向が、
自車両が走行している路面の法線方向と異なる場合、そ
の候補領域を障害物領域として検出する。
Description
【０００１】
【発明の属する技術分野】本発明は、自動車などの車両
に代表される移動体に取り付けられたＴＶカメラの画像
を用いて、自車両の走行の障害となる物体を検出する画
像処理装置及びその方法に関する。
に代表される移動体に取り付けられたＴＶカメラの画像
を用いて、自車両の走行の障害となる物体を検出する画
像処理装置及びその方法に関する。
【０００２】
【従来の技術】自動車などの車両周辺の障害物を検出す
る手段として、大きく分けてレーダーを用いる方式と、
画像を用いる方式が提案されている。
る手段として、大きく分けてレーダーを用いる方式と、
画像を用いる方式が提案されている。
【０００３】レーダーを用いる方式では、レーザーレー
ダー（特願平９−３０７９８）やミリ波レーダー（特開
２００１−４２０２５）が多く用いられている。レーザ
ーレーダーの方式は雨など悪天候に弱いという問題があ
る。ミリ波レーダーの方式には装置が高価になるという
問題が存在する。さらにこれらレーダを用いた方式で
は、自車両の走行経路上の障害物かどうかが分からない
という問題がある。
ダー（特願平９−３０７９８）やミリ波レーダー（特開
２００１−４２０２５）が多く用いられている。レーザ
ーレーダーの方式は雨など悪天候に弱いという問題があ
る。ミリ波レーダーの方式には装置が高価になるという
問題が存在する。さらにこれらレーダを用いた方式で
は、自車両の走行経路上の障害物かどうかが分からない
という問題がある。
【０００４】これに対して、画像を用いる方式では、自
車両の走行レーンを検出することができるため、自車両
の走行レーン上にある危険な障害物のみを検出できると
いう利点があり、また、装置も安価に構成することがで
きる。
車両の走行レーンを検出することができるため、自車両
の走行レーン上にある危険な障害物のみを検出できると
いう利点があり、また、装置も安価に構成することがで
きる。
【０００５】この画像を用いる方式には、複数のＴＶカ
メラを用いる方式と、単一のＴＶカメラを用いる方式が
ある。
メラを用いる方式と、単一のＴＶカメラを用いる方式が
ある。
【０００６】複数のＴＶカメラを用いる方式には、三角
測量の原理によって距離を計測することにより障害物を
検出する方式（特願平１１−３１３７）と、路面より高
い位置にあるものを障害物として検出する方式（特願平
１１−１３０４５１）とがある。
測量の原理によって距離を計測することにより障害物を
検出する方式（特願平１１−３１３７）と、路面より高
い位置にあるものを障害物として検出する方式（特願平
１１−１３０４５１）とがある。
【０００７】また、単一のＴＶカメラを用いる方式に
は、画像上の物体の動きを計測することにより障害物を
検出する方式（特願平５−２３４５９４、文献１「胡、
内村、“変動背景における複数移動物体の検出及び同時
追跡”、電学論Ｄ、１２０巻１０号」）と、画像のエッ
ジ点（周辺の輝度値の変化が大きい画素）に基づいて障
害物を検出する方式（特開平７−２８０５１７、特開平
７−２８９７５）とがある。
は、画像上の物体の動きを計測することにより障害物を
検出する方式（特願平５−２３４５９４、文献１「胡、
内村、“変動背景における複数移動物体の検出及び同時
追跡”、電学論Ｄ、１２０巻１０号」）と、画像のエッ
ジ点（周辺の輝度値の変化が大きい画素）に基づいて障
害物を検出する方式（特開平７−２８０５１７、特開平
７−２８９７５）とがある。
【０００８】さらに、レーダーと画像を組み合わせた方
式（特願平９−３０８８４４、特願平１０−２９０３６
８）も提案されている。
式（特願平９−３０８８４４、特願平１０−２９０３６
８）も提案されている。
【０００９】
【発明が解決しようとする課題】ところで、自車両の走
行レーンを検出するためにＴＶカメラを必要とするの
で、このカメラを用いて障害物検出まで行うことができ
れば、コストの面で他のレーダーなどと組み合わせて障
害物を検出する方式に比べて有利である。また、用いる
カメラの数も複数より１台の方が当然コスト的に有利で
あり、また複数のカメラを用いる場合に必要なカメラ間
の位置合わせ（キャリブレーション）の作業も必要なく
なるため、簡単に装置を構成できるという利点もある。
行レーンを検出するためにＴＶカメラを必要とするの
で、このカメラを用いて障害物検出まで行うことができ
れば、コストの面で他のレーダーなどと組み合わせて障
害物を検出する方式に比べて有利である。また、用いる
カメラの数も複数より１台の方が当然コスト的に有利で
あり、また複数のカメラを用いる場合に必要なカメラ間
の位置合わせ（キャリブレーション）の作業も必要なく
なるため、簡単に装置を構成できるという利点もある。
【００１０】この１台のＴＶカメラを用いる方式とし
て、水平なエッジ線を前方の車両の下端として検出する
手法（特開平７−２８０５１７、特開平７−２８９７
５）があるが、見付けたエッジ線が路面上のペイントや
アスファルトの継ぎ目などの可能性もあるため、誤検出
を起こす問題がある。
て、水平なエッジ線を前方の車両の下端として検出する
手法（特開平７−２８０５１７、特開平７−２８９７
５）があるが、見付けたエッジ線が路面上のペイントや
アスファルトの継ぎ目などの可能性もあるため、誤検出
を起こす問題がある。
【００１１】文献２（Ｓ．ＣａｒｌｓｓｏｎとＪ．−
Ｏ．Ｅｋｌｕｎｄｈは、“Ｏｂｊｅｃｔ ｄｅｔｅｃｔ
ｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ ｂａｓｅｄ ｐｒｅ
ｄｉｃｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｐａｒａｌｌ
ａｘ”，Ｐｒｏｃ．ｏｆ ＥＣＣＶ，ｐｐ．２９７−３
０６，１９９０）において、路面の動きを画面内の点の
動きを用いて推定し、路面の動きと異なる動きをする領
域を障害物領域として求める手法がある。この手法のよ
うに、路面の動きを推定する手法は、画像上で路面が比
較的大きい面積を占めており、かつ、その路面に明瞭な
テクスチャ（白線や横断歩道などのペイント）を必要と
する。実際の走行環境ではこの様な条件が満たされない
ことも多いという問題がある。
Ｏ．Ｅｋｌｕｎｄｈは、“Ｏｂｊｅｃｔ ｄｅｔｅｃｔ
ｉｏｎ ｕｓｉｎｇ ｍｏｄｅｌ ｂａｓｅｄ ｐｒｅ
ｄｉｃｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｐａｒａｌｌ
ａｘ”，Ｐｒｏｃ．ｏｆ ＥＣＣＶ，ｐｐ．２９７−３
０６，１９９０）において、路面の動きを画面内の点の
動きを用いて推定し、路面の動きと異なる動きをする領
域を障害物領域として求める手法がある。この手法のよ
うに、路面の動きを推定する手法は、画像上で路面が比
較的大きい面積を占めており、かつ、その路面に明瞭な
テクスチャ（白線や横断歩道などのペイント）を必要と
する。実際の走行環境ではこの様な条件が満たされない
ことも多いという問題がある。
【００１２】文献１（胡、内村著、“変動背景における
複数移動物体の検出及び同時追跡”、電学論Ｄ、１２０
巻１０号）において、自車の進行方向を画面内の点の動
きから推定し、背景の運動方向以外の動きを持っている
領域を障害物として検出する手法がある。また、ＴＶカ
メラと路面との幾何学的な関係から、自車から障害物の
接地面までの距離の変化を計算し、自車と路面の相対速
度と異なる動きをしている移動物体を障害物として検出
している。しかし、この手法では、路上に静止している
物体が検出できないという問題がある。
複数移動物体の検出及び同時追跡”、電学論Ｄ、１２０
巻１０号）において、自車の進行方向を画面内の点の動
きから推定し、背景の運動方向以外の動きを持っている
領域を障害物として検出する手法がある。また、ＴＶカ
メラと路面との幾何学的な関係から、自車から障害物の
接地面までの距離の変化を計算し、自車と路面の相対速
度と異なる動きをしている移動物体を障害物として検出
している。しかし、この手法では、路上に静止している
物体が検出できないという問題がある。
【００１３】本発明では、以上のような点を考慮し、車
両の周辺をＴＶカメラを用いて撮影した画像列を用い
て、自車両に衝突すると危険な障害物だけをもらさず検
出する画像処理装置及びその方法を提供することを目的
とする。
両の周辺をＴＶカメラを用いて撮影した画像列を用い
て、自車両に衝突すると危険な障害物だけをもらさず検
出する画像処理装置及びその方法を提供することを目的
とする。
【００１４】
【課題を解決するための手段】請求項１の発明は、実空
間内を移動する移動物体の移動方向に存在する物体を検
出する画像処理装置において、前記移動物体に取り付け
られ、その移動方向を撮影した時系列画像を得る画像入
力手段と、前記取り込まれた画像内において前記物体が
写っているか否かを判定するための候補領域を設定する
候補領域設定手段と、前記設定された候補領域に対し
て、実空間内に１つの仮想平面、または、法線方向の異
なる複数の仮想平面を仮想的に設定する仮想平面設定手
段と、前記設定した仮想平面に対応する候補領域の時間
的な動きに関する情報に基づいて、前記候補領域に前記
物体が写っているか否かを判定する判定手段と、を具備
したことを特徴とする画像処理装置である。
間内を移動する移動物体の移動方向に存在する物体を検
出する画像処理装置において、前記移動物体に取り付け
られ、その移動方向を撮影した時系列画像を得る画像入
力手段と、前記取り込まれた画像内において前記物体が
写っているか否かを判定するための候補領域を設定する
候補領域設定手段と、前記設定された候補領域に対し
て、実空間内に１つの仮想平面、または、法線方向の異
なる複数の仮想平面を仮想的に設定する仮想平面設定手
段と、前記設定した仮想平面に対応する候補領域の時間
的な動きに関する情報に基づいて、前記候補領域に前記
物体が写っているか否かを判定する判定手段と、を具備
したことを特徴とする画像処理装置である。
【００１５】請求項２の発明は、前記判定手段は、前記
設定した仮想平面に対応する 候補領域の時間的な動き
に関する情報を求める候補領域追跡手段と、前記候補領
域の時間的な動きに関する情報と、前記画像入力手段に
よって取り込まれた実際の画像に基づく情報、または、
前記移動体の走行状態に関する情報とから前記物体が写
っている度合である適合度を計算する適合度計算手段
と、前記適合度計算手段で計算した適合度に基づいて、
前記物体が写った候補領域か否かを決定する検出手段
と、を具備したことを特徴とする請求項１記載の画像処
理装置である。
設定した仮想平面に対応する 候補領域の時間的な動き
に関する情報を求める候補領域追跡手段と、前記候補領
域の時間的な動きに関する情報と、前記画像入力手段に
よって取り込まれた実際の画像に基づく情報、または、
前記移動体の走行状態に関する情報とから前記物体が写
っている度合である適合度を計算する適合度計算手段
と、前記適合度計算手段で計算した適合度に基づいて、
前記物体が写った候補領域か否かを決定する検出手段
と、を具備したことを特徴とする請求項１記載の画像処
理装置である。
【００１６】請求項３の発明は、前記適合度計算手段
は、前記候補領域に相当する前記物体の現在の画像にお
ける輝度分布と、前記候補領域の時間的な動きに関する
情報を用いて初期の候補領域の輝度分布を現在の画像上
に移動させた輝度分布との差異を表す量を適合度とする
ことを特徴とする請求項２記載の画像処理装置である。
は、前記候補領域に相当する前記物体の現在の画像にお
ける輝度分布と、前記候補領域の時間的な動きに関する
情報を用いて初期の候補領域の輝度分布を現在の画像上
に移動させた輝度分布との差異を表す量を適合度とする
ことを特徴とする請求項２記載の画像処理装置である。
【００１７】請求項４の発明は、前記適合度計算手段
は、前記候補領域の時間的な動きに関する情報と移動体
の走行状態に関する情報の差異を表す量を適合度するこ
とを特徴とする請求項２記載の画像処理装置である。
は、前記候補領域の時間的な動きに関する情報と移動体
の走行状態に関する情報の差異を表す量を適合度するこ
とを特徴とする請求項２記載の画像処理装置である。
【００１８】請求項５の発明は、前記判定手段は、前記
候補領域の時間的な動きに関する情報から得られた前記
候補領域に相当する実空間内の仮想平面の法線方向と、
前記移動体が走行している平面の法線方向と異なる場合
には、その候補領域に物体が写っていると判定すること
を特徴とする請求項１記載の画像処理装置である。
候補領域の時間的な動きに関する情報から得られた前記
候補領域に相当する実空間内の仮想平面の法線方向と、
前記移動体が走行している平面の法線方向と異なる場合
には、その候補領域に物体が写っていると判定すること
を特徴とする請求項１記載の画像処理装置である。
【００１９】請求項６の発明は、前記仮想平面設定手段
は、前記仮想平面を設定する場合に背景を想定した１つ
または複数の仮想平面を設定し、前記判定手段は、前記
候補領域の時間的な動きに関する情報が背景の動きに関
する情報と異なるときに、前記候補領域に前記物体が写
っていると判定することを特徴とする請求項１記載の画
像処理装置である。
は、前記仮想平面を設定する場合に背景を想定した１つ
または複数の仮想平面を設定し、前記判定手段は、前記
候補領域の時間的な動きに関する情報が背景の動きに関
する情報と異なるときに、前記候補領域に前記物体が写
っていると判定することを特徴とする請求項１記載の画
像処理装置である。
【００２０】請求項７の発明は、実空間内を移動する移
動物体の移動方向に存在する物体を検出する画像処理方
法において、前記移動物体に取り付けられ、その移動方
向を撮影した時系列画像を得る画像入力手段によって取
り込まれた画像内において前記物体が写っているか否か
を判定するための候補領域を設定する候補領域設定ステ
ップと、前記設定された候補領域に対して、実空間内に
１つの仮想平面、または、法線方向の異なる複数の仮想
平面を仮想的に設定する仮想平面設定ステップと、前記
設定した仮想平面に対応する候補領域の時間的な動きに
関する情報に基づいて、前記候補領域に前記物体が写っ
ているか否かを判定する判定ステップと、を具備したこ
とを特徴とする画像処理方法である。
動物体の移動方向に存在する物体を検出する画像処理方
法において、前記移動物体に取り付けられ、その移動方
向を撮影した時系列画像を得る画像入力手段によって取
り込まれた画像内において前記物体が写っているか否か
を判定するための候補領域を設定する候補領域設定ステ
ップと、前記設定された候補領域に対して、実空間内に
１つの仮想平面、または、法線方向の異なる複数の仮想
平面を仮想的に設定する仮想平面設定ステップと、前記
設定した仮想平面に対応する候補領域の時間的な動きに
関する情報に基づいて、前記候補領域に前記物体が写っ
ているか否かを判定する判定ステップと、を具備したこ
とを特徴とする画像処理方法である。
【００２１】請求項８の発明は、実空間内を移動する移
動物体の移動方向に存在する物体を検出する画像処理方
法をコンピュータによって実現するプログラムにおい
て、前記移動物体に取り付けられ、その移動方向を撮影
した時系列画像を得る画像入力手段によって取り込まれ
た画像内において前記物体が写っているか否かを判定す
るための候補領域を設定する候補領域設定機能と、前記
設定された候補領域に対して、実空間内に１つの仮想平
面、または、法線方向の異なる複数の仮想平面を仮想的
に設定する仮想平面設定機能と、前記設定した仮想平面
に対応する候補領域の時間的な動きに関する情報に基づ
いて、前記候補領域に前記物体が写っているか否かを判
定する判定機能と、を実現することを特徴とする画像処
理方法のプログラムである。
動物体の移動方向に存在する物体を検出する画像処理方
法をコンピュータによって実現するプログラムにおい
て、前記移動物体に取り付けられ、その移動方向を撮影
した時系列画像を得る画像入力手段によって取り込まれ
た画像内において前記物体が写っているか否かを判定す
るための候補領域を設定する候補領域設定機能と、前記
設定された候補領域に対して、実空間内に１つの仮想平
面、または、法線方向の異なる複数の仮想平面を仮想的
に設定する仮想平面設定機能と、前記設定した仮想平面
に対応する候補領域の時間的な動きに関する情報に基づ
いて、前記候補領域に前記物体が写っているか否かを判
定する判定機能と、を実現することを特徴とする画像処
理方法のプログラムである。
【００２２】
【発明の実施の形態】本実施形態では、路面を走行中の
自車両に衝突する危険のある他の車両などの障害物が、
路面とは異なる法線方向の平面を含んでいることに着目
する。
自車両に衝突する危険のある他の車両などの障害物が、
路面とは異なる法線方向の平面を含んでいることに着目
する。
【００２３】すなわち、障害物か否かを判定したい画像
内のある候補領域が、実世界で路面と異なる法線方向を
持っている場合、その領域を障害物領域として検出す
る。
内のある候補領域が、実世界で路面と異なる法線方向を
持っている場合、その領域を障害物領域として検出す
る。
【００２４】障害物の平面の法線方向は、様々な法線方
向を仮定して画像上の候補領域を追跡し、その追跡結果
が実際に得られている画像と適合する法線方向を選択す
ることにより推定される。
向を仮定して画像上の候補領域を追跡し、その追跡結果
が実際に得られている画像と適合する法線方向を選択す
ることにより推定される。
【００２５】
【実施例】以下、図面を参照して本発明の実施形態を具
体的に実現する一実施例を説明する。
体的に実現する一実施例を説明する。
【００２６】図１に本実施例の基本的な構成例を示す。
【００２７】車両に取り付けられ、車両周辺の画像を取
得可能な装置（例えば、１台のＴＶカメラ）である画像
入力部１によって得られた画像列から、候補領域設定部
２によって、障害物かどうかを判定するための画像内の
領域を設定する。
得可能な装置（例えば、１台のＴＶカメラ）である画像
入力部１によって得られた画像列から、候補領域設定部
２によって、障害物かどうかを判定するための画像内の
領域を設定する。
【００２８】平面方向推定部３では、候補領域設定部２
で設定された領域に対応する実空間内の物体表面の法線
方向に関する情報を計算する。
で設定された領域に対応する実空間内の物体表面の法線
方向に関する情報を計算する。
【００２９】障害物検出部４では、候補領域の平面の法
線方向に関する情報を用いて、候補領域の法線方向が自
車両が走行している路面の法線方向と異なるか否かを決
定し、異なる場合にはその候補領域を障害物領域として
検出する。
線方向に関する情報を用いて、候補領域の法線方向が自
車両が走行している路面の法線方向と異なるか否かを決
定し、異なる場合にはその候補領域を障害物領域として
検出する。
【００３０】これら候補領域設定部２、平面方向推定部
３、障害物検出部４は、コンピュータに記憶されたプロ
グラムによって各機能を実現することができる。
３、障害物検出部４は、コンピュータに記憶されたプロ
グラムによって各機能を実現することができる。
【００３１】以下では、候補領域設定部２、平面方向推
定部３、障害物検出部４についての構成例を示す。
定部３、障害物検出部４についての構成例を示す。
【００３２】（ａ）候補領域設定部２ 候補領域設定部２では、障害物かどうかを判定する画像
内の領域を設定する。この領域の設定方法には、以下の
ような構成方法があり、いずれを用いてもよく、また組
み合わせて用いてもよい。
内の領域を設定する。この領域の設定方法には、以下の
ような構成方法があり、いずれを用いてもよく、また組
み合わせて用いてもよい。
【００３３】１．画像の全体または一部を複数の固定の
大きさの領域に重なりを許して分割し、それらそれぞれ
を候補領域とする。
大きさの領域に重なりを許して分割し、それらそれぞれ
を候補領域とする。
【００３４】２．車両に取り付けられたＴＶカメラで撮
像された画像では、路面の無限遠線付近を視野内に含ん
でいることが多い事を考慮して、上記１の領域の分割の
大きさを無限遠線に近いほど小さくする。
像された画像では、路面の無限遠線付近を視野内に含ん
でいることが多い事を考慮して、上記１の領域の分割の
大きさを無限遠線に近いほど小さくする。
【００３５】３．障害物と路面の境界は、水平なエッジ
強度の強い線分（エッジ線）として観測されるので、こ
のような水平エッジ線を検出して候補領域の下端とす
る。候補領域の幅と高さは、この線分の長さに基づいて
決めるか、上記１のように固定、または、２のように無
限遠線に近いほど小さくなるように決定する。
強度の強い線分（エッジ線）として観測されるので、こ
のような水平エッジ線を検出して候補領域の下端とす
る。候補領域の幅と高さは、この線分の長さに基づいて
決めるか、上記１のように固定、または、２のように無
限遠線に近いほど小さくなるように決定する。
【００３６】４．路面の表面は明瞭なテクスチャがない
ためエッジの強度が低い。それに対して、他の車両など
の障害物は輪郭やその内部に強いエッジ点を持つので、
上記１から３のようにして分割した領域のうち強いエッ
ジ点を含む領域を候補領域とする。
ためエッジの強度が低い。それに対して、他の車両など
の障害物は輪郭やその内部に強いエッジ点を持つので、
上記１から３のようにして分割した領域のうち強いエッ
ジ点を含む領域を候補領域とする。
【００３７】５．自動車などの人工物は、左右対照な形
状をしているものが多いので、上記１から３のようにし
て分割した領域のうち、画像上で左右対照な輝度分布を
している領域を候補領域とする。
状をしているものが多いので、上記１から３のようにし
て分割した領域のうち、画像上で左右対照な輝度分布を
している領域を候補領域とする。
【００３８】６．障害物が出現しそうな場所を予め設定
しておき、その領域に候補領域を上記のような方法によ
って設定する。
しておき、その領域に候補領域を上記のような方法によ
って設定する。
【００３９】（ｂ）平面方向推定部３ 平面方向推定部３の構成例を図２に示し、仮想平面設定
部３１と、候補領域追跡部３２と、適合度計算部３３と
から構成される。
部３１と、候補領域追跡部３２と、適合度計算部３３と
から構成される。
【００４０】仮想平面設定部３１は、候補領域設定部２
で設定されたそれぞれの候補領域に対して、法線方向の
異なる複数の平面を実空間内に仮定する。
で設定されたそれぞれの候補領域に対して、法線方向の
異なる複数の平面を実空間内に仮定する。
【００４１】候補領域追跡部３２は、候補領域に対応す
る実空間内の物体表面の平面の法線方向が、仮想平面の
法線方向と一致するという仮定のもとで、画像内におい
て候補領域を追跡する。
る実空間内の物体表面の平面の法線方向が、仮想平面の
法線方向と一致するという仮定のもとで、画像内におい
て候補領域を追跡する。
【００４２】適合度計算部３３は、それぞれの仮想平面
に対する追跡結果と、実際に得られている画像との適合
度を計算する。
に対する追跡結果と、実際に得られている画像との適合
度を計算する。
【００４３】（ｂ−１）仮想平面設定部３１ ＴＶカメラに固定な座標系ＯＣ −ＸＹＺと、候補領域
に相当する実空間内の物体に固定な座標系Ｏｏ −ＸＹ
Ｚをとる（図３参照）。障害物は路面上に接しているの
で、物体に固定な座標系の原点Ｏｏ は、候補領域の下
端の線分を路面上へ逆投影した線分の中点とし、ＸＺ平
面は路面上に、Ｚ軸は自車両の進行方向と平行に、Ｙ軸
は路面と垂直にとる。
に相当する実空間内の物体に固定な座標系Ｏｏ −ＸＹ
Ｚをとる（図３参照）。障害物は路面上に接しているの
で、物体に固定な座標系の原点Ｏｏ は、候補領域の下
端の線分を路面上へ逆投影した線分の中点とし、ＸＺ平
面は路面上に、Ｚ軸は自車両の進行方向と平行に、Ｙ軸
は路面と垂直にとる。
【００４４】仮定する平面は、物体に固定な座標系で表
すと、法線ベクトルがＫｏ ＝（Ｋ ＯＸＫｏｙＫｏｚ）
Ｔ で、原点Ｏｏ を通る平面であり、次式で表され
る。
すと、法線ベクトルがＫｏ ＝（Ｋ ＯＸＫｏｙＫｏｚ）
Ｔ で、原点Ｏｏ を通る平面であり、次式で表され
る。
【００４５】
【数１】 いくつの平面を仮定するかは任意である。例えば、道路
を走っている自動車から前方を撮影した画像では、障害
物として他の自動車が考えられる。この場合、他の自動
車として路面と自車両の進行方向に垂直な平面Ｋｏ ＝
（００１）Ｔと、路面Ｋｏ ＝（０１０）Ｔ の２平面
を仮定すればよい。
を走っている自動車から前方を撮影した画像では、障害
物として他の自動車が考えられる。この場合、他の自動
車として路面と自車両の進行方向に垂直な平面Ｋｏ ＝
（００１）Ｔと、路面Ｋｏ ＝（０１０）Ｔ の２平面
を仮定すればよい。
【００４６】カメラ座標系ＯＣ −ＸＹＺから物体に固
定な座標系Ｏｏ −ＸＹＺへの変換は、同時座標系で次
のようになる。
定な座標系Ｏｏ −ＸＹＺへの変換は、同時座標系で次
のようになる。
【００４７】
【数２】 ここで、Ｐｈｃ＝（Ｘｃ Ｙｃ Ｚｃ １）Ｔ はカメ
ラ座標系ＯＣ −ＸＹＺでのある点Ｐｃの同時座標表
現、Ｐｈｏは物体に固定な座標系Ｏｏ −ＸＹＺでのＰ
ｈｃに対応する点、Ｑｃｏは座標系ＯＣ −ＸＹＺから
座標系Ｏｏ −ＸＹＺへの変換を表す４×４の行列、Ｒ
ｃｏ、Ｔｃｏはそれぞれ座標系の回転、平行移動を表す
行列とベクトルである。Ｑｃｏを定めるためには、路面
に対するカメラの取り付け位置と角度が分かっていなけ
ればならないので、本方式では予めこれらを計測してお
く。この変換行列Ｑｃｏを用いると、式（１）で表され
る平面をカメラ座標系で表すことができ、その変換は次
式のようになる。
ラ座標系ＯＣ −ＸＹＺでのある点Ｐｃの同時座標表
現、Ｐｈｏは物体に固定な座標系Ｏｏ −ＸＹＺでのＰ
ｈｃに対応する点、Ｑｃｏは座標系ＯＣ −ＸＹＺから
座標系Ｏｏ −ＸＹＺへの変換を表す４×４の行列、Ｒ
ｃｏ、Ｔｃｏはそれぞれ座標系の回転、平行移動を表す
行列とベクトルである。Ｑｃｏを定めるためには、路面
に対するカメラの取り付け位置と角度が分かっていなけ
ればならないので、本方式では予めこれらを計測してお
く。この変換行列Ｑｃｏを用いると、式（１）で表され
る平面をカメラ座標系で表すことができ、その変換は次
式のようになる。
【００４８】
【数３】 変換後の平面は、次式の様な形に整理できる。
【００４９】
【数４】 （ｂ−２）候補領域追跡部３２ カメラ座標系において、シーン中のある点Ｐｐ ＝（Ｘ
ｐ Ｙｐ Ｚｐ ）Ｔ を画像平面に投影した点ｐｐ ＝
（ｘｐ ｙｐ ）Ｔ は、画像の歪みのない理想的な透
視投影カメラモデルを仮定すると、次式のようになる。
ｐ Ｙｐ Ｚｐ ）Ｔ を画像平面に投影した点ｐｐ ＝
（ｘｐ ｙｐ ）Ｔ は、画像の歪みのない理想的な透
視投影カメラモデルを仮定すると、次式のようになる。
【００５０】
【数５】 ここで、ｆは既知の焦点距離である。
【００５１】点Ｐｐ が、カメラ座標系の原点を中心に
Ｒ＝（Ｒｘ Ｒｙ Ｒｚ ）Ｔ だけ回転移動し、Ｔ＝
（Ｔｘ Ｔｙ Ｔｚ ）Ｔ だけ平行移動すると、移動
後の画像上での点ｐｉ ＝（ｘｉ ｙｉ ）Ｔ は次式
のようになる。
Ｒ＝（Ｒｘ Ｒｙ Ｒｚ ）Ｔ だけ回転移動し、Ｔ＝
（Ｔｘ Ｔｙ Ｔｚ ）Ｔ だけ平行移動すると、移動
後の画像上での点ｐｉ ＝（ｘｉ ｙｉ ）Ｔ は次式
のようになる。
【００５２】
【数６】
【数７】 上式に、平面の方程式（４）を代入して整理すると、次
式のようになる。
式のようになる。
【００５３】
【数８】 ここで、Ｋｃ ＝（ＫｃｘＫｃｙＫｃｚ）Ｔ である。
【００５４】
【数９】
【数１０】 ここで、Ｐは１つの候補領域内のピクセルの集合を表
す。Ｋｃ は仮想平面設定部３１で設定した平面の向き
を用いる。
す。Ｋｃ は仮想平面設定部３１で設定した平面の向き
を用いる。
【００５５】運動パラメータＴ、Ｒの推定には、必ずし
も式（１０）のようなＳＡＤの最小化を用いる必要はな
く、他にも輝度値の差の二乗和の最小化、輝度分布の相
関値の最大化、輝度値の微分値の差の絶対（二乗）和の
最小化などが考えられる。このような最適化問題を解く
ことによって行われる追跡処理は、（候補領域設定部２
で設定した候補領域の数）×（仮想平面設定部３１で設
定した平面の数）だけ独立に行われる。
も式（１０）のようなＳＡＤの最小化を用いる必要はな
く、他にも輝度値の差の二乗和の最小化、輝度分布の相
関値の最大化、輝度値の微分値の差の絶対（二乗）和の
最小化などが考えられる。このような最適化問題を解く
ことによって行われる追跡処理は、（候補領域設定部２
で設定した候補領域の数）×（仮想平面設定部３１で設
定した平面の数）だけ独立に行われる。
【００５６】シーンによっては必ずしも並進と回転の６
パラメータ全てを求める必要はなく、自車両とシーン中
の物体の間の相対運動に含まれないパラメータには０を
代入して、計算量を減らすことができる。
パラメータ全てを求める必要はなく、自車両とシーン中
の物体の間の相対運動に含まれないパラメータには０を
代入して、計算量を減らすことができる。
【００５７】例えば、道路上を走行している自動車に搭
載されたＴＶカメラが、進行方向の無限遠点をほぼ画像
の中央に捉えている場合、カメラ座標系のＺ軸周りの回
転運動はほとんどないので０とすることができる。ま
た、車両の鉛直方向の並進運動もほとんどないので０と
することができる。これは一般的に述べると、あるパラ
メータが他のパラメータに従属している場合、その拘束
式を式（１０）に代入して、推定するパラメータの次元
を減らすことに相当する。
載されたＴＶカメラが、進行方向の無限遠点をほぼ画像
の中央に捉えている場合、カメラ座標系のＺ軸周りの回
転運動はほとんどないので０とすることができる。ま
た、車両の鉛直方向の並進運動もほとんどないので０と
することができる。これは一般的に述べると、あるパラ
メータが他のパラメータに従属している場合、その拘束
式を式（１０）に代入して、推定するパラメータの次元
を減らすことに相当する。
【００５８】式（１０）によって候補領域に相当するシ
ーン中の物体の運動パラメータを求める追跡処理は、毎
フレーム行われるが、計算量の削減のために以下のよう
な処理の流れで行う。
ーン中の物体の運動パラメータを求める追跡処理は、毎
フレーム行われるが、計算量の削減のために以下のよう
な処理の流れで行う。
【００５９】まず、候補領域を定めた次のフレームで
は、すべての運動パラメータを０に初期化し、その周辺
で式（１０）の最小化を行う。その後のフレームでは、
前回の運動パラメータの周辺で最小化を行う。
は、すべての運動パラメータを０に初期化し、その周辺
で式（１０）の最小化を行う。その後のフレームでは、
前回の運動パラメータの周辺で最小化を行う。
【００６０】（ｂ−３）適合度計算部３３ ある候補領域において、間違った平面の方向を仮定して
追跡した場合、候補領域に相当するシーン中の物体の現
在のフレームにおける輝度分布と、追跡結果の運動パラ
メータを用いて初期の候補領域の輝度分布を現在の画像
上に移動させた輝度分布が異なってくる。
追跡した場合、候補領域に相当するシーン中の物体の現
在のフレームにおける輝度分布と、追跡結果の運動パラ
メータを用いて初期の候補領域の輝度分布を現在の画像
上に移動させた輝度分布が異なってくる。
【００６１】一方、正しい平面方向を仮定して追跡を行
った場合、この様なことは起こらないので、式（１０）
で最小化を行ったときの残差や、残差を候補領域の面積
で割った値を、追跡結果と現在の画像の適合度の指標と
して用いる。すなわち、残差が小さいほど適合度は高い
ので、この場合は非適合度となる。
った場合、この様なことは起こらないので、式（１０）
で最小化を行ったときの残差や、残差を候補領域の面積
で割った値を、追跡結果と現在の画像の適合度の指標と
して用いる。すなわち、残差が小さいほど適合度は高い
ので、この場合は非適合度となる。
【００６２】また、実際の車両と障害物の相対速度とし
てはあり得ない運動パラメータを推定結果として出力し
た場合には、その平面の現在の画像に対する適合度は低
く設定する。例えば、平面上を走行している車両の場
合、その平面の法線方向の並進運動が大きいものは低い
適合度を出力する。
てはあり得ない運動パラメータを推定結果として出力し
た場合には、その平面の現在の画像に対する適合度は低
く設定する。例えば、平面上を走行している車両の場
合、その平面の法線方向の並進運動が大きいものは低い
適合度を出力する。
【００６３】（ｃ）障害物検出部４ 障害物検出部４では、適合度計算部３３で計算された、
それぞれの仮想平面に対する適合度を用いて、それぞれ
の候補領域が障害物となるかどうかを判定する。以下で
は、式（１０）によって追跡処理を行ったときの残差を
候補領域の面積で割った値を適合度の指標として用いる
場合について以下に述べる。
それぞれの仮想平面に対する適合度を用いて、それぞれ
の候補領域が障害物となるかどうかを判定する。以下で
は、式（１０）によって追跡処理を行ったときの残差を
候補領域の面積で割った値を適合度の指標として用いる
場合について以下に述べる。
【００６４】ある候補領域ｃの仮想平面ｋに関して、フ
レームｇでの残差を候補領域ｃの面積で割った値をＤ
ｃ （ｇ，ｋ）と表し、非適合度と呼ぶ。路面に相当す
る仮想平面ｋｒ の非適合度Ｄｃ （ｇ，ｋｒ ）と、
障害物に相当する仮想平面ｋｄ の非適合度Ｄｃ （ｇ，
ｋｄ ）の差を、候補領域ｃが設定されたフレームｇ
ｐ から現在のフレームｇｉ まで、次式のように加算
する。
レームｇでの残差を候補領域ｃの面積で割った値をＤ
ｃ （ｇ，ｋ）と表し、非適合度と呼ぶ。路面に相当す
る仮想平面ｋｒ の非適合度Ｄｃ （ｇ，ｋｒ ）と、
障害物に相当する仮想平面ｋｄ の非適合度Ｄｃ （ｇ，
ｋｄ ）の差を、候補領域ｃが設定されたフレームｇ
ｐ から現在のフレームｇｉ まで、次式のように加算
する。
【００６５】
【数１１】 Ｓｃ （ｇｉ ，ｋｄ ）がある正の閾値を超えたと
き、候補領域ｃを障害物領域と決定する。
き、候補領域ｃを障害物領域と決定する。
【００６６】＜変更例１＞本発明は、上記実施例で記載
した内容に限定されるものではない。
した内容に限定されるものではない。
【００６７】候補領域追跡部３２において、候補領域内
の各点の動きベクトル（フローベクトル）を計算し、適
合度計算部３３において、このフローベクトルの分布に
基づいて、各仮想平面に対する適合度を計算することも
できる。
の各点の動きベクトル（フローベクトル）を計算し、適
合度計算部３３において、このフローベクトルの分布に
基づいて、各仮想平面に対する適合度を計算することも
できる。
【００６８】例えば、簡単のために図５の様な１次元の
フローベクトルで考えるとする。
フローベクトルで考えるとする。
【００６９】すると、カメラの光軸に対して垂直な平面
のフローベクトルは、光軸と画像平面の交点からの距離
の一次関数になっている。また、路面上のフローベクト
ルは、前記距離の二次関数になっている。すなわち、カ
メラの光軸に対して任意の角度を有する平面のフローベ
クトルと、前記距離との関数は、その角度に対応して一
義的に決定される。
のフローベクトルは、光軸と画像平面の交点からの距離
の一次関数になっている。また、路面上のフローベクト
ルは、前記距離の二次関数になっている。すなわち、カ
メラの光軸に対して任意の角度を有する平面のフローベ
クトルと、前記距離との関数は、その角度に対応して一
義的に決定される。
【００７０】そこで、この事実を応用して仮想平面にお
けるフローベクトルに関する関数（フローベクトルの分
布）が、実際の画像から得られたフローベクトルに関す
る関数（フローベクトルの分布）と近いか否かで適合度
を表すことができる。
けるフローベクトルに関する関数（フローベクトルの分
布）が、実際の画像から得られたフローベクトルに関す
る関数（フローベクトルの分布）と近いか否かで適合度
を表すことができる。
【００７１】＜変更例２＞車両にスピードメータやハン
ドル舵角などの各種センサーが取り付けられており、こ
れらの情報を用いることが可能な場合、平面方向推定部
３の構成（図２参照）を以下のようにすることも可能で
ある。
ドル舵角などの各種センサーが取り付けられており、こ
れらの情報を用いることが可能な場合、平面方向推定部
３の構成（図２参照）を以下のようにすることも可能で
ある。
【００７２】候補領域追跡部３２において、候補領域内
の各点のフローベクトルを計算する。
の各点のフローベクトルを計算する。
【００７３】同時に、適合度計算部３３において、車両
に取り付けられたセンサー群の情報を用いて、上記フロ
ーベクトルを計算した２枚の画像を取得する間の車両の
移動量を計算し、この移動量から各仮想平面のフローベ
クトルを計算する。
に取り付けられたセンサー群の情報を用いて、上記フロ
ーベクトルを計算した２枚の画像を取得する間の車両の
移動量を計算し、この移動量から各仮想平面のフローベ
クトルを計算する。
【００７４】次に、適合度計算部３３において、実際の
画像から計算された動きベクトルｖ ｒ （ｘ，ｙ）とセ
ンサー情報から計算された仮想平面の動きベクトルｖ
ｖ （ｘ，ｙ）の差を表す量を計算し、それを非適合度
として出力する。差を表す量としては、ｖｒ （ｘ，
ｙ）とｖｖ （ｘ，ｙ）の差の二乗和や、絶対和、差の
二乗（絶対値）の平均値などが考えられる。
画像から計算された動きベクトルｖ ｒ （ｘ，ｙ）とセ
ンサー情報から計算された仮想平面の動きベクトルｖ
ｖ （ｘ，ｙ）の差を表す量を計算し、それを非適合度
として出力する。差を表す量としては、ｖｒ （ｘ，
ｙ）とｖｖ （ｘ，ｙ）の差の二乗和や、絶対和、差の
二乗（絶対値）の平均値などが考えられる。
【００７５】＜変更例３＞道路の側壁などのように、背
景となる平面を予め想定できる場合は、仮想平面設定部
３１において想定される背景の仮想平面を設定し、候補
領域追跡部３２においてこの領域のフローベクトルと、
センサー情報から背景の仮想平面のフローベクトルを計
算し、適合度計算部３３ではこれらのフローベクトル間
の非適合度を計算する。
景となる平面を予め想定できる場合は、仮想平面設定部
３１において想定される背景の仮想平面を設定し、候補
領域追跡部３２においてこの領域のフローベクトルと、
センサー情報から背景の仮想平面のフローベクトルを計
算し、適合度計算部３３ではこれらのフローベクトル間
の非適合度を計算する。
【００７６】障害物検出部４においては、この非適合度
が高いものを障害物として検出する。この方法では、想
定した背景と異なる運動をしている移動物体を検出でき
る。
が高いものを障害物として検出する。この方法では、想
定した背景と異なる運動をしている移動物体を検出でき
る。
【００７７】
【発明の効果】本発明によれば、移動体に取り付けられ
た移動体の周辺を観測する１つのＴＶカメラの画像列を
用いて、衝突する危険のある障害物のみをもらさず検出
することが可能となり、移動体の安全走行、搭乗者の負
荷軽減に貢献する。
た移動体の周辺を観測する１つのＴＶカメラの画像列を
用いて、衝突する危険のある障害物のみをもらさず検出
することが可能となり、移動体の安全走行、搭乗者の負
荷軽減に貢献する。
【図１】本発明の一実施例の構成を示すブロック図であ
る。
る。
【図２】図１の平面方向推定部一実施例を示すブロック
図である。
図である。
【図３】座標系の配置の説明図である。
【図４】候補領域の追跡方法の説明図である。
【図５】変更例の説明のための１次元のフローベクトル
の説明図である。
の説明図である。
１ 画像入力部 ２ 候補領域設定部 ３ 平面方向推定部 ４ 障害物検出部 ３１ 仮想平面設定部 ３２ 候補領域追跡部 ３３ 適合度計算部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA16 BA11 CA16 CB20 CE03 CE09 DA06 DA11 DC16 DC23 DC32 DC38 5H180 AA01 CC04 LL01 LL02 LL04 LL06 5L096 BA04 CA04 EA35 FA03 FA06 FA37 FA67 GA08 GA13 HA02 HA08 HA09 JA03 JA14
Claims (8)
- 【請求項１】実空間内を移動する移動物体の移動方向に
存在する物体を検出する画像処理装置において、 前記移動物体に取り付けられ、その移動方向を撮影した
時系列画像を得る画像入力手段と、 前記取り込まれた画像内において前記物体が写っている
か否かを判定するための候補領域を設定する候補領域設
定手段と、 前記設定された候補領域に対して、実空間内に１つの仮
想平面、または、法線方向の異なる複数の仮想平面を仮
想的に設定する仮想平面設定手段と、 前記設定した仮想平面に対応する候補領域の時間的な動
きに関する情報に基づいて、前記候補領域に前記物体が
写っているか否かを判定する判定手段と、 を具備したことを特徴とする画像処理装置。 - 【請求項２】前記判定手段は、 前記設定した仮想平面に対応する候補領域の時間的な動
きに関する情報を求める候補領域追跡手段と、 前記候補領域の時間的な動きに関する情報と、前記画像
入力手段によって取り込まれた実際の画像に基づく情
報、または、前記移動体の走行状態に関する情報とから
前記物体が写っている度合である適合度を計算する適合
度計算手段と、 前記適合度計算手段で計算した適合度に基づいて、前記
物体が写った候補領域か否かを決定する検出手段と、 を具備したことを特徴とする請求項１記載の画像処理装
置。 - 【請求項３】前記適合度計算手段は、 前記候補領域に相当する前記物体の現在の画像における
輝度分布と、前記候補領域の時間的な動きに関する情報
を用いて初期の候補領域の輝度分布を現在の画像上に移
動させた輝度分布との差異を表す量を適合度とすること
を特徴とする請求項２記載の画像処理装置。 - 【請求項４】前記適合度計算手段は、 前記候補領域の時間的な動きに関する情報と移動体の走
行状態に関する情報の差異を表す量を適合度することを
特徴とする請求項２記載の画像処理装置。 - 【請求項５】前記判定手段は、 前記候補領域の時間的な動きに関する情報から得られた
前記候補領域に相当する実空間内の仮想平面の法線方向
と、前記移動体が走行している平面の法線方向と異なる
場合には、その候補領域に物体が写っていると判定する
ことを特徴とする請求項１記載の画像処理装置。 - 【請求項６】前記仮想平面設定手段は、前記仮想平面を
設定する場合に背景を想定した１つまたは複数の仮想平
面を設定し、 前記判定手段は、前記候補領域の時間的な動きに関する
情報が背景の動きに関する情報と異なるときに、前記候
補領域に前記物体が写っていると判定することを特徴と
する請求項１記載の画像処理装置。 - 【請求項７】実空間内を移動する移動物体の移動方向に
存在する物体を検出する画像処理方法において、 前記移動物体に取り付けられ、その移動方向を撮影した
時系列画像を得る画像入力手段によって取り込まれた画
像内において前記物体が写っているか否かを判定するた
めの候補領域を設定する候補領域設定ステップと、 前記設定された候補領域に対して、実空間内に１つの仮
想平面、または、法線方向の異なる複数の仮想平面を仮
想的に設定する仮想平面設定ステップと、 前記設定した仮想平面に対応する候補領域の時間的な動
きに関する情報に基づいて、前記候補領域に前記物体が
写っているか否かを判定する判定ステップと、 を具備したことを特徴とする画像処理方法。 - 【請求項８】実空間内を移動する移動物体の移動方向に
存在する物体を検出する画像処理方法をコンピュータに
よって実現するプログラムにおいて、 前記移動物体に取り付けられ、その移動方向を撮影した
時系列画像を得る画像入力手段によって取り込まれた画
像内において前記物体が写っているか否かを判定するた
めの候補領域を設定する候補領域設定機能と、 前記設定された候補領域に対して、実空間内に１つの仮
想平面、または、法線方向の異なる複数の仮想平面を仮
想的に設定する仮想平面設定機能と、 前記設定した仮想平面に対応する候補領域の時間的な動
きに関する情報に基づいて、前記候補領域に前記物体が
写っているか否かを判定する判定機能と、 を実現することを特徴とする画像処理方法のプログラ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001154570A JP3742759B2 (ja) | 2001-05-23 | 2001-05-23 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001154570A JP3742759B2 (ja) | 2001-05-23 | 2001-05-23 | 画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002352249A true JP2002352249A (ja) | 2002-12-06 |
| JP3742759B2 JP3742759B2 (ja) | 2006-02-08 |
Family
ID=18998886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001154570A Expired - Fee Related JP3742759B2 (ja) | 2001-05-23 | 2001-05-23 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3742759B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013035612A1 (ja) * | 2011-09-09 | 2013-03-14 | 日本電気株式会社 | 障害物検知装置、障害物検知方法及び障害物検知プログラム |
| JP2013092994A (ja) * | 2011-10-27 | 2013-05-16 | Clarion Co Ltd | 車両周辺監視装置 |
| JP2013156769A (ja) * | 2012-01-27 | 2013-08-15 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
| JP2016148880A (ja) * | 2015-02-10 | 2016-08-18 | 国立大学法人金沢大学 | 移動物体認識方法、移動物体認識装置、および物体認識装置 |
| JP2016164745A (ja) * | 2015-03-06 | 2016-09-08 | 富士通テン株式会社 | 障害物検出装置および障害物検出方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5146446B2 (ja) | 2007-03-22 | 2013-02-20 | 日本電気株式会社 | 移動体検知装置および移動体検知プログラムと移動体検知方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07334681A (ja) * | 1994-06-13 | 1995-12-22 | Omron Corp | 障害物検出装置および方法，ならびに障害物検出装置を備えた車両 |
| JPH10222679A (ja) * | 1997-02-04 | 1998-08-21 | Toyota Motor Corp | 車両用画像処理装置 |
| JP2001116527A (ja) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | 立体物検出方法及び装置 |
-
2001
- 2001-05-23 JP JP2001154570A patent/JP3742759B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07334681A (ja) * | 1994-06-13 | 1995-12-22 | Omron Corp | 障害物検出装置および方法，ならびに障害物検出装置を備えた車両 |
| JPH10222679A (ja) * | 1997-02-04 | 1998-08-21 | Toyota Motor Corp | 車両用画像処理装置 |
| JP2001116527A (ja) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | 立体物検出方法及び装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013035612A1 (ja) * | 2011-09-09 | 2013-03-14 | 日本電気株式会社 | 障害物検知装置、障害物検知方法及び障害物検知プログラム |
| JP2013092994A (ja) * | 2011-10-27 | 2013-05-16 | Clarion Co Ltd | 車両周辺監視装置 |
| JP2013156769A (ja) * | 2012-01-27 | 2013-08-15 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
| JP2016148880A (ja) * | 2015-02-10 | 2016-08-18 | 国立大学法人金沢大学 | 移動物体認識方法、移動物体認識装置、および物体認識装置 |
| JP2016164745A (ja) * | 2015-03-06 | 2016-09-08 | 富士通テン株式会社 | 障害物検出装置および障害物検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3742759B2 (ja) | 2006-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904988B2 (ja) | 画像処理装置およびその方法 | |
| JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
| JP3776094B2 (ja) | 監視装置、監視方法および監視用プログラム | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| EP1361543B1 (en) | Determining object motion from optical flow analysis | |
| Suhr et al. | Automatic free parking space detection by using motion stereo-based 3D reconstruction | |
| US20100246901A1 (en) | Operation Support System, Vehicle, And Method For Estimating Three-Dimensional Object Area | |
| US8406472B2 (en) | Method and system for processing image data | |
| US11887336B2 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
| US20110169957A1 (en) | Vehicle Image Processing Method | |
| JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
| US10789731B2 (en) | Method and system for detecting an object alongside a road of a motor vehicle based on at least two images of an environmental region of the motor vehicle | |
| JP2010218226A (ja) | 計測マップ生成装置及び走行環境確認装置 | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP4256992B2 (ja) | 障害物検出装置 | |
| JP4967758B2 (ja) | 物体移動の検出方法及び検出装置 | |
| JP3742759B2 (ja) | 画像処理装置及びその方法 | |
| Gandhi et al. | Motion based vehicle surround analysis using an omni-directional camera | |
| US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
| EP3163533A1 (en) | Adaptive view projection for a vehicle camera system | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| Gandhi et al. | Motion analysis for event detection and tracking with a mobile omnidirectional camera | |
| JP2004246436A (ja) | 障害物検出装置および障害物検出方法 | |
| WO2006123438A1 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP2551324B2 (ja) | 移動車の環境認識方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111118 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121118 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131118 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |