JP2003150938A - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JP2003150938A JP2003150938A JP2001345105A JP2001345105A JP2003150938A JP 2003150938 A JP2003150938 A JP 2003150938A JP 2001345105 A JP2001345105 A JP 2001345105A JP 2001345105 A JP2001345105 A JP 2001345105A JP 2003150938 A JP2003150938 A JP 2003150938A
- Authority
- JP
- Japan
- Prior art keywords
- image
- objects
- parallax
- vehicle
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
きさを考慮しつつ、その視差から異なる物体の重なりの
有無を判断し、重なっている場合はそれぞれの物体まで
の距離を独立して算出する画像認識装置を提供する。 【解決手段】 画像処理ユニットは、対象物の外接四角
形の大きさを判定し、異なる2つの物体の重なりを予測
する(S21)。次に、対象物を左右のエッジを含む2
つの分割領域L_b及びR_bに分割し(S26)、そ
れぞれの分割領域について、ステレオカメラによって撮
影された右画像と左画像との相関演算によって、それぞ
れの分割領域L_b及びR_bの視差を求める(S2
7)。そして、それぞれの分割領域L_b及びR_bの
視差の差分の絶対値が所定値以上であれば、対象物にお
いて異なる物体の重なりが生じていると判断し、対象物
を分割して認識すると共に、それぞれの物体までの距離
を独立して算出する(S28〜S29)。
Description
2台の撮像手段により得られた2眼立体視画像から算出
する画像認識装置に関する。
両の運転者に通知するために、車両の前方に搭載された
1つあるいは複数のカメラの画像を運転席から目視可能
な位置に表示し、運転者の前方視界を補助するものや、
カメラの画像から自車両との接触の可能性がある障害物
を検出し、車両側の自動回避動作等を行うものがある。
ここで、運転者に表示される画像は、例えば自車両のコ
ンソールに設置されるNAVIDisplayやフロン
トウィンドウの運転者の前方視界を妨げない位置に情報
を表示するHUD(Head Up Display )、更には自車両
の走行状態を数字で表すメータと一体化されたメータ一
体Display等の画像表示装置に表示される。ま
た、車両側の自動回避動作は、車両の各部を操作するた
めに備えられた各種アクチュエータを自動制御すること
により行われる。
ラによって撮影し、撮影された画像から自車両との接触
の可能性がある障害物を検出する装置としては、例えば
特開平6−266828号公報に示すようなものが知ら
れている。この装置では、2台のカメラで撮影した画像
を処理して画像全体に渡る距離分布の情報を求め、更に
距離分布の情報に対応する対象物の3次元位置情報を計
算することで、道路の形状と側壁等の障害物を容易に、
かつ確実に検出している。これにより、複数の障害物の
存在を障害物毎に認識し、車両の運転者に警告したり、
車両側の自動回避動作等を信頼性高く行うことができ
る。
従来の装置では、画像全体に渡る距離分布を求める場合
に、画像全体を決められた大きさの領域に分割し、該領
域毎に距離分布を求めているため、対象物の大きさに対
する領域の大きさが固定となり、処理の効率が悪いとい
う問題があった。すなわち、画像全体の大きさに対し
て、撮影された対象物の占める割合が大きい場合、対象
物までの距離は対象物1つについて1つ求まれば良いの
で、対象物を必要以上に細かく分割して距離分布を求め
ると、処理の効率が悪く、距離分布全てを計算して対象
物までの距離が算出されるまでに時間がかかるという問
題があった。
で、カメラにより撮影された画像上の対象物の大きさを
考慮しつつ、その視差から異なる物体の重なりの有無を
判断し、重なっている場合はそれぞれの物体までの距離
を独立して算出する画像認識装置を提供することを目的
とする。
に、請求項1の発明に係わる画像認識装置は、2台の撮
像手段により得られるそれぞれの画像から対象物の視差
を測定し、該視差に基づき前記対象物までの距離を算出
する画像認識装置において、前記対象物を包含する高さ
を有すると共に前記対象物の左右のエッジをそれぞれ独
立して含む判定領域を設定し、それぞれの判定領域の視
差を測定して比較することで異なる物体の重なりの有無
を判断する画像判定手段(例えば実施の形態のステップ
S26〜ステップS30)を備えたことを特徴とする。
以上の構成を備えた画像認識装置は、画像判定手段によ
り、撮影された対象物の左、または右のエッジを含むよ
うに、対象物毎に異なる高さを考慮した領域をその都度
設定し、この領域の視差を比較することで、左右のエッ
ジの視差が一致するか、あるいは異なるかの比較結果を
得る。これにより、対象物の左部分と右部分とが同一物
体の一部か、それともそれぞれ異なる物体の一部である
かどうかを判断し、物体の重なりの有無を判断すること
ができる。
請求項1に記載の画像認識装置において、前記画像判定
手段が、異なる物体の重なりを認識した場合に、前記判
定領域における距離判定点を前記判定領域のエッジ上に
設定し、それぞれの物体までの距離を独立して算出する
画像分離手段(例えば実施の形態のステップS30)を
含むことを特徴とする。以上の構成を備えた画像認識装
置は、画像判定手段により、対象物が異なる物体の重な
った状態であると認識した場合は、対象物の左右それぞ
れのエッジを距離判定点としてそれぞれの物体までの距
離を算出し、物体を分離して捉えることができる。
請求項1、または請求項2に記載の画像認識装置におい
て、前記対象物を囲む領域の大きさが所定値以上、ある
いは前記対象物を囲む領域の横方向の長さに対する縦方
向の長さの比が所定値以下である場合に、異なる物体の
重なりを予測する画像予測手段(例えば実施の形態のス
テップS21)を備えたことを特徴とする。以上の構成
を備えた画像認識装置は、画像判定手段による異なる物
体の重なり判断の前に、画像予測手段により対象物を囲
む領域の大きさ、あるいは対象物を囲む領域の横方向の
長さに対する縦方向の長さの比を用いて、対象物が異な
る物体の重なった状態であるか否かの予測を行い、対象
物が異なる物体の重なった状態であると予測される場合
に、画像判断手段による判断を行うようにすることがで
きる。
施の形態について説明する。図1は、本発明の一実施の
形態の画像認識装置の構成を示すブロック図である。図
1において、符号1は、本実施の形態の画像認識装置を
制御するCPU(中央演算装置)を備えた画像処理ユニ
ットであって、遠赤外線を検出可能な2つの赤外線カメ
ラ2R、2Lと当該車両のヨーレートを検出するヨーレ
ートセンサ3、更に、当該車両の走行速度(車速)を検
出する車速センサ4とブレーキの操作を検出するための
ブレーキセンサ5が接続される。これにより、画像処理
ユニット1は、車両の周辺の赤外線画像と車両の走行状
態を示す信号から、車両前方の歩行者や動物等の動く物
体を検出し、衝突の可能性が高いと判断したときに警報
を発する。
報を発するためのスピーカ6と、赤外線カメラ2R、2
Lにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Displayや自車両のコンソールに設置される
NAVIDisplay、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するHUD
(Head Up Display )7a等を含む画像表示装置7が接
続されている。
グ信号をディジタル信号に変換するA/D変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うCPU(中央演算装置)、CPUが演算途
中のデータを記憶するために使用するRAM(Random A
ccess Memory)、CPUが実行するプログラムやテーブ
ル、マップなどを記憶するROM(Read Only Memor
y)、スピーカ6の駆動信号、HUD7a等の表示信号
などを出力する出力回路を備えており、赤外線カメラ2
R、2L及びヨーレートセンサ3、車速センサ4、ブレ
ーキセンサ5の各出力信号は、ディジタル信号に変換さ
れてCPUに入力されるように構成されている。
R、2Lは、自車両10の前部に、自車両10の車幅方
向中心部に対してほぼ対象な位置に配置されており、2
つの赤外線カメラ2R、2Lの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ2R、2Lは、対象物
の温度が高いほど、その出力信号レベルが高くなる(輝
度が増加する)特性を有している。また、HUD7a
は、自車両10のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。
参照して説明する。図3は、本実施の形態の画像認識装
置の画像処理ユニット1における処理手順を示すフロー
チャートである。まず、画像処理ユニット1は、赤外線
カメラ2R、2Lの出力信号である赤外線画像を取得し
て(ステップS1)、A/D変換し(ステップS2)、
グレースケール画像を画像メモリに格納する(ステップ
S3)。なお、ここでは赤外線カメラ2Rにより右画像
が得られ、赤外線カメラ2Lにより左画像が得られる。
また、右画像と左画像では、同一の対象物の表示画面上
の水平位置がずれて表示されるので、このずれ(視差)
によりその対象物までの距離を算出することができる。
画像を基準画像とし、その画像信号の2値化処理、すな
わち、輝度閾値ITHより明るい領域を「1」(白)と
し、暗い領域を「0」(黒)とする処理を行う(ステッ
プS4)。図4(a)は、赤外線カメラ2Rにより得ら
れたグレースケール画像を示し、これに2値化処理を行
うことにより、図4(b)に示すような画像を得る。な
お、図4(b)において、例えばP1からP4の枠で囲
った物体を、表示画面上に白色として表示される対象物
(以下「高輝度領域」という)とする。赤外線画像から
2値化された画像データを取得したら、2値化した画像
データをランレングスデータに変換する処理を行う(ス
テップS5)。
あり、この図では2値化により白となった領域を画素レ
ベルでラインL1〜L8として示している。ラインL1
〜L8は、いずれもy方向には1画素の幅を有してお
り、実際にはy方向には隙間なく並んでいるが、説明の
ために離間して示している。またラインL1〜L8は、
x方向にはそれぞれ2画素、2画素、3画素、8画素、
7画素、8画素、8画素、8画素の長さを有している。
ランレングスデータは、ラインL1〜L8を各ラインの
開始点(各ラインの左端の点)の座標と、開始点から終
了点(各ラインの右端の点)までの長さ(画素数)とで
示したものである。例えばラインL3は、(x3,y
5)、(x4,y5)及び(x5,y5)の3画素から
なるので、ランレングスデータとしては、(x3,y
5,3)となる。
像データから、対象物のラベリングをする(ステップS
6)ことにより、対象物を抽出する処理を行う(ステッ
プS7)。すなわち、ランレングスデータ化したライン
L1〜L8のうち、図5(b)に示すように、y方向に
重なる部分のあるラインL1〜L3を1つの対象物1と
みなし、ラインL4〜L8を1つの対象物2とみなし、
ランレングスデータに対象物ラベル1、2を付加する。
この処理により、例えば図4(b)に示す高輝度領域
が、それぞれ対象物1から4として把握されることにな
る。
(c)に示すように、抽出した対象物の重心G、面積S
及び破線で示す外接四角形の縦横比ASPECTを算出
する(ステップS8)。ここで、面積Sは、下記式
(1)によりランレングスデータの長さを同一対象物に
ついて積算することにより算出する。ラベルAの対象物
のランレングスデータを(x[i]、y[i]、run
[i]、A)(i=0,1,2,・・・N−1)とする
と、
レングスデータの長さを考慮した下記(2)、(3)式
により算出する。
Dxとの比Dy/Dxとして算出する。なお、式
(1)、(2)、(3)に示すように、ランレングスデ
ータは画素数(座標数)run[i]で示されているの
で、実際の長さは「−1」する必要がある。また、重心
Gの位置は、外接四角形の重心位置で代用してもよい。
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う(ステッ
プS9)。時刻間追跡は、アナログ量としての時刻tを
サンプリング周期で離散化した時刻をkとし、図6
(a)に示すように時刻kで対象物A、Bを抽出した場
合、時刻(k+1)で抽出した対象物C、Dと、対象物
A、Bとの同一性判定を行う。具体的には、以下の同一
性判定条件1)〜3)を満たすときに、対象物A、Bと
対象物C、Dとは同一であると判定し、対象物C、Dを
それぞれ対象物A、Bというラベルに変更することによ
り、時刻間追跡が行われる。
の画像上での重心位置座標を、それぞれ(xi(k),
yi(k))とし、時刻(k+1)における対象物j
(=C,D)の画像上での重心位置座標を、(xj(k
+1),yj(k+1))としたとき、|xj(k+
1)−xi(k)|<Δx|yj(k+1)−yi
(k)|<Δyであること。ただし、Δx、Δyは、そ
れぞれx方向及びy方向の画像上の移動量の許容値であ
る。 2)時刻kにおける対象物i(=A,B)の画像上での
面積をSi(k)とし、時刻(k+1)における対象物
j(=C,D)の画像上での面積をSj(k+1)とし
たとき、Sj(k+1)/Si(k)<1±ΔSである
こと。ただし、ΔSは面積変化の許容値である。 3)時刻kにおける対象物i(=A,B)の外接四角形
の縦横比をASPECTi(k)とし、時刻(k+1)
における対象物j(=C,D)の外接四角形の縦横比を
ASPECTj(k+1)としたとき、ASPECTj
(k+1)/ASPECTi(k)<1±ΔASPEC
Tであること。ただし、ΔASPECTは縦横比変化の
許容値である。
と、各対象物は画像上での大きさが大きくなっている
が、対象物Aと対象物Cとが上記同一性判定条件を満た
し、対象物Bと対象物Dとが上記同一性判定条件を満た
すので、対象物C、Dはそれぞれ対象物A、Bと認識さ
れる。このようにして認識された各対象物の(重心の)
位置座標は、時系列位置データとしてメモリに格納さ
れ、後の演算処理に使用される。なお、以上説明したス
テップS4〜S9の処理は、2値化した基準画像(本実
施形態では、右画像)について実行する。次に、車速セ
ンサ4により検出される車速VCAR及びヨーレートセ
ンサ3より検出されるヨーレートYRを読み込み、ヨー
レートYRを時間積分することより、図7に示すように
自車両10の回頭角θrを算出する(ステップS1
0)。
理に平行して、ステップS11〜S13では、対象物と
自車両10との距離zを算出する処理を行う。この演算
はステップS9、及びステップS10より長い時間を要
するため、ステップS9、S10より長い周期(例えば
ステップS1〜S10の実行周期の3倍程度の周期)で
実行される。まず、基準画像(右画像)の2値化画像に
よって追跡される対象物の中の1つを選択することによ
り、図8(a)に示すように右画像から探索画像R1
(ここでは、外接四角形で囲まれる領域全体を探索画像
とする)を抽出する(ステップS11)。
像(以下「対応画像」という)を探索する探索領域を設
定し、相関演算を実行して対応画像を抽出する(ステッ
プS12)。具体的には、図8(b)に示すように、探
索画像R1の各頂点座標に応じて、左画像中に探索領域
R2を設定し、探索領域R2内で探索画像R1との相関
の高さを示す輝度差分総和値C(a,b)を下記式
(4)により算出し、この総和値C(a,b)が最小と
なる領域を対応画像として抽出する。なお、この相関演
算は、2値化画像ではなくグレースケール画像を用いて
行う。また同一対象物についての過去の位置データがあ
るときは、その位置データに基づいて探索領域R2より
狭い領域R2a(図8(b)に破線で示す)を探索領域
として設定する。
の座標(m,n)の位置の輝度値であり、IL(a+m
−M,b+n−N)は、探索領域内の座標(a,b)を
基点とした、探索画像R1と同一形状の局所領域R3内
の座標(m,n)の位置の輝度値である。基点の座標
(a,b)を変化させて輝度差分総和値C(a,b)が
最小となる位置を求めることにより、対応画像の位置が
特定される。
(右画像)中に探索画像R1と、左画像中にこの対象物
に対応する対応画像R4とが抽出されるので、次に、探
索画像R1の重心位置と対応画像R4の重心位置と視差
Δd(画素数)を求め、下記式(5)に適用して、自車
両10と、対象物との距離zを算出する(ステップS1
3)。
心位置と、赤外線カメラ2Lの撮像素子の中心位置との
水平方向の距離(両赤外線カメラの光軸の間隔)、Fは
赤外線カメラ2R、2Lのレンズの焦点距離、pは赤外
線カメラ2R、2Lの撮像素子内の画素間隔である。な
お、対象物距離算出の方法については、詳細を後述す
る。
と、ステップS13における対象物との距離算出が完了
したら、画像内の座標(x,y)及び式(5)により算
出した距離zを下記式(6)に適用し、実空間座標
(X,Y,Z)に変換する(ステップS14)。ここ
で、実空間座標(X,Y,Z)は、図2に示すように、
赤外線カメラ2R、2Lの取り付け位置の中点の位置
(自車両10に固定された位置)を原点Oとして、図示
のように定め、画像内の座標は、画像の中心を原点とし
て水平方向をx、垂直方向をyと定めている。
を、赤外線カメラ2Rの取り付け位置と、実空間原点O
との相対位置関係に基づいて、実空間原点Oと画像の中
心とを一致させた仮想的な画像内の座標に変換したもの
である。またfは、焦点距離Fと画素間隔pとの比であ
る。
10が回頭することによる画像上の位置ずれを補正する
ための回頭角補正を行う(ステップS15)。回頭角補
正は、図7に示すように、時刻kから(k+1)までの
期間中に自車両10が例えば左方向に回頭角θrだけ回
頭すると、カメラによって得られる画像上では、図10
に示すようにΔxだけx方向にずれるので、これを補正
する処理である。具体的には、下記式(7)に実空間座
標(X,Y,Z)を適用して、補正座標(Xr,Yr,
Zr)を算出する。算出した実空間位置データ(Xr,
Yr,Zr)は、対象物毎に対応づけてメモリに格納す
る。なお、以下の説明では、回頭角補正後の座標を
(X,Y,Z)と表示する。
ら、次に、同一対象物について、ΔTのモニタ期間内に
得られた、回頭角補正後のN個の実空間位置データ(例
えばN=10程度)、すなわち時系列データから、対象
物と自車両10との相対移動ベクトルに対応する近似直
線LMVを求める(ステップS16)。具体的には、近
似直線LMVの方向を示す方向ベクトルL=(lx,l
y,lz)(|L|=1)とすると、下記式(8)で表
される直線を求める。
Yav、及びZavは、それぞれ実空間位置データ列の
X座標の平均値、Y座標の平均値、及びZ座標の平均値
である。なお、式(8)は媒介変数uを消去すれば下記
式(8a)のようになる。 (X−Xav)/lx=(Y−Yav)/ly=(Z−Zav)/lz ・・・(8a)
(2),…,P(N−2),P(N−1)が回頭角補正
後の時系列データを示す場合、近似直線LMVは、この
時系列データの平均位置座標Pav=(Xav,Ya
v,Zav)を通り、各データ点からの距離の2乗の平
均値が最小となるような直線として求められる。ここ
で、各データ点の座標を示すPに付した()内の数値は
その値が増加するほど過去のデータであることを示す。
例えば、P(0)は最新の位置座標、P(1)は1サン
プル周期前の位置座標、P(2)は2サンプル周期前の
位置座標を示す。
(0),Y(0),Z(0))と、(N−1)サンプル
前(時間ΔT前)の位置座標P(Nー1)=(X(N−
1),Y(N−1),Z(N−1))を近似直線LMV
上の位置に補正する。具体的には、前記式(8a)にZ
座標Z(0)、Z(N−1)を適用することにより、す
なわち下記式(9)により、補正後の位置座標Pv
(0)=(Xv(0),Yv(0),Zv(0))及び
Pv(N−1)=(Xv(N−1),Yv(N−1),
Zv(N−1))を求める。
1)からPv(0)に向かうベクトルとして、相対移動
ベクトルが得られる。このようにモニタ期間ΔT内の複
数(N個)のデータから対象物の自車両10に対する相
対移動軌跡を近似する近似直線を算出して相対移動ベク
トルを求めることにより、位置検出誤差の影響を軽減し
て対象物との衝突の可能性をより正確に予測することが
可能となる。また、ステップS16において、相対移動
ベクトルが求められたら、次に、検出した対象物との衝
突の可能性を判定する警報判定処理を行う(ステップS
17)。
に示す衝突判定処理、接近判定領域内か否かの判定処
理、侵入衝突判定処理のいずれかにより、自車両10と
検出した対象物との衝突の可能性を判定する処理であ
る。以下、図11に示すように、自車両10の進行方向
に対してほぼ90°の方向から、速度Vpで進行してく
る動物20がいる場合を例に取って説明する。
1は、動物20が時間ΔTの間に距離Zv(N−1)か
ら距離Zv(0)に接近したことにより、下記式(1
0)を用いてZ方向の相対速度Vsを算出し、衝突判定
処理を行う。衝突判定処理は、下記式(11)及び(1
2)が成立するとき、衝突の可能性があると判定する処
理である。 Vs=(Zv(N−1)−Zv(0))/ΔT ・・・(10) Zv(0)/Vs≦T ・・・(11) |Yv(0)|≦H ・・・(12) ここで、Zv(0)は最新の距離検出値(vは近似直線
LMVによる補正後のデータであることを示すために付
しているが、Z座標は補正前と同一の値である)であ
り、Zv(N−1)は、時間ΔT前の距離検出値であ
る。またTは、余裕時間であり、衝突の可能性を予測衝
突時刻より時間Tだけ前に判定することを意図したもの
である。従って、Tは例えば2〜5秒程度に設定され
る。またHは、Y方向、すなわち高さ方向の範囲を規定
する所定高さであり、例えば自車両10の車高の2倍程
度に設定される。
では、対象物が接近判定領域内に存在するか否かを判定
する。例えば、図12は、赤外線カメラ2R、2Lで監
視可能な領域を太い実線で示す外側の三角形の領域AR
0で示し、更に領域AR0内の、Z1=Vs×Tより自
車両10に近い領域AR1、AR2、AR3を、警報判
定領域としている。ここで、領域AR1は、自車両10
の車幅αの両側に余裕β(例えば50〜100cm程度
とする)を加えた範囲に対応する領域、換言すれば自車
両10の車幅方向中心部の軸の両側に(α/2+β)の
幅を有する領域であって、対象物がそのまま存在し続け
れば衝突の可能性がきわめて高いので、接近判定領域と
呼ぶ。領域AR2、AR3は、接近判定領域よりX座標
の絶対値が大きい(接近判定領域の横方向外側の)領域
であり、この領域内にある対象物については、後述する
侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこ
れらの領域は、前記式(12)に示したようにY方向に
は、所定高さHを有する。
は、具体的には、画像上での最新のx座標であるxc
(0)(文字cは前述したように画像の中心位置を実空
間原点Oに一致させる補正を行った座標であることを示
すために付している)と、時間ΔT前のx座標であるx
c(N−1)との差が下記式(13)を満たすか否かを
判別し、満たす場合に衝突の可能性が高いと判定する。
してほぼ90°の方向から進行してくる動物20がいた
場合、Xv(Nー1)/Zv(N−1)=Xv(0)/
Zr(0)であるとき、換言すれば動物の速度Vpと相
対速度Vsの比Vp/Vs=Xr(Nー1)/Zr(N
−1)であるとき、自車両10から動物20を見る方位
角θdは一定となり、衝突の可能性が高い。式(13)
は、この可能性を自車両10の車幅αを考慮して判定す
るものである。
衝突判定処理、接近判定領域内か否かの判定処理、侵入
衝突判定処理のいずれにおいても、自車両10と検出し
た対象物との衝突の可能性がないと判定された場合(ス
テップS17のNO)、ステップS1へ戻り、上述の処
理を繰り返す。また、警報判定処理(ステップS17)
において衝突判定処理、接近判定領域内か否かの判定処
理、侵入衝突判定処理のいずれかにより、自車両10と
検出した対象物との衝突の可能性があると判定された場
合(ステップS17のYES)、ステップS18の警報
出力判定処理へ進む。
報出力判定処理、すなわち警報出力を行うか否かの判定
を行う(ステップS18)。警報出力判定処理は、まず
ブレーキセンサ5の出力BRから自車両10の運転者が
ブレーキ操作を行っているか否かを判別する。もし、自
車両10の運転者がブレーキ操作を行っている場合に
は、それによって発生する加速度Gs(減速方向を正と
する)を算出し、この加速度Gsが所定閾値GTHより
大きいときは、ブレーキ操作により衝突が回避されると
判定して警報出力判定処理を終了し(ステップS18の
NO)、ステップS1へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているとき
は、警報を発しないようにして、運転者に余計な煩わし
さを与えないようにすることができる。
あるとき、または自車両10の運転者がブレーキ操作を
行っていなければ、直ちにステップS19の処理へ進み
(ステップS18のYES)、対象物と接触する可能性
が高いので、スピーカ3を介して音声による警報を発す
る(ステップS19)とともに、画像表示装置7に対し
て、例えば赤外線カメラ2Rにより得られる画像を出力
し、接近してくる対象物を自車両10の運転者に対する
強調映像として表示する(ステップS20)。なお、所
定閾値GTHは、下記式(14)のように定める。これ
は、ブレーキ操作中の加速度Gsがそのまま維持された
場合に、距離Zv(0)以下の走行距離で自車両10が
停止する条件に対応する値である。
図14に示す図面を参照して、図3に示したフローチャ
ートのステップS13における視差算出演算処理につい
て説明する。図13は、視差算出演算処理の動作を示す
フローチャートである。図13において、まず、画像処
理ユニット1は、図14の右側画像に示した対象物50
のように、対象物50の外接四角形51の幅Xが所定値
Aより小さいか、または外接四角形51の横方向の長さ
(幅X)に対する縦方向の長さ(高さY)の比が所定値
Bより大きいか、すなわち 外接四角形51の幅X<A (外接四角形51の高さY/外接四角形51の幅X)>
B のどちらかであるか否かを判定する(ステップS2
1)。
の幅Xが所定値Aより小さいか、または外接四角形51
の横方向の長さ(幅X)に対する縦方向の長さ(高さ
Y)の比が所定値Bより大きい場合(ステップS21の
YES)、画像処理ユニット1は、右画像と左画像にお
ける対象物50の全体の外接四角形51を用いて、グレ
ースケール画像による相関演算を実行する(ステップS
22)。次に、画像処理ユニット1は、ステップS21
で実行した相関演算の結果から、右画像の対象物50と
左画像の対象物50との相関度が高いか否かを判定する
(ステップS23)。ステップS23において、右画像
の対象物50と左画像の対象物50との相関度が低い場
合(ステップS23のNO)、この対象物は検出対象か
ら除去する(ステップS24)。
対象物50と左画像の対象物50との相関度が高い場合
(ステップS23のYES)、上述の(5)式により、
対象物までの距離を算出する(ステップS25)。一
方、ステップS21において、外接四角形51の幅Xが
所定値A以上で、かつ外接四角形51の横方向の長さ
(幅X)に対する縦方向の長さ(高さY)の比が所定値
B以下である場合(ステップS21のNO)、画像処理
ユニット1は、対象物の重なりを予測し、図14の右画
像に示すように、対象物を左右のエッジを含む2つの分
割領域L_b52及び分割領域R_b53に分割する
(ステップS26)。この時、分割領域L_b52及び
分割領域R_b53の幅は、左右エッジからそれぞれ所
定値Aとし、高さは分割前の外接四角形51の高さYと
する。
分割領域L_b52及び分割領域R_b53の周囲にそ
れぞれ相関演算用ブロック54、55を設定し、同様に
図14の左画像に示すように、右画像の対象物50に対
応した左画像の対象物56、57に設定された相関演算
用ブロック60、61との間でそれぞれ相関演算を行
い、それぞれ視差dn_L及び視差dn_Rを算出する
(ステップS27)。それぞれ視差dn_L及び視差d
n_Rが求められたら、画像処理ユニット1は算出され
た各視差量(dn_L、dn_R)において、視差dn
_Lと視差dn_Rの差分の絶対値が所定値THより小
さいか否か、すなわち |dn_L−dn_R|<TH を満たすか否かを判定する(ステップS28)。
視差dn_Rの差分の絶対値が所定値THより小さい場
合(ステップS28のYES)、対象物の左右エッジは
同視差であり、異なる物体の重なり状態は生じていない
と判断できる。従って、対象物を分割して認識すること
は行わず、対象物視差を、 dn=(d_L+d_R)/2 として算出し、ステップS25へ進み、上述の(5)式
により、対象物までの距離を算出する(ステップS2
5)。
_Lと視差dn_Rの差分の絶対値が所定値TH以上で
ある場合(ステップS28のNO)、対象物の左右エッ
ジの視差は異なり、異なる物体の重なり状態が生じてい
ると判断できる。従って、対象物をLb、Rbの2つの
対象物56、57に分割して認識する。この時、それぞ
れの対象物の重心(左エッジ対象物重心62、右エッジ
対象物重心63)は、図14の右画像または左画像に示
すように、横方向は各分割領域L_b52、58及び分
割領域R_b53、59のエッジとし、高さ方向は分割
前の対象物重心64と同じ高さとする(ステップS3
0)。そして、ステップS25へ進み、上述の(5)式
により、それぞれの対象物までの距離を算出する(ステ
ップS25)。なお、上述のステップS30において
は、重なった状態の異なる物体について、不要なものは
検出対象から除去しても良い。
ける異なる物体の重なりが生じているか否かの判定を行
い、重なりが生じていた場合には、対象物を2つの対象
物に分割して認識する場合について説明したが、距離方
向に長い1つの対象物に関しても、同様の方法によって
距離方向に長いことによって発生する対象物の場所の違
いによる視差の違いを判断し、該対象物の正確な位置を
推定することができる。更に、上述した実施の形態で
は、自車両の前方を監視する例を示したが、自車両の後
方など、いずれの方向を監視するようにしてもよい。ま
た、本発明は、上述した実施形態に限るものではなく、
種々の変形が可能である。例えば、上述の実施の形態で
は、対象物の画像を得るための撮像手段として赤外線カ
メラを使用したが、例えば特開平9−226490号公
報に示されるように、通常の可視光線のみを検出可能な
テレビカメラを使用しても良い。但し、赤外線カメラを
用いることにより、動物あるいは走行中の車両などの抽
出処理を簡略化することができるため、演算装置の演算
能力が比較的低いものでも実現できる。
ト1が、抽出領域設定手段と、探索領域設定手段と、物
体認識手段と、視差算出手段とを含んでいる。より具体
的には、図13のS21が画像予測手段に相当し、S2
6〜S30が画像判定手段に相当する。更にS30が画
像分離手段に相当する。
認識装置は、2値化処理によって2つの異なる物体が重
なった状態で1つの対象物として抽出された場合でも、
対象物の左右のエッジの視差から、それぞれのエッジの
距離を算出する構成とした。従って、左右のエッジの距
離の違いから対象物における異なる物体の重なりを判定
し、それぞれの対象物(物体)のエッジ点の位置と距離
から、正確な対象物の位置の推定を行うことができると
いう効果が得られる。また、異なる物体の重なりだけで
なく、距離方向に長い対象物に関しても、同様の方法に
より、左右のエッジの位置を計測することで、正確な位
置を算出することを可能とした。
装置によれば、画像判定手段により、撮影された対象物
の左、または右のエッジを含むように、対象物毎に異な
る高さを考慮した領域をその都度設定し、この領域の視
差を比較することで、左右のエッジの視差が一致する
か、あるいは異なるかの比較結果を得る。これにより、
対象物の左部分と右部分とが同一物体の一部か、それと
もそれぞれ異なる物体の一部であるかどうかを判断し、
物体の重なりの有無を判断することができる。従って、
撮影された対象物の大きさ毎に視差を求める領域が設定
されるので、車両と対象物との距離によって、どのよう
な大きさで対象物が撮影されても、必ず効率良く視差を
求めることができるという効果が得られる。
画像判定手段により、対象物が異なる物体の重なった状
態であると認識した場合は、対象物の左右それぞれのエ
ッジを距離判定点としてそれぞれの物体までの距離を算
出し、物体を分離して捉えることができる。従って、異
なる物体の重なった状態が撮影されたことで、対象物の
視差が場所によって異なるために対象物の距離が算出で
きず、不定になってしまうことを防ぎ、異なる物体毎に
距離を正確に求めることができるという効果が得られ
る。
画像判定手段による異なる物体の重なり判断の前に、予
め画像予測手段により対象物を囲む領域の大きさ、ある
いは対象物を囲む領域の横方向の長さに対する縦方向の
長さの比を用いて、対象物が異なる物体の重なった状態
であるか否かの予測を行い、対象物が異なる物体の重な
った状態である可能性が高い場合にのみ、画像判断手段
による判断を行うようにすることができる。従って、対
象物が物体の重なった状態である可能性が高い場合にの
み、画像判断手段の演算が実行されるため、画像認識装
置における処理負荷を軽減することができるという効果
が得られる。
を示すブロック図である。
プレイ等の取り付け位置を示す図である。
すフローチャートである。
画像とその2値化画像を示す図である。
ングを示す図である。
索領域を示す図である。
である。
位置のずれを示す図である。
すフローチャートである。
右画像及び左画像を示す図である。
Claims (3)
- 【請求項1】 2台の撮像手段により得られるそれぞれ
の画像から対象物の視差を測定し、該視差に基づき前記
対象物までの距離を算出する画像認識装置において、 前記対象物を包含する高さを有すると共に前記対象物の
左右のエッジをそれぞれ独立して含む判定領域を設定
し、それぞれの判定領域の視差を測定して比較すること
で異なる物体の重なりの有無を判断する画像判定手段を
備えたことを特徴とする画像認識装置。 - 【請求項2】 前記画像判定手段が、異なる物体の重な
りを認識した場合に、前記判定領域における距離判定点
を前記判定領域のエッジ上に設定し、それぞれの物体ま
での距離を独立して算出する画像分離手段を含むことを
特徴とする請求項1に記載の画像認識装置。 - 【請求項3】 前記対象物を囲む領域の大きさが所定値
以上、あるいは前記対象物を囲む領域の横方向の長さに
対する縦方向の長さの比が所定値以下である場合に、異
なる物体の重なりを予測する画像予測手段を備えたこと
を特徴とする請求項1、または請求項2に記載の画像認
識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001345105A JP3739693B2 (ja) | 2001-11-09 | 2001-11-09 | 画像認識装置 |
US10/286,541 US7158664B2 (en) | 2001-11-09 | 2002-11-01 | Image recognition apparatus |
DE10251880A DE10251880B4 (de) | 2001-11-09 | 2002-11-07 | Bilderkennungsvorrichtung |
US11/554,292 US7474765B2 (en) | 2001-11-09 | 2006-10-30 | Image recognition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001345105A JP3739693B2 (ja) | 2001-11-09 | 2001-11-09 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003150938A true JP2003150938A (ja) | 2003-05-23 |
JP3739693B2 JP3739693B2 (ja) | 2006-01-25 |
Family
ID=19158504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001345105A Expired - Fee Related JP3739693B2 (ja) | 2001-11-09 | 2001-11-09 | 画像認識装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US7158664B2 (ja) |
JP (1) | JP3739693B2 (ja) |
DE (1) | DE10251880B4 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004350847A (ja) * | 2003-05-28 | 2004-12-16 | Okumura Yu-Ki Co Ltd | 遊技機 |
JP2004362265A (ja) * | 2003-06-04 | 2004-12-24 | Honda Motor Co Ltd | 赤外線画像認識装置 |
JP2008058279A (ja) * | 2006-09-04 | 2008-03-13 | Konica Minolta Holdings Inc | 距離画像生成装置、距離画像生成方法及びプログラム |
US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
JP2015207281A (ja) * | 2014-04-10 | 2015-11-19 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
WO2017158958A1 (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7715591B2 (en) * | 2002-04-24 | 2010-05-11 | Hrl Laboratories, Llc | High-performance sensor fusion architecture |
KR100507780B1 (ko) * | 2002-12-20 | 2005-08-17 | 한국전자통신연구원 | 고속 마커프리 모션 캡쳐 장치 및 방법 |
DE10343406A1 (de) * | 2003-09-19 | 2005-04-14 | Daimlerchrysler Ag | Entfernungsbestimmung eines Objektes |
EP1530156B1 (en) * | 2003-11-07 | 2012-03-14 | Mitsubishi Electric Information Technology Centre Europe B.V. | Visual object detection |
US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
JP3987057B2 (ja) * | 2004-06-14 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
US7650016B2 (en) * | 2004-07-30 | 2010-01-19 | Lockheed Martin Corporation | System and method for tracking motion of an object image |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
US7561732B1 (en) * | 2005-02-04 | 2009-07-14 | Hrl Laboratories, Llc | Method and apparatus for three-dimensional shape estimation using constrained disparity propagation |
US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
JP4661734B2 (ja) * | 2006-08-24 | 2011-03-30 | 株式会社デンソー | 車載用の警告システム |
EP2254091B1 (en) | 2009-05-19 | 2020-03-25 | Veoneer Sweden AB | Vision system and method for a motor vehicle |
JP5039765B2 (ja) * | 2009-09-17 | 2012-10-03 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
EP2378465A1 (en) | 2010-04-13 | 2011-10-19 | Autoliv Development AB | Driver assisting system and method for a motor vehicle |
TW201227399A (en) * | 2010-12-24 | 2012-07-01 | Hon Hai Prec Ind Co Ltd | Motion recognition module, electronic device appling the motion recognition module and method thereof |
JP5820159B2 (ja) * | 2011-06-21 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5645769B2 (ja) * | 2011-08-01 | 2014-12-24 | 株式会社日立製作所 | 画像処理装置 |
US9487172B2 (en) * | 2012-03-09 | 2016-11-08 | Lg Electronics Inc. | Image display device and method thereof |
US8965107B1 (en) | 2012-05-18 | 2015-02-24 | Google Inc. | Feature reduction based on local densities for bundle adjustment of images |
US8897543B1 (en) * | 2012-05-18 | 2014-11-25 | Google Inc. | Bundle adjustment based on image capture intervals |
US8781721B2 (en) * | 2012-06-06 | 2014-07-15 | Google Inc. | Obstacle evaluation technique |
JP5959951B2 (ja) * | 2012-06-15 | 2016-08-02 | キヤノン株式会社 | 映像処理装置、映像処理方法、及びプログラム |
DE102012215026A1 (de) * | 2012-08-23 | 2014-05-28 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs |
US9393961B1 (en) * | 2012-09-19 | 2016-07-19 | Google Inc. | Verifying a target object with reverse-parallax analysis |
JP5955404B2 (ja) * | 2012-10-22 | 2016-07-20 | ヤマハ発動機株式会社 | 距離測定装置及びそれを用いた車両 |
US9652860B1 (en) * | 2013-03-15 | 2017-05-16 | Puretech Systems, Inc. | System and method for autonomous PTZ tracking of aerial targets |
KR101491305B1 (ko) * | 2013-08-27 | 2015-02-06 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
KR101439052B1 (ko) * | 2013-09-05 | 2014-09-05 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
CN105091847B (zh) * | 2014-04-16 | 2017-12-29 | 联想(北京)有限公司 | 一种测量距离的方法及电子设备 |
WO2016059643A1 (en) * | 2014-10-16 | 2016-04-21 | Kpit Technologies Ltd. | System and method for pedestrian detection |
JP6511283B2 (ja) * | 2015-02-12 | 2019-05-15 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
JP6397801B2 (ja) * | 2015-06-30 | 2018-09-26 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
CN105204411B (zh) * | 2015-08-11 | 2018-04-17 | 上海交通大学 | 一种基于双目立体视觉的船舶靠泊辅助系统及方法 |
CN105654732A (zh) * | 2016-03-03 | 2016-06-08 | 上海图甲信息科技有限公司 | 一种基于深度图像的道路监控系统及方法 |
CN106225764A (zh) * | 2016-07-01 | 2016-12-14 | 北京小米移动软件有限公司 | 基于终端中双目摄像头的测距方法及终端 |
DE102016114168A1 (de) * | 2016-08-01 | 2018-02-01 | Connaught Electronics Ltd. | Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug |
DE102017119394A1 (de) * | 2017-08-28 | 2019-02-28 | HELLA GmbH & Co. KGaA | Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium |
US11836933B2 (en) * | 2019-07-18 | 2023-12-05 | Toyota Motor Europe | Method for calculating information relative to a relative speed between an object and a camera |
US10991130B2 (en) * | 2019-07-29 | 2021-04-27 | Verizon Patent And Licensing Inc. | Systems and methods for implementing a sensor based real time tracking system |
US11442463B1 (en) * | 2019-09-23 | 2022-09-13 | Amazon Technologies, Inc. | System to determine stationary features by autonomous mobile device |
JP7218818B2 (ja) * | 2019-11-14 | 2023-02-07 | 株式会社Jvcケンウッド | 記録制御装置、記録制御方法、及び、プログラム |
US11373511B2 (en) | 2020-09-14 | 2022-06-28 | PureTech Systems Inc. | Alarm processing and classification system and method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07129898A (ja) * | 1993-11-05 | 1995-05-19 | Toyota Central Res & Dev Lab Inc | 障害物検出装置 |
JPH07220194A (ja) * | 1994-02-07 | 1995-08-18 | Fujitsu Ltd | 道路環境認識装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3674369A (en) * | 1968-09-18 | 1972-07-04 | Hobrough Ltd | Automatic orthophoto printer |
JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
JPH04313199A (ja) * | 1991-03-20 | 1992-11-05 | Mitsubishi Electric Corp | 車間距離検出装置 |
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JPH05296767A (ja) * | 1992-04-20 | 1993-11-09 | Mitsubishi Electric Corp | 車間距離検出装置 |
JP3324821B2 (ja) | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | 車輌用車外監視装置 |
JP3205477B2 (ja) * | 1994-02-17 | 2001-09-04 | 富士フイルムマイクロデバイス株式会社 | 車間距離検出装置 |
US5768404A (en) * | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
DE69529548T2 (de) * | 1994-04-22 | 2003-11-27 | Canon Kk | Bilderzeugungsverfahren und -gerät |
US5606627A (en) * | 1995-01-24 | 1997-02-25 | Eotek Inc. | Automated analytic stereo comparator |
JP3035768B2 (ja) * | 1995-05-22 | 2000-04-24 | 本田技研工業株式会社 | 車両用対照物検知装置 |
US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
JP3727400B2 (ja) | 1996-02-22 | 2005-12-14 | 株式会社日本自動車部品総合研究所 | 横断者の検出装置 |
JPH10178564A (ja) * | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
US6259426B1 (en) * | 1999-04-21 | 2001-07-10 | Sony Corporation | Video image display apparatus and method |
JP4118452B2 (ja) * | 1999-06-16 | 2008-07-16 | 本田技研工業株式会社 | 物体認識装置 |
EP1223083B1 (en) * | 1999-09-20 | 2004-03-17 | Matsushita Electric Industrial Co., Ltd. | Device for assisting automobile driver |
JP3261115B2 (ja) * | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP3859429B2 (ja) | 2000-05-30 | 2006-12-20 | 本田技研工業株式会社 | 移動対象物検出装置 |
-
2001
- 2001-11-09 JP JP2001345105A patent/JP3739693B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-01 US US10/286,541 patent/US7158664B2/en active Active
- 2002-11-07 DE DE10251880A patent/DE10251880B4/de not_active Expired - Fee Related
-
2006
- 2006-10-30 US US11/554,292 patent/US7474765B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07129898A (ja) * | 1993-11-05 | 1995-05-19 | Toyota Central Res & Dev Lab Inc | 障害物検出装置 |
JPH07220194A (ja) * | 1994-02-07 | 1995-08-18 | Fujitsu Ltd | 道路環境認識装置 |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
JP2004350847A (ja) * | 2003-05-28 | 2004-12-16 | Okumura Yu-Ki Co Ltd | 遊技機 |
JP2004362265A (ja) * | 2003-06-04 | 2004-12-24 | Honda Motor Co Ltd | 赤外線画像認識装置 |
US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
JP2008058279A (ja) * | 2006-09-04 | 2008-03-13 | Konica Minolta Holdings Inc | 距離画像生成装置、距離画像生成方法及びプログラム |
JP2015207281A (ja) * | 2014-04-10 | 2015-11-19 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
US10937181B2 (en) | 2016-03-15 | 2021-03-02 | Ricoh Company, Ltd. | Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium |
WO2017158958A1 (ja) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE10251880A1 (de) | 2003-06-18 |
JP3739693B2 (ja) | 2006-01-25 |
US20070053584A1 (en) | 2007-03-08 |
US7474765B2 (en) | 2009-01-06 |
US20030091228A1 (en) | 2003-05-15 |
DE10251880B4 (de) | 2009-01-08 |
US7158664B2 (en) | 2007-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003150938A (ja) | 画像認識装置 | |
JP4615139B2 (ja) | 車両の周辺監視装置 | |
JP3515926B2 (ja) | 車両の周辺監視装置 | |
US9073484B2 (en) | Surrounding area monitoring apparatus for vehicle | |
JP3764086B2 (ja) | 車両用情報提供装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
JP5503728B2 (ja) | 車両の周辺監視装置 | |
JP2003016429A (ja) | 車両周辺監視装置 | |
US20060115119A1 (en) | Vehicle surroundings monitoring apparatus | |
JPH0696397A (ja) | 画像追尾装置および画像追尾方法 | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP2002314989A (ja) | 車両用周辺監視装置 | |
JP5292047B2 (ja) | 車両の周辺監視装置 | |
JP3919975B2 (ja) | 車両の周辺監視装置 | |
JP2011103058A (ja) | 誤認識防止装置 | |
JP3916930B2 (ja) | 進入警報装置 | |
JP3949628B2 (ja) | 車両の周辺監視装置 | |
JP4176558B2 (ja) | 車両周辺表示装置 | |
JP4567072B2 (ja) | 車両周辺監視装置 | |
JP3961269B2 (ja) | 障害物警報装置 | |
JP2003306103A (ja) | 警報表示装置 | |
JP2001338281A (ja) | 移動対象物検出装置 | |
JP3939580B2 (ja) | 障害物警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131111 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |