JP3709879B2 - Stereo image processing device - Google Patents
Stereo image processing device Download PDFInfo
- Publication number
- JP3709879B2 JP3709879B2 JP2003126534A JP2003126534A JP3709879B2 JP 3709879 B2 JP3709879 B2 JP 3709879B2 JP 2003126534 A JP2003126534 A JP 2003126534A JP 2003126534 A JP2003126534 A JP 2003126534A JP 3709879 B2 JP3709879 B2 JP 3709879B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- camera
- image processing
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像処理を行うステレオ画像処理装置に関し、特にステレオ画像の入力方法に関する。
【０００２】
【従来の技術】
従来のステレオ画像処理装置のステレオ画像入力方法としては、カメラから出力される映像信号をＮＴＳＣ等規定の規格の水平・垂直同期信号をもとに１フィールドずつ交互に入力する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような従来のステレオ画像の入力方法にあっては、次のような問題がある。
【０００４】
２台のカメラから入力が一系統しかない１台の画像処理装置へステレオ画像を入力する方法においては、従来のステレオ画像処理装置では、図３０に示すように、１フィールド毎に２台カメラの画像入力を交互に切り換えて画像を入力していた。このような入力方法では、撮像した２枚の画像間で１フィールド分の時間と走査位置のずれが発生し、また全画像入力時間が２フィールド分を要するため、長くかかってしまう。
【０００５】
２枚の画像間の時間差をなくすため、図３１に示すように１走査ライン（以降、特に断りのない限り主走査ラインを指す。）毎に２台のカメラから交互に入力する方法もあるが、この入力方法では、一方のカメラから１走査ライン分の映像信号を入力すると同時に、他方のカメラからも同じ走査ライン上の１走査ライン分の映像信号が出力されてしまうため、メモリ上に格納される２枚の画像は、互いに走査ラインの垂直方向（副走査方向）に１走査ライン分の位置ずれのある画像となってしまう。このため、２枚の画像間で撮像面の走査ラインの垂直方向、即ち、後述する視差が生じる方向と直角の方向に前記の入力方法よりも大きなずれが生じることになる。精度が要求されるステレオ画像処理においては視差方向以外の方向に位置の差のない、同時刻に撮像された画像を必要とするため、上記の従来の画像入力方法を用いた画像処理装置では、正確なステレオ画像処理を行うことは困難である。
【０００６】
これらのステレオ画像の入力方法とは別に、１フレーム（または１フィールド）分の画像を一旦保持するためのメモリ付のカメラを使用することで、時間差および視差方向以外の方向に位置の差の無い２枚の画像を入力する方法もあるが、この入力方法では、メモリ付きのカメラを用意する必要があり、また入力時間が少なくとも１フレーム分を要するため、高速処理が困難であるという欠点がある。
【０００７】
本発明は、このような従来の問題点に着目してなされたもので、画像の入力時間を短縮しつつ、高精度なステレオ画像処理が可能な画像入力方法を備えたステレオ画像処理装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明では、ステレオ画像入力を行うステレオ画像処理装置において、光軸が特定の平面内に含まれるように第１および第２のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、前記第１および第２のカメラからの映像信号の走査ライン前半部に対しては、前記第１のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第２のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段とを設ける。
【０００９】
請求項２に記載の発明では、前記ステレオ画像処理手段を、前記画像記憶手段に記憶された画像に基づいて撮像された対象物までの距離情報を算出するものとする。
【００１０】
請求項３に記載の発明では、前記第１および第２のカメラを、前記特定の平面内でカメラの光軸がカメラ前方で交差するように傾けて配設する。
請求項４に記載の発明では、前記特定の平面を水平平面とする。
【００１１】
請求項５に記載の発明では、前記特定の平面を垂直平面とする。
請求項６に記載の発明では、前記第１および第２のカメラからの映像信号をデジタル信号に変換するＡ／Ｄ変換手段を更に設け、該Ａ／Ｄ変換手段による映像信号のサンプリング間隔を、該カメラの副走査方向より主走査方向に短くなるように設定する。
【００１２】
請求項７に記載の発明では、前記第１および第２のカメラにより撮像した画像の水平方向、垂直方向の少なくとも一方の方向に対し、前記画像記憶手段に入力する映像信号を制限する。
【００１３】
請求項８に記載の発明では、前記第１および第２のカメラからの映像信号を、所定の走査ライン数毎に前記画像記憶手段に入力する。
請求項９に記載の発明では、前記第１および第２のカメラからの映像信号を、所定の走査ライン数だけ前記画像記憶手段に入力する。
【００１４】
【発明の効果】
請求項１に記載の発明によれば、第１および第２のカメラからの映像信号の走査ラインに対して、映像切り換え手段により走査ライン前半部に第１のカメラの走査ライン前半部から得られる撮像対象物を含む領域の映像信号を、走査ライン後半部に第２のカメラから得られる撮像対象物を含む領域の映像信号を取り込み、画像記憶手段に記憶することで、１枚の画像（１フィールド）分の入力時間で２台のカメラからの２枚分の画像入力が可能となる。このため、画像入力時間が短縮されると共に、画像入力後に行うステレオ画像処理を軽減することができるので、処理の高速化を図ることができる。また、必要とされる画像記憶手段の容量が削減される。
【００１５】
請求項２に記載の発明によれば、入力したステレオ画像を該ステレオ画像中に撮像されている対象物までの距離の算出に用いることで、高速に、かつ精度よく距離を算出することができる。
【００１６】
請求項３に記載の発明によれば、光軸がカメラ前方で交差するようにカメラを傾斜させて配設することで、両カメラからの入力画像の実質的な画角を拡げることができる。このため、例えば、道路標識等の対象物をより近接した位置で撮影することが可能となるので、該道路標識を正確に識別することができる。
【００１７】
請求項４に記載の発明によれば、両カメラを水平平面上に配設することで、各カメラの入力画像の画角を水平方向に広く設定することができ、単眼画像への切り換えにより側方の対象物（例えば、道路標識）をより近接した位置で撮影することができる。
【００１８】
請求項５に記載の発明によれば、両カメラを垂直平面上に配設することで、得られるステレオ画像において、例えば、自車両の前方車両を対象物とする場合は、前方車両が大きく移動する進行方向に大きな画角を設定することができるので、前方車両までの距離を精度よく算出することができる。
【００１９】
請求項６に記載の発明によれば、各カメラから映像信号を入力するときのサンプリング間隔を主走査方向に短く設定することで、詳細な画像情報を得ることができ、対象物までの距離を測定する場合は、精度よく距離を算出することができる。
【００２０】
請求項７に記載の発明によれば、画像記憶手段に入力する映像信号を制限することで、画像メモリを節約することができる。また、画像処理の計算負担を軽減することができるので、処理の高速化を図ることができる。
【００２１】
請求項８に記載の発明によれば、走査ラインの入力を所定のライン数毎に行うことで、画像メモリを節約することができる。また、２枚の画像間のマッチング処理を高速に行うとともに、画像処理を開始するタイミングを早めることができるので、画像入力時間を含む画像処理全体の処理時間を短縮することができる。
【００２２】
請求項９に記載の発明によれば、例えば、１フィールドの後半の数ラインの入力を行わないことで、画像メモリを節約することができる。また、画像処理を開始するタイミングを早めることができるので、画像処理全体の処理時間を短縮することができる。
【００２３】
【発明の実施の形態】
以下に本発明の実施の形態を図に基づいて説明する。
まず、各実施の形態に共通するステレオ画像を用いた距離算出方法について説明する。図５は、２台のカメラの撮像方向の水平平面上で、各カメラの光軸がカメラ前方で交差するように、カメラの向きをそれぞれ内側に傾けた場合のステレオ画像を用いた距離算出方法を示した図である。この構成におけるカメラから対象物までの距離Ｚの算出式を（１）式に示す。
【００２４】
Ｚ＝Ｆ×Ｄ／｜（ＸB −ＸVB）−（ＸA −ＸVA）｜ （１）
ここで、Ｆは焦点距離で、Ｄは各カメラの光軸間距離（眼間距離）を表している。また、ＸVAはカメラＡによる画像Ａ上の消失点位置，ＸA は画像Ａ上の対象物の位置で、同様にＸB はカメラＢによる画像Ｂ上の対象物の位置，ＸVBは画像Ｂ上の消失点位置である。
【００２５】
図５に示すように２台のカメラの光軸が平行でない場合には、２枚の画像上の消失点および両画像に対応した対象物のエッジ位置をそれぞれ求め、各画像上で消失点から対応するエッジ位置までの距離を求め、その距離の差を視差としてカメラから対象物までの距離Ｚを（１）式により求めることができる。
【００２６】
次に、これらのカメラによるステレオ画像の入力方法を具体的に説明する。図１に示すように、まず、カメラＡによる撮像画像の走査ライン前半部とカメラＢによる撮像画像の走査ライン後半部に対象物が撮像されるように、光軸を撮像方向前方で交差させる方向に各カメラを傾斜させる。そして、２台のカメラをこのような傾斜させた配置としたまま、図６に示すように後述するカメラセレクタ制御部で１走査ライン毎の入力の開始時にカメラＡを選択し、入力が走査ラインの中間にきた時点でカメラＢを選択することで、走査ラインの前半部でカメラＡの画像を、走査ラインの後半部でカメラＢの画像を切り換えつつ、画像を入力する。
【００２７】
このようなカメラの配置で画像を入力することで、１枚分の画像入力時間で２枚の画像を入力することができる。このときのカメラからの１走査ライン分の出力時間は常に一定である。仮に１走査ラインの前半部しか入力しない場合でも、カメラが１走査ラインの後半部を出力し終わるまで入力側は次の走査ラインの入力を待たなければならない。この入力方法は、その待ち時間を有効に利用し、１走査ラインの前後半で入力対象のカメラを切り換えながら画像を入力することで、画像入力時間を半減することを可能としたものである。
【００２８】
しかし、この入力方法では図７，図８に示すように撮像面の水平方向の画角、即ち、２つのカメラで共通に撮影されるステレオ画像処理が可能な画像の画角が、単一のカメラの画角の半分になってしまうが、対象物がその画角範囲内に収まっている場合には、該範囲外の画角はもともと距離認識には不要な画角であるため、先行車検出等の処理の効率化を図ることができる。つまり、カメラＡの左半分とカメラＢの右半分の撮像領域に対する不必要な画像入力を省略するため、画像入力時間を短縮することができると共に、画像メモリを節約することができる。
【００２９】
また、図１のカメラＡの右半分とカメラＢの左半分に撮像されている対象物以外の部分は、単眼処理用の画像として利用することもできる。つまり、処理内容に応じて入力画像領域を切り換えることで、１組のステレオカメラを用いて、ステレオ画像処理と単眼画像処理の両方を選択的に行うことができる。例えば、図２に示すように入力画像領域を切り換えると、
入力方法１：ステレオ画像処理による正面の先行車までの距離認識
入力方法２：路肩（例えば標識認識なども可能）と隣接レーンの物体認識
入力方法３：路肩と前方の認識
入力方法４：隣接レーンと前方の認識
を行うことが可能となる。このときのステレオカメラの配置は、各カメラが互いに内側に傾いているため、図７に示すように同じ画角のレンズを用いた単眼カメラ１台の約1.5 倍の画角の画像を入力するこが可能となる。通常、広角レンズは周囲が歪むため画像処理が行いにくい。しかし、図１に示すようなステレオカメラにおいては、標準レンズ等の標準的な画角のレンズを用いているため撮像画像の歪みは少ない。つまり、このステレオカメラを用いることで高速画像入力が可能なステレオ画像処理が行えることに加えて、広い画角が要求される単眼処理に対してもより確実に行うことができる。
【００３０】
これにより、例えば、自車両の前方正面を走行する先行車までの距離認識を行いながら必要に応じて斜め前方に存在する道路標識や隣接レーン上の走行車を認識する等の車載用としての前方向の画像処理が可能となる。
【００３１】
図９は、アナログ信号として出力されるカメラからの映像信号をデジタル化する様子を示した図である。対象物を撮像したときのカメラからの映像信号は、一定の時間内で１走査ライン毎にアナログ信号で出力される。画像の入力側では、このアナログ信号を特定のサンプリング間隔でＡ／Ｄ変換した後に画像メモリに入力する。
【００３２】
このように、各走査ライン毎に画像信号をデジタル化してメモリに入力する操作を、図１０に示すように走査ライン数分繰り返すことで１枚の画像入力を行う。通常、このサンプリング間隔は、カメラのＣＣＤ（Charge Coupled device)等の撮像素子における撮像面の縦横比から決定される。尚、通常のＣＣＤの撮像面の縦横比は３：４である。
【００３３】
ＮＴＳＣ方式の場合では１フィールド内に240 本の走査ラインを入力するので、１走査ライン分の画像信号を320 （＝240 ×４／３）回サンプリングしてデジタル化することになる。そして、１走査ライン毎にカメラより送られる画像信号をデジタル化して入力する操作を、垂直方向の走査ライン数分（ＮＴＳＣ方式の場合240 回）行うことで、１枚の画像の入力を行うことができる。例えば、このサンプリングの間隔を狭くして、１走査ライン中のサンプリング回数を前記320回の２倍（640回）にすると、図９に示すように、垂直方向の分解能や撮像範囲は変えることなく、水平方向の分解能を２倍に向上させることができる。
【００３４】
図１１には、撮像面上の分解能と画像メモリ内の１画素の大きさの関係を示した。画像メモリ内の１画素が実際の撮像面に対してどの程度の大きさに相当するかは、主に、１走査ライン分の画像信号のサンプリング間隔、つまり、撮像面上の１走査ライン分の画像信号を水平方向に何分割してデジタル化するかによって定まる。この分割された一つ一つの画像信号の値が画像メモリ上の１画素毎の輝度値となる。
【００３５】
図１２は、最も一般的なステレオ画像処理による距離算出方法を示す図である。カメラから対象物までの距離Ｚは（２）式に示す幾何学的な計算により求められる。
【００３６】
Ｚ＝Ｆ×Ｄ／｜ＸB −ＸA ｜ （２）
（２）式の分母にあたるＸA −ＸB は視差である。ＸA ，ＸB の値は、画像メモリに保持されたデジタル画像上において、２枚の画像間の対応する対象物のエッジ位置を求め、その位置をカメラの撮像面上の位置に換算することにより算出する。画像メモリ上の位置からカメラの撮像面上の位置への換算は次の要領で行う。
【００３７】
例えば、図１１に示すように撮像素子の水平方向の幅が10ｍｍで前述のサンプリング数が１走査ライン内で100 回であれば、画像メモリ上の１画素の大きさが撮像面上の0.1 ｍｍに相当する。このことから、ＸA −ＸB が画像メモリ上で５画素であれば、ＸA −ＸB の値は0.5 ｍｍと換算される。
【００３８】
また、（２）式において、カメラの焦点距離Ｆと眼間距離Ｄ（２台のカメラの光軸間距離）を固定値とすると、距離Ｚの精度は視差ＸA −ＸB の分解能で決定されることになる。
【００３９】
この理由を図１３を用いて説明する。画像処理で行う２枚の画像間のマッチング結果が１画素ずれると、撮像面上の１画素の大きさが小さい場合は誤差も小さいが、１画素の大きさが大きい場合には誤差も大きくなる。例えば、焦点距離Ｆが20ｍｍ、眼間距離Ｄが100 ｍｍで、撮像面の水平方向の幅が10ｍｍのステレオカメラを用いて距離Ｚが1000ｍｍの位置に存在する対象物を認識する場合において、水平方向の画像信号を100 回サンプリングして入力した画像と、水平方向の画像信号を10回サンプリングして入力した画像を用いて認識したときの距離Ｚの測定精度を比較してみる。
【００４０】
1000ｍｍ先の物体を認識した場合、（２）式より、撮像面上の視差が２ｍｍとなる（ＸA −ＸB ＝Ｆ×Ｄ／Ｚ＝20×100 ／1000＝２）。100 回サンプリングして入力した画像の場合は、１画素の大きさが撮像面上の0.1 ｍｍに相当するので、メモリに保持されたデジタル画像上での視差は20画素となる。一方、10回サンプリングして入力した画像の場合は、１画素の大きさが撮像面上の１ｍｍに相当するので、視差は２画素となる。
【００４１】
ここで、それぞれの画像において視差が１画素ずれた場合を考えると、100 回サンプリングの場合では視差が19画素となるため距離が1052ｍｍ｛＝20×100 ／(19 ×0.1)｝となり、10回サンプリングの場合では視差が１画素となるため距離が2000ｍｍ｛＝20×100 ／（１×１) ｝となる。このように、前者の誤差が52ｍｍであるのに対し、後者の誤差は1000ｍｍにも達する。
【００４２】
そのため、距離測定精度に大きな影響を及ぼす視差の生じる水平方向のサンプリング間隔をより細かく設定することが望ましく、これにより、画像の入力時間や撮像範囲等の入力に関する他の部分に影響を及ぼすことなく測定する距離の精度を向上させることができる。
【００４３】
一般的にステレオ画像処理において、より高い精度が要求される場合に視差方向の分解能を上げるため、図１４(a) に示すレンズの画角θ1 から図１４(b) に示すように小さいレンズの画角θ2 に設定する対応策があるが、撮像範囲が狭くなる問題点がある。そこで、図１に示す配置のステレオカメラは、視差の生じる方向を撮像面の水平方向に合わせているため、カメラから走査ライン毎に出力される映像信号をより細かくサンプリングする。このようにしてデジタル化することで、視差方向に垂直な方向の分解能は変化させずに、視差方向の分解能を向上させることができる。この方法においてはカメラのレンズを交換する必要はなく、撮像範囲が変化することはない。また、１走査ラインの入力時間は不変であり、かつ入力走査ライン数は一定であるため画像全体の入力時間も不変である。即ち、撮像範囲や入力時間を変えることなく、精度良く距離を算出できるステレオ画像を得ることができる。
【００４４】
そのため、ステレオ画像処理の認識対象物が、視差方向に広い画角を必要としない場合であれば、前記２台のカメラの入力を水平走査ラインの前後半で切り換えながら入力する方法に加え、サンプリング間隔を細かく設定することで、ステレオ画像を高速に入力することができ、該ステレオ画像により精度良く距離を求めることができる。
【００４５】
また、認識対象のエッジが、視差方向に対して垂直な方向にある程度十分な長さを有している場合、各カメラからの画像間でそのエッジの対応が取れる程度に画像を間引いても、対象物の認識および距離認識を行なうことができる。
【００４６】
例えば、１走査ライン毎に画像を入力して画像を間引くと共に、該走査ラインの前後半で２台のカメラの入力を切り換えることにより、撮像された２枚の画像に対して同じ位置の走査ラインを１つの走査ライン上に入力することができ、画像メモリが節約され、より高速なステレオ画像処理用の画像入力が可能となる。加えて、画像データを間引いて入力するため、視差の算出のために行う２枚の画像間のマッチングの計算量も低減されるので、画像処理全体に要する時間を短縮することができる。
【００４７】
図１５(a) は、各カメラからの出力を切り換えつつ、１走査ライン毎に入力したときの画像入力および画像処理開始のタイミングを示すタイミングチャートである。全走査ライン入力した場合は、図１５(b) に示す画像データが画像メモリに入力されることになるが、１走査ライン毎に画像データを入力して画像を間引くことにより、図１５(c) に示すように入力される画像データ量が半減する。
【００４８】
通常、カメラからの画像信号は、所定の規格でカメラに入力される水平・垂直同期信号に基づいて出力される。具体的には、カメラが画像出力を開始するタイミングは、カメラが出力の開始を表す垂直同期信号を待ち、その垂直同期信号を受け取った時点から規定の走査ライン数分の画像信号を出力する。一方、カメラから出力された画像の入力側では、カメラからの画像信号の入力を途中で止めることも可能である。この場合は、入力を止めた時点で画像入力側は入力以外の他の処理（例えば画像処理等）を行なうことができるため、画像入力時間だけでなく画像処理全体の処理時間を短縮することができる。
【００４９】
次に、前記のステレオ画像を入力する方法を先行車の検出、距離算出および標識の認識に用いた第１の実施の形態について説明する。
図１６には、本実施の形態に係るステレオ画像処理装置の構成を示した。ここでは、まず概略を説明する。撮像した光学画像を電気的な画像信号として出力する２台のカメラＡ，Ｂの光軸が、カメラ撮像面の水平方向に視差ができるように路面に平行な平面上に含まれるようにすると共に、光軸がそれぞれ撮像方向の前方で交差するように傾斜させて配設する。これらのカメラから出力される映像信号をカメラセレクタ制御部171 に入力し、該カメラセレクタ制御部171 においてどちらか一方のカメラからの映像信号のみを選択してＡ／Ｄ変換部172 に出力する。このＡ／Ｄ変換部172 では、入力された映像信号を基準クロック生成部173 で生成する基準クロック信号に基づいて、所定のサンプリング間隔でデジタル化する。
【００５０】
そして、ＨＤ信号生成部174 は、基準クロック生成部173 により生成される基準クロックが１走査ラインの出力分送られる毎に、２台のカメラそれぞれに水平方向の映像信号の出力開始タイミングを知らせる水平同期信号を出力する。また、ＶＤ信号生成部175 により前記水平同期信号が１フィールド内に出力する走査ライン数分送られる毎に、２台のカメラそれぞれに１フィールド分の画像の出力開始タイミングを知らせる垂直同期信号を出力する。
【００５１】
これらの同期信号を基に、カメラＡ，Ｂから出力される映像信号を基準クロック毎にデジタル化して得られる合計２枚のデジタル画像を２つの画像メモリ176a,176b により一時的に記憶すると共に、それらの画像メモリ176a,176b への書き込み許可信号とメモリ上のアドレス位置の指定を、画像メモリ制御部176 により基準クロック毎に制御する。
【００５２】
さらに、対象物検出部177 により、２つの画像メモリのどちらか一方に記憶された画像中から対象物のエッジ位置を求め、求めた対象物のエッジと対応するエッジを対応点探索部178 により他方の画像から探索する。そして、２枚の画像間の互いに最も類似度の高い範囲の座標と２台のカメラの焦点距離と２台のカメラの位置関係をもとに、距離算出部179 により三角測量の原理でカメラから対象物までの距離を求める。
【００５３】
かかる構成のステレオ画像処理装置を用いてステレオ画像を入力し、先行車の検出、先行車までの距離算出および標識の認識処理を行うフローチャートを図１７に示した。本実施の形態は、通常は、図２(a) に示す入力方法１を用いてステレオ画像を入力しつつ前方の先行車までの距離を認識し、必要に応じて図２(c) に示す入力方法３により入力画像を片方のカメラだけに切り換え、該選択されたカメラからの画像を用いて道路標識を認識するものである。
【００５４】
図１８には、カメラ搭載車、先行車（対象物）およびカメラの配置、ならびに設定した絶対座標系を示した。２台のカメラＡ，Ｂは、カメラＡからの撮像画像の水平方向前半部とカメラＢからの撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させて設置する。このような構成のステレオカメラを用いて、前記図５で説明したステレオ画像を用いた距離認識方法に基づき、先行車までの距離を算出する。
【００５５】
まず、ステレオ画像処理による距離認識方法について説明する。
図１９は、無限遠点である消失点の求め方を説明する図である。ここでは、前記ステレオカメラを搭載した自車両の左右に存在する白線の撮像画像上における直線の式を求め、これらの交点を消失点とする（ステップ１、以降Ｓ１と記す。）。撮像画像上でのステレオカメラに近い位置においては左右の白線は互いに離れた位置に存在するが、遠方のものほど両者の間隔は狭まり、無限遠方においては２本の白線は交わるものと見なすことができることから、前記撮像画像上における直線が交わる位置を消失点としている。
【００５６】
次に、左右の白線の検出方法を説明する。概略的には、取り付けたステレオカメラの位置と焦点距離により計算できる撮像画像内の白線部分にウィンドウを作成し、このウィンドウ内を微分処理等を施して得られるエッジ画像を用いて、例えば、直線を検出対象としたHough 変換によりウィンドウ内の白線を表す直線の式を求める（Ｓ２）。
【００５７】
このウィンドウ位置の具体的な求め方を図２０を用いて説明する。ウィンドウ位置は白線を検出することのできるおよその位置で良いので、微小である各カメラの傾き角は無視することにする。
【００５８】
いま、焦点距離がＦのレンズをもつカメラＡを路面からの高さがｈの位置に配設し、該カメラＡにより撮像することを考えると、撮像方向に前方Ｚ' の位置に存在する白線は、撮像面の中心からＸC 軸方向にｈ・Ｆ／Ｚ' の位置に撮像されると計算上予測することができる。また、ＹC 軸方向に関して、道幅をＷとし、カメラＡが道路のほぼ中央に位置していると仮定すると、撮像面の中央から２Ｗ・Ｆ／Ｚ' の位置に白線が撮像されると計算上予測することができる。この位置の画像メモリ上の位置への変換は、撮像面上の１画素に対する大きさが判明すれば行うことができる。
【００５９】
このような方法で白線検出のためのウィンドウの位置を決定し、その位置で左右の白線の直線式を求め、これらの交差点からカメラＡからの画像Ａに対する消失点（ＸVA，ＹVA）を求める。また、カメラＢからの画像Ｂについても同様に、消失点（ＸVB，ＹVB）を求める。これらの消失点はカメラの取付位置により決定されるため、初期設定時に１度だけ求めればよい。
【００６０】
次に、詳細を後述する標識の有無を判断し（Ｓ３）、標識が無いと判断したときは先行車位置を検出する（Ｓ４）。先行車は２本の白線の間に挟まれた位置に長い水平エッジを有するものとして判断できるため、該水平エッジを画像Ａ，Ｂのどちらかを用いて検出する。この先行車の位置の検出には、まず、消失点の検出と同様な方法で白線を検出し、該検出された白線の間に挟まれた位置に存在する水平エッジを、画面上で下から上に向けて探索する。図２１に示すように、水平エッジがあるしきい値以上で、かつある程度の長さをもつ場合、その水平エッジが先行車による水平エッジと認識することにより先行車を検出する。
【００６１】
次に、２枚の画像Ａ，Ｂ間での対応点の求め方を図２２を用いて説明する。これは、検出された画像Ａ内の先行車の位置に、所定の大きさのウィンドウを設定し、このウィンドウ内の画像をテンプレートとしてマッチング処理を行う（Ｓ５）。即ち、このテンプレートと最も類似度の高い画像の位置を画像Ｂより求める。このときの類似度の計算は、例えば正規化相関法を用いて行えばよい。画像Ａより抽出したテンプレートの各画素の輝度値をＡij、画像Ｂより抽出した画像の輝度値をＢijとすると、正規化相関法による互いの画像の類似度は（３）式により算出することができる。
【００６２】
【数１】
（３）式の値が高いほど類似度が高くなる。そこで、画像Ｂより抽出する画像の位置を変化させ、（３）式を用いて前記テンプレートと画像Ｂの各位置の画像との類似度を算出することを繰り返し行い、図２３に示すように最も類似度の高い位置ＸB を求める。
【００６４】
そして、距離算出に必要となる視差を、画像Ａの消失点ＸVAと画像Ａ内に設定したウィンドウの位置ＸA との距離（ＸVA−ＸA ）と、画像Ｂの消失点ＸVBと正規化相関法により求めた最も類似度の高い位置のウィンドウの位置ＸB との距離（ＸVB−ＸB ）との差（ＸVB−ＸB ）−（ＸVA−ＸA ）の絶対値により求める（Ｓ６）。
【００６５】
この値は画素単位であるので、用いたカメラの撮像面の大きさと水平方向のサンプリング間隔を基に１画素に相当する撮像面上の長さを算出し、この長さを基に画素単位で求められた視差を撮像面上の長さに換算する。
【００６６】
この視差を算出した後、（１）式を用いて先行車までの距離を算出する（Ｓ７）。
図２４は、本実施の形態におけるステレオ画像の入力方式と従来の入力方式を比較したタイムチャートである。通常の画像入力方式においては、１フレーム１の第１フィールドで画像Ａを入力し、第２フィールドで画像Ｂを入力する。そして、フレーム２の第１フィールドにおいて、該入力した画像Ａ，Ｂを処理することを繰り返し行う。
【００６７】
一方、本実施の形態においては、フレーム１の第１フィールドで画像Ａ，Ｂを入力し、第２フィールドで該入力した画像Ａ，Ｂを処理することを繰り返し行う。
【００６８】
本実施の形態により、画像の入力時間を半減させることができ、さらに画像の処理時間が１フィールド以下であれば、１フレーム内で入力画像に対する処理を終了させることが可能となる。また、この配置のステレオカメラを用いることにより、撮像面の水平方向を視差方向とほぼ一致させ、画像信号をデジタル化する際のサンプリング間隔を狭くすることにより、先行車等の対象物までの距離を精度良く求めることができる。
【００６９】
次に、標識認識について図２５を用いて説明する。図２５は、ステレオ画像処理用の画像から標識の存在を認識する方法を説明している。この標識認識は、標識を検出したときだけ行うようにし（Ｓ３）、通常は距離認識を行うようにする。これにより距離認識の処理速度が低下することを極力抑制しつつ標識認識を行うことができる。
【００７０】
標識が存在しない通常時の入力画像は、例えば、図２５(a) に示すようなステレオ画像処理用の画像となる。距離認識用の画像は、図２５(b) に示すように１台のカメラの半分の画角だけを使用しているため、自車両近傍（斜め横）の標識を認識することはできないが、前方の標識の存在を認識することはできる。
【００７１】
また、広角レンズを使用して画角を拡げることにより、遠方の標識から自車両近傍の標識まで撮像することもできるが、広角レンズを使用すると撮像画像にレンズによる歪みが生じるため、画像処理段階で精度よく距離を算出することが困難となり好ましくない。
【００７２】
この標識は、撮像画像上において路面の白線上に存在しているように撮像される。前述のステレオ画像処理時に検出した白線の検出結果をもとに、図２５(c) に示すように画像の左端での白線位置（ｙ座標）を求め、その白線位置に予め定めた大きさの標識認識用のウィンドウを設定する。このウィンドウ内に長い縦エッジの存在が確認されたときに標識があると判断する。このときの画像メモリに取り込まれた画像は、図２５(d) に示すように標識の存在は検出されても標識内容を判断するには撮像された標識が小さ過ぎる。そこで、標識の存在が検出されてから自車両が数ｍ進んだ後、入力対象を左斜め前方を撮像するカメラＢだけに切り換え、図２(c) に示す入力方法３で１回画像を入力する（Ｓ８）。このとき入力される画像の一例を図２６(a) に示した。この画像には標識が大きく撮像されており、図２５(d) に示す画像より十分詳細な情報が得られるため、標識内容を認識するには好適である。
【００７３】
図２６(a) に示す撮像画像から標識内容を認識するには、まず、撮像画像から円を検出する（Ｓ９）。これは、例えば、円を認識対象としたHough 変換を用いることにより検出することができる。そして、標識内容は、図２６(b) に示す円の内部の画像と、図２６(c) の予め用意した標識内容を表すテンプレートとの類似度を求め、この類似度が最も高いテンプレートをその標識内容と判断する（Ｓ１０）。尚、この類似度は、例えば前述の正規化相関法により求めることができる。
【００７４】
このように、本実施の形態におけるステレオカメラは、斜め前方を撮像するため、遠方の標識を認識することができると共に、自車両近傍の標識を大きく撮像することができ、より確実な標識認識を行うことができる。
【００７５】
次に、ステレオ画像処理による先行車までの距離認識だけを行う場合において、より高速に、かつ確実に先行車までの距離認識を行う第２の実施の形態を説明する。
【００７６】
図２７には、ステレオカメラを搭載した自車両、先行車（対象物）およびステレオカメラの配置、ならびにそれらを説明するために設定した世界座標系を示した。このステレオカメラの配置は、撮像面の水平方向が路面に対して垂直となるように、第１の実施の形態におけるステレオカメラの配置を９０度回転させたものである。そのため、２台のカメラＡ，Ｂは、カメラＡによる撮像画像の水平方向前半部とカメラＢによる撮像画像の水平方向後半部のそれぞれに先行車が映出するように傾斜させる。そして、先行車の認識は、この９０度回転したステレオ画像を用いて前述と同様な方法で求める。
【００７７】
次に、カメラを９０度回転することによる効果を説明する。
図２７に示した世界座標系において、先行車は路面に平行な方向（Ｘ軸方向）に平行な長いエッジを持つことが多い。そこで、視差はできるだけ長いエッジを対象とした方が２枚のマッチングをとり易いため、路面に垂直な方向（Ｙ軸方向）に作る方がよい。また、先行車はＸ軸方向に大きく動くことはあるが、Ｙ軸方向に大きく動くことはないため、このＹ軸方向の画角は狭くても構わない。
【００７８】
ところで、前述の第１の実施の形態におけるステレオ画像では、撮像面の水平方向の画角は垂直方向の画角の２／３となっていた。そこで、Ｙ軸方向には画角が狭くても距離認識には十分であるので、本実施の形態においてはＹ軸方向に撮像面の水平方向を合わせるようにする。つまり、図２７に示すようにステレオカメラを９０度回転させた位置に配設する。先行車の移動の特徴として、自車両に対して左右方向に大きく移動する傾向があり、本実施の形態のような配置とすると、先行車の動きの大きな方向（左右方向）と画角の広い方向とを一致させることができるため、広範囲に動く先行車をより確実に認識することが可能となる。
【００７９】
また、車両のエッジは左右方向に長く、その長いエッジを用いて視差計算ができるため、先行車認識の精度と確実性が向上する。さらに、先行車はある程度長いエッジを有すると考えられるので、撮像した画像を間引いても２枚の画像のマッチングを十分行うことができる。そこで、図１５に示した方式を用い、２台のカメラ間で同じ位置の走査ラインを、例えば、１走査ラインおきに入力することにより画像を間引くと共に、先行車の一部が撮像範囲に残るような部分まで入力したところでフィールド後半の数走査ラインの入力を強制的に中止するようにして、画像の入力を制限する。
【００８０】
先行車認識では、このような画像入力を行うことができるため、画像メモリを節約することができ、かつ画像入力時間を短縮することができる。また、このような画像入力を行うと、図２８に示すようにメモリ内の画像が視差方向に対して垂直な方向に圧縮されるため、２枚の画像のマッチングを行うときに用いるテンプレートが小さくなり、１回の類似度の計算量が減少し、マッチング処理を高速に行うことが可能となる。つまり、画像入力時間の短縮だけではなく、認識処理時間も短縮することができる。
【００８１】
図２９は、本実施の形態における画像入力方式を用いた場合のタイムチャートを示している。従来方式は、図２４に示した方式と同様に、フレーム１の第１および第２フィールドでカメラＡ，Ｂからの画像入力をそれぞれに行い、フレーム２の第１フィールドで入力した画像の処理を行うことを繰り返すものである。
【００８２】
一方、本実施の形態における入力方式(1) では、フレーム１の第１フィールドでカメラＡ，Ｂからの画像を入力すると共に、画像後半部の不要な部分の入力を強制的に中止する。これにより、画像入力時間を１フィールド未満とすることができる。そして、第２フィールドにおいて、第１フィールドで入力した画像を処理する。これを繰り返し行う。このような入力方式(1) を用いることで、画像入力時間を従来方式の半分以下に抑えることができる。また、入力画像の処理時間が１フィールド以下であれば、１フレーム内での処理も可能となる。また、入力方式(2) に示すように、画像後半部の入力を中止したり、画像を間引きながら入力することで、本来の画像入力時間の途中で入力を打ち切ることができ、さらに入力画像の処理が次の画像入力の待ち時間内でできるようであれば、実時間処理も可能となる。
【００８３】
このように、９０度傾けたステレオカメラを用いて画像信号のサンプリング間隔を狭くした上で、走査ラインの前後半でカメラを切り換えながら入力すると共に、画像を撮像面の垂直方向に間引いて入力する方式を用いてステレオ画像を入力することで、先行車に対する距離認識を高速に、かつ精度よく行うことができる。
【図面の簡単な説明】
【図１】 本発明の概要を説明するための図。
【図２】 映像信号の切り換えて画像記録手段に入力する方法の４パターンを示した図。
【図３】 特定の平面を特定の垂直平面とした場合の概要を説明するための図。
【図４】 入力する映像信号を制限する場合の概要を説明するための図。
【図５】 基本的な距離算出のためのステレオ画像処理方法を説明する図。
【図６】 走査ラインの前半および後半でカメラの入力を切り換えて入力することを説明する図。
【図７】 １台のカメラの画角と２台のカメラを傾けて配設したときの画角を示す図。
【図８】 各カメラからの画像に対するステレオ画像領域を示す図。
【図９】 サンプリング間隔に対する画像の状態を説明する図。
【図１０】 アナログの画像信号をデジタルの画像信号に変換した画像を説明する図。
【図１１】 撮像面上の分解能と画像メモリ内の１画素の大きさを示す図。
【図１２】 一般的なステレオ画像処理による距離算出方法を示す図。
【図１３】 カメラの焦点距離Ｆと眼間距離Ｄを一定としたときの距離Ｚの測定精度と視差の分解能との関係を示す図。
【図１４】 撮像範囲と対象物の測定精度との関係を示す図。
【図１５】 各カメラからの画像入力タイミングの関係とそのとき入力される画像を示す図。
【図１６】 第１の実施の形態におけるステレオ画像処理装置のブロック構成図。
【図１７】 第１の実施の形態における先行車までの距離算出および標識認識処理のフローチャート図。
【図１８】 第１の実施の形態における撮像方法とそのとき得られる画像とを示す図。
【図１９】 消失点の算出方法を説明する図。
【図２０】 ウィンドウ位置の設定方法を説明するためのカメラの取付位置を示した図。
【図２１】 先行車位置の検出方法を説明する図。
【図２２】 撮像した２枚の画像間での対応点の求め方を説明する図。
【図２３】 類似度の最も高い画像切取り位置を示す図。
【図２４】 第１の実施の形態における画像入力および画像処理のタイミングを示すタイミングチャート。
【図２５】 標識の認識方法を説明する図。
【図２６】 標識認識時における標識内容の認識方法を説明する図。
【図２７】 第２の実施の形態における撮像方法を示す図。
【図２８】 視差を検出する方向に長いエッジを多く含む場合の処理を示す図。
【図２９】 第２の実施の形態における画像入力と画像処理のタイミングを示すタイミングチャート。
【図３０】 従来の画像入力方法を説明する図。
【図３１】 従来の他の画像入力方法を説明する図。
【符号の説明】
171 カメラセレクタ制御部
172 Ａ／Ｄ変換部
174 ＨＤ信号生成部
175 ＶＤ信号生成部
176 画像メモリ
177 対象物検出部
178 対応点検索部
179 距離算出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereo image processing apparatus that performs stereo image processing, and more particularly to a method for inputting a stereo image.
[0002]
[Prior art]
As a stereo image input method of a conventional stereo image processing apparatus, there is a method of alternately inputting a video signal output from a camera one field at a time based on a horizontal / vertical synchronization signal of a standard such as NTSC.
[0003]
[Problems to be solved by the invention]
However, such a conventional stereo image input method has the following problems.
[0004]
In a method of inputting a stereo image from two cameras to one image processing apparatus having only one system, the conventional stereo image processing apparatus has two cameras per field as shown in FIG. The image was input by switching the image input alternately. In such an input method, the time for one field and the shift of the scanning position occur between the two captured images, and the entire image input time requires two fields, which takes a long time.
[0005]
In order to eliminate the time difference between the two images, as shown in FIG. 31, there is a method of alternately inputting from two cameras for each scanning line (hereinafter, the main scanning line is indicated unless otherwise specified). In this input method, a video signal for one scanning line is input from one camera and at the same time, a video signal for one scanning line on the same scanning line is output from the other camera. The two images thus formed are images that are displaced by one scanning line in the direction perpendicular to the scanning line (sub-scanning direction). For this reason, there is a larger shift between the two images than in the input method in the vertical direction of the scanning line on the imaging surface, that is, in the direction perpendicular to the direction in which the parallax described later occurs. In stereo image processing that requires accuracy, an image captured at the same time with no position difference in a direction other than the parallax direction is required. Therefore, in the image processing apparatus using the conventional image input method described above, It is difficult to perform accurate stereo image processing.
[0006]
Apart from these stereo image input methods, there is no time difference and no difference in position in directions other than the parallax direction by using a camera with a memory for temporarily holding an image for one frame (or one field). There is also a method of inputting two images, but this input method has a drawback that it is difficult to perform high-speed processing because it is necessary to prepare a camera with a memory and the input time requires at least one frame. .
[0007]
The present invention has been made paying attention to such conventional problems, and provides a stereo image processing apparatus provided with an image input method capable of high-accuracy stereo image processing while shortening the image input time. The purpose is to do.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, in the stereo image processing apparatus for inputting a stereo image, the first and second cameras are arranged in parallel so that the optical axis is included in a specific plane. An imaging unit configured to image an object and scan an image captured by a scanning line set in a direction parallel to the specific plane; and first half of a scanning line of video signals from the first and second cameras For the part, the video signal of the region including the object obtained from the first half of the scan line of the first camera is selected, while for the second half of the scan line, the scan line of the second camera Video switching means for selecting and switching a video signal in an area including the object corresponding to the area obtained from the second half, and an image storage device for storing the video signal output from the video signal switching means When provided a stereo image processing means for performing the stereo image processing on the image stored on the image storage means.
[0009]
In the second aspect of the present invention, the stereo image processing means calculates distance information to the captured object based on the image stored in the image storage means.
[0010]
According to a third aspect of the present invention, the first and second cameras are disposed so as to be inclined so that the optical axes of the cameras intersect the front of the camera in the specific plane.
In the invention according to claim 4, the specific plane is a horizontal plane.
[0011]
In the invention according to claim 5, the specific plane is a vertical plane.
In the invention described in claim 6, A / D conversion means for converting the video signals from the first and second cameras into digital signals is further provided, and the sampling interval of the video signals by the A / D conversion means is set as follows: It is set to be shorter in the main scanning direction than in the sub-scanning direction of the camera.
[0012]
According to the seventh aspect of the present invention, the video signal input to the image storage means is limited with respect to at least one of the horizontal direction and the vertical direction of the images captured by the first and second cameras.
[0013]
According to an eighth aspect of the present invention, video signals from the first and second cameras are input to the image storage means every predetermined number of scanning lines.
According to the ninth aspect of the present invention, video signals from the first and second cameras are input to the image storage means by a predetermined number of scanning lines.
[0014]
【The invention's effect】
According to the first aspect of the present invention, the scanning line of the video signal from the first and second cameras is obtained from the first half of the scanning line of the first camera to the first scanning line by the video switching means. By capturing the video signal of the area including the imaging target and the video signal of the area including the imaging target obtained from the second camera in the second half of the scanning line and storing the video signal in the image storage means, one image (1 It is possible to input two images from two cameras with an input time of (field). For this reason, the image input time is shortened, and the stereo image processing performed after the image input can be reduced, so that the processing speed can be increased. Also, the required capacity of the image storage means is reduced.
[0015]
According to the second aspect of the present invention, the distance can be calculated at high speed and with high accuracy by using the input stereo image for calculating the distance to the object imaged in the stereo image. .
[0016]
According to the third aspect of the present invention, the substantial angle of view of the input images from both cameras can be widened by arranging the cameras so that the optical axes intersect in front of the cameras. For this reason, for example, an object such as a road sign can be photographed at a closer position, so that the road sign can be accurately identified.
[0017]
According to the invention described in claim 4, by arranging both cameras on the horizontal plane, the angle of view of the input image of each camera can be set widely in the horizontal direction, and the side by switching to the monocular image The target object (for example, a road sign) can be photographed at a closer position.
[0018]
According to the fifth aspect of the present invention, in the stereo image obtained by arranging both cameras on the vertical plane, for example, when the vehicle ahead of the host vehicle is the target, the vehicle ahead moves greatly. Since a large angle of view can be set in the traveling direction, the distance to the preceding vehicle can be accurately calculated.
[0019]
According to the sixth aspect of the present invention, detailed image information can be obtained by setting the sampling interval when inputting the video signal from each camera to be short in the main scanning direction, and the distance to the object can be determined. When measuring, the distance can be calculated with high accuracy.
[0020]
According to the seventh aspect of the present invention, the image memory can be saved by limiting the video signal input to the image storage means. In addition, since the calculation burden of image processing can be reduced, the processing speed can be increased.
[0021]
According to the eighth aspect of the present invention, the image memory can be saved by inputting the scanning lines every predetermined number of lines. In addition, since the matching process between two images can be performed at a high speed and the timing for starting the image processing can be advanced, the processing time of the entire image processing including the image input time can be shortened.
[0022]
According to the ninth aspect of the present invention, for example, image memory can be saved by not inputting several lines in the latter half of one field. In addition, since the timing for starting the image processing can be advanced, the processing time of the entire image processing can be shortened.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
First, a distance calculation method using a stereo image common to the embodiments will be described. FIG. 5 shows a distance calculation method using stereo images when the camera directions are tilted inward so that the optical axes of the cameras intersect in front of the cameras on a horizontal plane in the imaging direction of the two cameras. FIG. A formula for calculating the distance Z from the camera to the object in this configuration is shown in formula (1).
[0024]
Z = F × D / | (X B -X VB )-(X A -X VA | (1)
Here, F is the focal length, and D represents the distance between the optical axes (interocular distance) of each camera. X VA Is the vanishing point position on image A by camera A, X A Is the position of the object on image A and X B Is the position of the object on image B by camera B, X VB Is the vanishing point position on the image B.
[0025]
As shown in FIG. 5, when the optical axes of the two cameras are not parallel, the vanishing point on the two images and the edge position of the object corresponding to both images are obtained, and the vanishing point on each image is obtained. The distance to the corresponding edge position is obtained, and the distance Z from the camera to the object can be obtained from the equation (1) using the difference in distance as the parallax.
[0026]
Next, a stereo image input method using these cameras will be described in detail. As shown in FIG. 1, first, the direction in which the optical axes intersect at the front in the imaging direction so that the object is imaged in the first half of the scanning line of the captured image by the camera A and the second half of the scanning line of the captured image by the camera B. Tilt each camera to Then, with the two cameras arranged in such an inclined manner, as shown in FIG. 6, the camera selector control unit described later selects camera A at the start of input for each scan line, and the input is a scan line. When the camera B is selected at an intermediate point, the image of the camera A is switched in the first half of the scanning line and the image of the camera B is switched in the second half of the scanning line.
[0027]
By inputting an image with such a camera arrangement, two images can be input in one image input time. At this time, the output time for one scanning line from the camera is always constant. Even if only the first half of one scanning line is input, the input side must wait for the next scanning line to be input until the camera finishes outputting the second half of one scanning line. This input method makes it possible to halve the image input time by effectively using the waiting time and inputting an image while switching the input target camera in the first half of one scanning line.
[0028]
However, in this input method, as shown in FIGS. 7 and 8, the horizontal angle of view of the imaging surface, that is, the angle of view of an image capable of stereo image processing taken in common by two cameras is single. Although the angle of view of the camera will be half of the angle of view of the camera, if the object is within the range of angle of view, the angle of view outside the range is originally an angle of view that is not necessary for distance recognition. It is possible to improve the efficiency of processing such as going out. That is, unnecessary image input to the left half of camera A and the right half of camera B is omitted, so that the image input time can be shortened and the image memory can be saved.
[0029]
Further, the portion other than the object imaged on the right half of the camera A and the left half of the camera B in FIG. 1 can be used as an image for monocular processing. That is, by switching the input image area according to the processing content, both stereo image processing and monocular image processing can be selectively performed using a set of stereo cameras. For example, when the input image area is switched as shown in FIG.
Input method 1: Recognition of distance to the preceding vehicle in front by stereo image processing
Input method 2: Recognize roadside shoulder (for example, sign recognition) and adjacent lane objects
Input method 3: Recognition of shoulder and front
Input method 4: Adjacent lane and forward recognition
Can be performed. At this time, since the cameras are inclined inward from each other, as shown in FIG. 7, an image having an angle of view approximately 1.5 times that of a single-lens camera using a lens having the same angle of view is input. This is possible. Usually, a wide-angle lens is difficult to perform image processing because its periphery is distorted. However, since the stereo camera as shown in FIG. 1 uses a standard angle of view lens such as a standard lens, the distortion of the captured image is small. That is, by using this stereo camera, in addition to performing stereo image processing capable of high-speed image input, it can be performed more reliably for monocular processing that requires a wide angle of view.
[0030]
As a result, for example, the vehicle-mounted front such as recognizing a road sign existing diagonally forward or a traveling vehicle on an adjacent lane as necessary while recognizing the distance to the preceding vehicle traveling in front of the host vehicle. Directional image processing is possible.
[0031]
FIG. 9 is a diagram showing how the video signal from the camera output as an analog signal is digitized. The video signal from the camera when the object is imaged is output as an analog signal for each scanning line within a certain time. On the image input side, the analog signal is A / D converted at a specific sampling interval and then input to the image memory.
[0032]
In this way, one image input is performed by repeating the operation of digitizing the image signal for each scanning line and inputting it into the memory as many times as the number of scanning lines as shown in FIG. Usually, this sampling interval is determined from the aspect ratio of the imaging surface in an imaging device such as a CCD (Charge Coupled Device) of the camera. The aspect ratio of the image pickup surface of a normal CCD is 3: 4.
[0033]
In the case of the NTSC system, 240 scan lines are input in one field, so that an image signal for one scan line is sampled 320 (= 240 × 4/3) times and digitized. Then, an operation for digitizing and inputting an image signal sent from the camera for each scanning line is performed by the number of scanning lines in the vertical direction (240 times in the case of the NTSC system), thereby inputting one image. Can do. For example, if the sampling interval is narrowed and the number of samplings in one scanning line is doubled to 320 times (640 times), the vertical resolution and imaging range are not changed as shown in FIG. The horizontal resolution can be improved by a factor of two.
[0034]
FIG. 11 shows the relationship between the resolution on the imaging surface and the size of one pixel in the image memory. The size of one pixel in the image memory corresponding to the actual imaging plane is mainly determined by the sampling interval of the image signal for one scanning line, that is, one scanning line on the imaging plane. It depends on how many parts of the image signal are digitized in the horizontal direction. The value of each divided image signal becomes a luminance value for each pixel on the image memory.
[0035]
FIG. 12 is a diagram illustrating a distance calculation method by the most general stereo image processing. The distance Z from the camera to the object is obtained by the geometric calculation shown in the equation (2).
[0036]
Z = F × D / | X B -X A | (2)
X, which is the denominator of equation (2) A -X B Is parallax. X A , X B This value is calculated by obtaining the edge position of the corresponding object between the two images on the digital image held in the image memory and converting the position to the position on the imaging surface of the camera. Conversion from the position on the image memory to the position on the imaging surface of the camera is performed as follows.
[0037]
For example, as shown in FIG. 11, if the horizontal width of the image sensor is 10 mm and the number of samplings is 100 times within one scanning line, the size of one pixel on the image memory is 0.1 mm on the imaging surface. It corresponds to. From this, X A -X B Is 5 pixels on the image memory, X A -X B The value of is converted to 0.5 mm.
[0038]
In the equation (2), if the focal length F of the camera and the interocular distance D (the distance between the optical axes of the two cameras) are fixed values, the accuracy of the distance Z is parallax X A -X B It will be determined by the resolution.
[0039]
The reason for this will be described with reference to FIG. If the matching result between two images in image processing is shifted by one pixel, the error is small when the size of one pixel on the imaging surface is small, but the error is large when the size of one pixel is large. . For example, when a stereo camera having a focal distance F of 20 mm, an interocular distance D of 100 mm, and a horizontal width of the imaging surface of 10 mm is used to recognize an object existing at a distance Z of 1000 mm, Compare the measurement accuracy of the distance Z when an image input by sampling the image signal in the direction 100 times and an image input by sampling the image signal in the
[0040]
When an object 1000 mm ahead is recognized, the parallax on the imaging surface is 2 mm from the equation (2) (X A -X B = F * D / Z = 20 * 100/1000 = 2). In the case of an image input by sampling 100 times, the size of one pixel corresponds to 0.1 mm on the imaging surface, so the parallax on the digital image held in the memory is 20 pixels. On the other hand, in the case of an image input by sampling 10 times, the size of one pixel corresponds to 1 mm on the imaging surface, so the parallax is two pixels.
[0041]
Here, considering the case where the parallax is shifted by 1 pixel in each image, the parallax is 19 pixels in the case of sampling 100 times, so the distance is 1052 mm {= 20 × 100 / (19 × 0.1)}, 10 times In the case of sampling, since the parallax is one pixel, the distance is 2000 mm {= 20 × 100 / (1 × 1)}. Thus, while the former error is 52 mm, the latter error reaches 1000 mm.
[0042]
Therefore, it is desirable to set the sampling interval in the horizontal direction where the parallax that greatly affects the distance measurement accuracy is set more finely, so that it does not affect other parts related to input such as image input time and imaging range. The accuracy of the distance to be measured can be improved.
[0043]
In general, in stereo image processing, when higher accuracy is required, the angle of view θ of the lens shown in FIG. 1 To the angle of view θ of the small lens as shown in FIG. 2 However, there is a problem that the imaging range becomes narrow. Therefore, since the stereo camera arranged as shown in FIG. 1 matches the direction in which the parallax occurs with the horizontal direction of the imaging surface, the video signal output from the camera for each scanning line is sampled more finely. By digitizing in this way, the resolution in the parallax direction can be improved without changing the resolution in the direction perpendicular to the parallax direction. In this method, it is not necessary to exchange the lens of the camera, and the imaging range does not change. In addition, since the input time of one scanning line is unchanged and the number of input scanning lines is constant, the input time of the entire image is also unchanged. That is, it is possible to obtain a stereo image from which the distance can be accurately calculated without changing the imaging range and input time.
[0044]
Therefore, if the object to be recognized for stereo image processing does not require a wide angle of view in the parallax direction, in addition to the method of inputting while switching the input of the two cameras in the first half of the horizontal scanning line, sampling is performed. By setting the interval finely, a stereo image can be input at high speed, and the distance can be obtained with high accuracy from the stereo image.
[0045]
Also, if the edge to be recognized has a sufficiently long length in the direction perpendicular to the parallax direction, even if the image is thinned out so that the correspondence of the edge can be taken between the images from each camera, Object recognition and distance recognition can be performed.
[0046]
For example, by inputting an image for each scan line and thinning the image, and by switching the input of two cameras in the first and second half of the scan line, the scan line at the same position with respect to the two captured images Can be input on one scanning line, image memory is saved, and image input for higher-speed stereo image processing becomes possible. In addition, since the image data is thinned out and input, the amount of calculation for matching between the two images performed for calculating the parallax is also reduced, so that the time required for the entire image processing can be shortened.
[0047]
FIG. 15A is a timing chart showing the timing of image input and image processing start when input is performed for each scan line while switching the output from each camera. When all the scanning lines are input, the image data shown in FIG. 15B is input to the image memory. By inputting the image data for each scanning line and thinning the image, the image data shown in FIG. The amount of input image data is halved as shown in ().
[0048]
Normally, an image signal from a camera is output based on a horizontal / vertical synchronization signal input to the camera according to a predetermined standard. More specifically, the timing at which the camera starts image output waits for a vertical synchronization signal indicating the start of output by the camera, and outputs image signals for a specified number of scanning lines from the time when the vertical synchronization signal is received. On the other hand, on the input side of the image output from the camera, the input of the image signal from the camera can be stopped halfway. In this case, when the input is stopped, the image input side can perform processes other than the input (for example, image processing), so that not only the image input time but also the entire image processing time can be shortened. it can.
[0049]
Next, a first embodiment in which the method for inputting a stereo image is used for detection of a preceding vehicle, calculation of distance, and recognition of a sign will be described.
FIG. 16 shows the configuration of the stereo image processing apparatus according to the present embodiment. Here, an outline will be described first. The optical axes of the two cameras A and B that output the captured optical images as electrical image signals are included on a plane parallel to the road surface so that parallax can be generated in the horizontal direction of the camera imaging surface. The optical axes are arranged so as to be inclined so as to intersect each other in front of the imaging direction. The video signals output from these cameras are input to the camera
[0050]
Then, every time the reference clock generated by the reference
[0051]
Based on these synchronization signals, a total of two digital images obtained by digitizing the video signals output from the cameras A and B for each reference clock are temporarily stored in the two
[0052]
Further, the
[0053]
FIG. 17 shows a flowchart for inputting a stereo image by using the stereo image processing apparatus having such a configuration, and detecting the preceding vehicle, calculating the distance to the preceding vehicle, and recognizing the sign. In this embodiment, normally, the distance to the preceding vehicle ahead is recognized while inputting a stereo image using the
[0054]
FIG. 18 shows the arrangement of the camera-equipped vehicle, the preceding vehicle (object) and the camera, and the set absolute coordinate system. The two cameras A and B are installed so as to be inclined so that the preceding vehicle is projected on each of the first half in the horizontal direction of the captured image from the camera A and the second half in the horizontal direction of the captured image from the camera B. Using the stereo camera having such a configuration, the distance to the preceding vehicle is calculated based on the distance recognition method using the stereo image described with reference to FIG.
[0055]
First, a distance recognition method using stereo image processing will be described.
FIG. 19 is a diagram for explaining how to obtain a vanishing point that is an infinite point. Here, an equation of a straight line on the captured image of the white line existing on the left and right of the host vehicle on which the stereo camera is mounted is obtained, and an intersection of these is defined as a vanishing point (
[0056]
Next, a method for detecting left and right white lines will be described. Schematically, a window is created in a white line portion in a captured image that can be calculated based on the position and focal length of the attached stereo camera, and an edge image obtained by performing differential processing or the like in the window is used, for example, a straight line A straight line expression representing a white line in the window is obtained by the Hough transform with the detection target (S2).
[0057]
A specific method for obtaining the window position will be described with reference to FIG. Since the window position may be an approximate position where a white line can be detected, the slight tilt angle of each camera is ignored.
[0058]
Considering that a camera A having a lens with a focal length of F is arranged at a position where the height from the road surface is h and that the camera A takes an image, a white line existing at a position Z ′ forward in the imaging direction. Is X from the center of the imaging surface. C When the image is taken at the position of h · F / Z ′ in the axial direction, it can be predicted by calculation. Y C Assuming that the road width is W with respect to the axial direction, and that the camera A is located at the approximate center of the road, a white line is imaged at a position 2 W · F / Z ′ from the center of the imaging surface. Can do. Conversion of this position to a position on the image memory can be performed if the size for one pixel on the imaging surface is known.
[0059]
The position of the window for detecting the white line is determined by such a method, the straight line expression of the left and right white lines is obtained at that position, and the vanishing point (X VA , Y VA ) Similarly, for the image B from the camera B, the vanishing point (X VB , Y VB ) Since these vanishing points are determined by the mounting position of the camera, they need only be obtained once at the initial setting.
[0060]
Next, the presence or absence of a sign whose details will be described later is determined (S3). When it is determined that there is no sign, the position of the preceding vehicle is detected (S4). Since the preceding vehicle can be determined as having a long horizontal edge at a position sandwiched between two white lines, the horizontal edge is detected using one of the images A and B. For the detection of the position of the preceding vehicle, first, a white line is detected in the same manner as the detection of the vanishing point, and the horizontal edge that is located between the detected white lines is displayed from the bottom on the screen. Explore upwards. As shown in FIG. 21, when the horizontal edge is equal to or greater than a certain threshold and has a certain length, the preceding vehicle is detected by recognizing that the horizontal edge is the horizontal edge of the preceding vehicle.
[0061]
Next, how to obtain corresponding points between the two images A and B will be described with reference to FIG. This sets a window of a predetermined size at the position of the preceding vehicle in the detected image A, and performs matching processing using the image in this window as a template (S5). That is, the position of the image having the highest similarity with this template is obtained from the image B. The similarity calculation at this time may be performed using, for example, a normalized correlation method. The luminance value of each pixel of the template extracted from the image A is A ij , The brightness value of the image extracted from image B is B ij Then, the similarity of each other image by the normalized correlation method can be calculated by the equation (3).
[0062]
[Expression 1]
(3) The similarity increases as the value of the equation increases. Therefore, the position of the image extracted from the image B is changed, and the degree of similarity between the template and the image at each position of the image B is repeatedly calculated using the expression (3), as shown in FIG. Position X with high similarity B Ask for.
[0064]
Then, the parallax required for the distance calculation is expressed as the vanishing point X of the image A. VA And window position X set in image A A Distance to (X VA -X A ) And vanishing point X of image B VB And the position X of the window with the highest similarity obtained by the normalized correlation method B Distance to (X VB -X B ) (X) VB -X B )-(X VA -X A ) By the absolute value (S6).
[0065]
Since this value is in units of pixels, the length on the imaging plane corresponding to one pixel is calculated based on the size of the imaging plane of the camera used and the sampling interval in the horizontal direction, and in units of pixels based on this length. The obtained parallax is converted into a length on the imaging surface.
[0066]
After calculating this parallax, the distance to the preceding vehicle is calculated using equation (1) (S7).
FIG. 24 is a time chart comparing the stereo image input method according to the present embodiment and the conventional input method. In a normal image input method, an image A is input in the first field of one
[0067]
On the other hand, in the present embodiment, the images A and B are input in the first field of the
[0068]
According to this embodiment, the input time of an image can be halved, and if the processing time of the image is 1 field or less, the processing for the input image can be completed within one frame. In addition, by using a stereo camera of this arrangement, the horizontal direction of the imaging surface is substantially coincident with the parallax direction, and the sampling interval when digitizing the image signal is narrowed, so that the distance to an object such as a preceding vehicle is reduced. Can be obtained with high accuracy.
[0069]
Next, label recognition will be described with reference to FIG. FIG. 25 illustrates a method for recognizing the presence of a sign from an image for stereo image processing. This sign recognition is performed only when a sign is detected (S3), and usually distance recognition is performed. Thereby, it is possible to perform the label recognition while suppressing a decrease in the processing speed of the distance recognition as much as possible.
[0070]
A normal input image without a sign is, for example, an image for stereo image processing as shown in FIG. Since the image for distance recognition uses only half the angle of view of one camera as shown in FIG. 25 (b), it cannot recognize a sign in the vicinity of the host vehicle (obliquely). It is possible to recognize the presence of a forward sign.
[0071]
In addition, by using a wide-angle lens to widen the angle of view, it is possible to capture images from a distant sign to a sign in the vicinity of the vehicle. Therefore, it is difficult to calculate the distance with high accuracy.
[0072]
This sign is imaged so as to be present on the white line on the road surface in the captured image. Based on the detection result of the white line detected during the stereo image processing described above, the white line position (y coordinate) at the left end of the image is obtained as shown in FIG. 25C, and the white line position has a predetermined size. Set up a window for sign recognition. When the presence of a long vertical edge is confirmed in this window, it is determined that there is a sign. As shown in FIG. 25 (d), the image captured at this time is too small to detect the content of the sign even if the presence of the sign is detected. Therefore, after the host vehicle has advanced several meters after the presence of the sign is detected, the input object is switched to only the camera B that captures the left front and the image is input once by the input method 3 shown in FIG. (S8). An example of the image input at this time is shown in FIG. Since a sign is captured in a large size in this image and sufficiently detailed information is obtained from the image shown in FIG. 25 (d), it is suitable for recognizing the contents of the sign.
[0073]
In order to recognize the sign contents from the captured image shown in FIG. 26 (a), first, a circle is detected from the captured image (S9). This can be detected, for example, by using a Hough transform with a circle as a recognition target. The sign content is obtained by calculating the similarity between the image inside the circle shown in FIG. 26 (b) and the template representing the sign content prepared in advance in FIG. 26 (c), and the template having the highest similarity is obtained. Judgment content is determined (S10). The similarity can be obtained by the above-described normalized correlation method, for example.
[0074]
As described above, since the stereo camera in the present embodiment captures an oblique front, it can recognize a distant sign and can capture a large sign near the host vehicle, thereby realizing more reliable sign recognition. It can be carried out.
[0075]
Next, a second embodiment will be described in which only distance recognition to a preceding vehicle is performed by stereo image processing, and distance recognition to the preceding vehicle is reliably performed at a higher speed.
[0076]
FIG. 27 shows the arrangement of a host vehicle, a preceding vehicle (object), and a stereo camera on which a stereo camera is mounted, and a world coordinate system set for explaining them. The arrangement of the stereo cameras is obtained by rotating the arrangement of the stereo cameras in the first embodiment by 90 degrees so that the horizontal direction of the imaging surface is perpendicular to the road surface. For this reason, the two cameras A and B are tilted so that the preceding vehicle appears in each of the first half in the horizontal direction of the image captured by the camera A and the second half in the horizontal direction of the image captured by the camera B. The preceding vehicle is recognized by the same method as described above using the stereo image rotated by 90 degrees.
[0077]
Next, the effect of rotating the camera 90 degrees will be described.
In the world coordinate system shown in FIG. 27, the preceding vehicle often has a long edge parallel to the direction parallel to the road surface (X-axis direction). Therefore, since it is easier to match the two parallaxes with the longest possible edge as a target, it is better to create the parallax in the direction perpendicular to the road surface (Y-axis direction). Further, the preceding vehicle may move greatly in the X-axis direction, but does not move significantly in the Y-axis direction, so the angle of view in the Y-axis direction may be narrow.
[0078]
By the way, in the stereo image in the first embodiment described above, the horizontal field angle of the imaging surface is 2/3 of the vertical field angle. Therefore, even if the angle of view is narrow in the Y-axis direction, it is sufficient for distance recognition. Therefore, in this embodiment, the horizontal direction of the imaging surface is aligned with the Y-axis direction. That is, as shown in FIG. 27, the stereo camera is disposed at a position rotated 90 degrees. As a feature of the movement of the preceding vehicle, there is a tendency to move largely in the left-right direction with respect to the own vehicle. When the arrangement as in the present embodiment is adopted, the direction in which the preceding vehicle moves largely (left-right direction) and the angle of view is wide. Since the direction can be matched, it is possible to more reliably recognize a preceding vehicle that moves in a wide range.
[0079]
In addition, since the vehicle edge is long in the left-right direction and the parallax calculation can be performed using the long edge, the accuracy and certainty of the preceding vehicle recognition are improved. Further, since the preceding vehicle is considered to have a long edge to some extent, the two images can be sufficiently matched even if the captured image is thinned out. Therefore, using the method shown in FIG. 15, the scanning line at the same position between the two cameras is input every other scanning line, for example, and the image is thinned out, and a part of the preceding vehicle remains in the imaging range. When such a portion has been input, the input of several scanning lines in the latter half of the field is forcibly stopped to limit the input of the image.
[0080]
In the preceding vehicle recognition, such image input can be performed, so that the image memory can be saved and the image input time can be shortened. In addition, when such an image input is performed, the image in the memory is compressed in a direction perpendicular to the parallax direction as shown in FIG. 28. Therefore, the template used when matching two images is small. Thus, the amount of calculation for one degree of similarity is reduced, and matching processing can be performed at high speed. That is, not only the image input time but also the recognition processing time can be shortened.
[0081]
FIG. 29 shows a time chart when the image input method in the present embodiment is used. As in the method shown in FIG. 24, the conventional method inputs images from cameras A and B in the first and second fields of
[0082]
On the other hand, in the input method (1) in the present embodiment, the images from the cameras A and B are input in the first field of the
[0083]
In this way, the image signal sampling interval is narrowed using a stereo camera tilted by 90 degrees, and the input is performed while switching the camera in the first and second half of the scanning line, and the image is input by being thinned out in the vertical direction of the imaging surface. By inputting a stereo image using the method, distance recognition with respect to the preceding vehicle can be performed at high speed and with high accuracy.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the outline of the present invention.
FIG. 2 is a diagram showing four patterns of a method of switching video signals and inputting them to image recording means.
FIG. 3 is a diagram for explaining an outline when a specific plane is a specific vertical plane;
FIG. 4 is a diagram for explaining an outline in the case of restricting an input video signal.
FIG. 5 is a diagram illustrating a stereo image processing method for basic distance calculation.
FIG. 6 is a diagram for explaining that the input of the camera is switched in the first half and the second half of the scanning line.
FIG. 7 is a view showing the angle of view of one camera and the angle of view when the two cameras are arranged at an angle.
FIG. 8 is a diagram showing a stereo image area for an image from each camera.
FIG. 9 is a diagram for explaining a state of an image with respect to a sampling interval.
FIG. 10 is a diagram illustrating an image obtained by converting an analog image signal into a digital image signal.
FIG. 11 is a diagram showing the resolution on the imaging surface and the size of one pixel in the image memory.
FIG. 12 is a diagram showing a distance calculation method by general stereo image processing.
FIG. 13 is a diagram showing the relationship between the measurement accuracy of the distance Z and the resolution of parallax when the focal length F and interocular distance D of the camera are constant.
FIG. 14 is a diagram illustrating a relationship between an imaging range and measurement accuracy of an object.
FIG. 15 is a diagram illustrating a relationship between image input timings from the cameras and an image input at that time.
FIG. 16 is a block diagram of a stereo image processing apparatus according to the first embodiment.
FIG. 17 is a flowchart of distance calculation to the preceding vehicle and sign recognition processing in the first embodiment.
FIG. 18 is a diagram illustrating an imaging method and an image obtained at that time in the first embodiment.
FIG. 19 is a diagram for explaining a vanishing point calculation method.
FIG. 20 is a view showing a camera mounting position for explaining a window position setting method;
FIG. 21 is a view for explaining a detection method of a preceding vehicle position.
FIG. 22 is a diagram for explaining how to obtain corresponding points between two captured images.
FIG. 23 is a diagram showing an image cutting position with the highest degree of similarity.
FIG. 24 is a timing chart showing the timing of image input and image processing in the first embodiment.
FIG. 25 is a diagram for explaining a method of recognizing a sign.
FIG. 26 is a diagram for explaining a method of recognizing a sign content at the time of sign recognition.
FIG. 27 is a diagram illustrating an imaging method according to the second embodiment.
FIG. 28 is a diagram showing processing in the case where many long edges are included in a direction in which parallax is detected.
FIG. 29 is a timing chart showing the timing of image input and image processing in the second embodiment.
FIG. 30 is a diagram illustrating a conventional image input method.
FIG. 31 is a diagram for explaining another conventional image input method.
[Explanation of symbols]
171 Camera selector controller
172 A / D converter
174 HD signal generator
175 VD signal generator
176 Image memory
177 Object detection unit
178 Corresponding point search part
179 Distance calculator
Claims (9)
光軸が特定の平面内に含まれるように第１および第２のカメラを並列に配設して対象物を撮像し、前記特定の平面に平行な方向に設定された走査ラインにより撮像した画像を走査する撮像手段と、
前記第１および第２のカメラからの映像信号の走査ライン前半部に対しては、前記第１のカメラの走査ライン前半部から得られる前記対象物を含む領域の映像信号を選択する一方、走査ライン後半部に対しては、前記第２のカメラの走査ライン後半部から得られる前記領域に対応した前記対象物を含む領域の映像信号を選択して切り換える映像切り換え手段と、
該映像信号切り換え手段から出力された映像信号を記憶する画像記憶手段と、
該画像記憶手段に記憶された画像に対してステレオ画像処理を施すステレオ画像処理手段と、を含んで構成されるステレオ画像処理装置。A stereo image processing apparatus for inputting a stereo image,
The first and second cameras are arranged in parallel so that the optical axis is included in a specific plane, and an object is imaged, and an image captured by a scanning line set in a direction parallel to the specific plane Imaging means for scanning
For the first half of the scanning line of the video signal from the first and second cameras, the video signal of the region including the object obtained from the first half of the scanning line of the first camera is selected while scanning. For the second half of the line, video switching means for selecting and switching the video signal of the area including the object corresponding to the area obtained from the second half of the scanning line of the second camera;
Image storage means for storing the video signal output from the video signal switching means;
And a stereo image processing unit configured to perform stereo image processing on the image stored in the image storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003126534A JP3709879B2 (en) | 2003-05-01 | 2003-05-01 | Stereo image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003126534A JP3709879B2 (en) | 2003-05-01 | 2003-05-01 | Stereo image processing device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10588296A Division JP3446471B2 (en) | 1996-04-25 | 1996-04-25 | Stereo image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003304561A JP2003304561A (en) | 2003-10-24 |
| JP3709879B2 true JP3709879B2 (en) | 2005-10-26 |
Family
ID=29398299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003126534A Expired - Fee Related JP3709879B2 (en) | 2003-05-01 | 2003-05-01 | Stereo image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3709879B2 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1816514B1 (en) * | 2004-11-15 | 2012-06-20 | Hitachi, Ltd. | Stereo camera |
| JP4958233B2 (en) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | Multi-view image creation system and multi-view image creation method |
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| WO2012124331A1 (en) * | 2011-03-17 | 2012-09-20 | パナソニック株式会社 | Three-dimensional image pickup device |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| JP6701482B1 (en) * | 2018-12-17 | 2020-05-27 | 立山科学工業株式会社 | Mobile object surroundings monitoring device |
-
2003
- 2003-05-01 JP JP2003126534A patent/JP3709879B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003304561A (en) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3709879B2 (en) | Stereo image processing device | |
| JP6717534B2 (en) | Stereo support with rolling shutter | |
| JP3167752B2 (en) | Vehicle distance detection device | |
| JP5615441B2 (en) | Image processing apparatus and image processing method | |
| US7139424B2 (en) | Stereoscopic image characteristics examination system | |
| JP5752618B2 (en) | Stereo parallax calculation device | |
| JP3349121B2 (en) | Stereo camera mounting structure | |
| JP3859371B2 (en) | Picking equipment | |
| JP3710548B2 (en) | Vehicle detection device | |
| JPH10269362A (en) | Object recognition method and device therefor | |
| JP6617150B2 (en) | Object detection method and object detection apparatus | |
| JP2008309519A (en) | Object detection device using image processing | |
| JP3988574B2 (en) | Image processing device | |
| JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
| JP3516118B2 (en) | Object recognition method and object recognition device | |
| JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
| JP2004364212A (en) | Object photographing apparatus, object photographing method and object photographing program | |
| JP3244850B2 (en) | License plate reader | |
| JP2006050451A (en) | Obstacle warning system and image processing apparatus | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| JP3446471B2 (en) | Stereo image processing device | |
| JP2004117049A (en) | Stereo image processing device and stereo image processing method | |
| JPH09145368A (en) | Moving and tracing method for object by stereoscopic image | |
| JP2001116545A (en) | Distance image calculator | |
| JPH10283478A (en) | Method for extracting feature and and device for recognizing object using the same method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |