JP2004265209A

JP2004265209A - Object recognition method

Info

Publication number: JP2004265209A
Application number: JP2003055814A
Authority: JP
Inventors: Daisaku Ono; 大作小野
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2003-03-03
Filing date: 2003-03-03
Publication date: 2004-09-24

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a stable edge image when it is desired to acquire an edge image by successively processing edge images acquired until the previous time and an edge image acquired this time while maintaining the continuity of those edge images. <P>SOLUTION: In this object recognition method for recognizing an object on the basis of the edge data of an object detected by an imaging means, straight lines approximating a shape formed of a plurality of detected edge data are calculated, and the position of the approximate straight lines is recognized as the position of the object. The approximate straight line is calculated by selecting a pair of edge data whose density values are close from among the plurality of edge data, deciding a retrieval range on the basis of the pair of edge data, and obtaining the shape formed of the pair of edge data and the other edge data existing in the retrieval range. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、レーダと撮像手段による画像認識によって物体を検出し、認識する物体認識方法に関する。
【０００２】
【従来の技術】
複数のセンサを組合せて物体を検出するセンサをフュージョンセンサという。フュージョンセンサの一例として、カメラによって得た車両等の物体の画像を処理し、物体の端部であるエッジ画像を検出し、レーダによって物体の距離、速度等を特定することによって物体を認識して検出している。従来の処理では画像処理部で得られた物体のエッジ画像をレーダによって距離の補正をし、時系列処理を行って最終的に物体の端部を検出している。
しかしながら、車両の端部以外の物体の端部、例えばナンバープレート等の物体の内側に存在する端部がエッジ画像として多く検出されてしまうと、検出された物体の端部の連続性がとれなくなり、安定してエッジ画像を得ることができなくなる。
【０００３】
先行車両が撮像装置の視野にある限り先行車両の画像データに追尾ウインドウを設定して追尾し、追尾ウインドウ内に捕捉された先行車両までの距離を車載レーダで測定する追尾式距離検出装置が開示されている（特許文献１参照）。
また、物体のエッジを細線で表示し、同一点の追尾において時間Δｔ後の対応点を追尾することが開示されている（特許文献２参照）。
【０００４】
【特許文献１】
特開平６−１３８２３３号公報
【特許文献２】
特許第３０５５７２１号
【０００５】
【発明が解決しようとする課題】
本発明の目的は、前回までに得たエッジ画像と今回得たエッジ画像を、エッジ画像の連続性を取って引継ぎ処理したエッジ画像を得る場合に、安定したエッジ画像を得ることをである。
【０００６】
【課題を解決するための手段】
本発明の物体認識法によれば、先に検出された物体の端部に係る既存のデータが存在しない場合、検出された複数のエッジデータが形成する形状の近似直線を求め、該近似直線の位置を物体の位置として認識する。
前記近似直線は、前記複数のエッジデータのうち濃度値が近い一対のエッジデ−タを選択し、該一対のエッジデータに基いて検索範囲を決定し、該一対のエッジデータと該検索範囲内に存在する他のエッジデータが形成する形状から求める。前記検索範囲は、前記一対のエッジデータを結ぶ直線から所定の長さの周囲を含む範囲である。
また、前記近似直線は、前記一対のエッジデータと検索範囲内に存在する他のエッジデータのうち２点のエッジデータから最小二乗法によって求める。そして、前記近似直線の信頼度が最も高くなるように前記２点のエッジデータを選択する。
【０００７】
本発明の物体認識法によれば、先に検出された物体の端部に係る既存の近似直線データが存在する場合、該近似直線データに基いて検索範囲を決定し、該検索範囲内に存在する複数のエッジデータが形成する形状の近似直線を新たに求め、該近似直線の位置を物体の位置として認識する。
前記検索範囲は、前記既存の近似直線から所定の長さの周囲を含む範囲であり、前記既存の近似直線の傾きに応じて前記検索範囲を変化させることができる。
また、前記近似直線は、検索範囲内に存在するエッジデータの分布から最小二乗法によって求める。
【０００８】
本発明の物体認識法によれば、上記検索範囲は物体までの検知距離に応じて変化させることができる。
また、前記近似直線を直交座標上の一次式ｙ＝ａｘ＋ｂ（ａ及びｂは定数）で表し、近似直線の一次式の傾きの絶対値が所定の値より小さい場合、一次式をｙ＝ｂで置き換え、近似直線の一次式の傾きの絶対値が所定の値より大きい場合、近似直線の一次式をｘ＝ｃ（ｃは定数）で置き換える。
また、前記近似直線が複数存在し、その端点が互いに近くに存在する近似直線の交点を求め、該交点を前記端点が互いに近くに存在する近似直線の端点とする。
【０００９】
本発明の物体認識法によれば、レーダによって物体が検出されたときは、レーダの出力結果に基いてエッジ画像の検索範囲を設定し、検索範囲にエッジデータが複数存在した場合、エッジデータの分布から近似直線を求め、該近似直線の位置を物体の位置と認識する。
【００１０】
【発明の実施の形態】
図１は本発明方法に用いる画像認識装置のブロック構成図である。図において、１０はフュージョンセンサ部であり、２０はアプリケーション部である。フュージョンセンサ部１０において、１３はレーダ、例えばミリ波レーダであり、先行車両等の前方に位置する物体との距離、相対速度、検知角度、受信レベル等を検出する。レーダで検出されたこれらの情報は物体識別部１４に入力する。一方、１１はカメラ装置で、複眼カメラの場合は複数のカメラ、例えば２台のカメラが自車の前方の画像を取り込むように車両の左右に距離をおいて設置される。また、単眼カメラの場合、１台のカメラが自車の前方の画像を取り込むように車両に設置されている。
【００１１】
カメラ１１から得られた画像情報は画像処理部１２に送られ、ここで画像情報は処理されて先行車両等の前方に位置する物体との距離、検出角度、高さ、幅等の情報が得られる。そして、これらの情報も物体識別部１４に送られ、ここで処理されて先行車両との距離、相対速度等、先行車両に関する情報が得られる。また、同時に道路の側部に存在する物体や道路の上方に存在する構造物、あるいは標識等の情報を得ることができる。これらの情報は制御ＥＣＵ２１に入力し、これに基いてＥＣＵはアクセル２２、ブレーキ２３、ステアリング２４等の制御を行う。
【００１２】
図２は、先行車両をカメラで捕らえた画像と、その画像の縦エッジデータを抽出して形成された場合のエッジ画像を示したものである。図２において（ａ）はカメラで捕らえた画像であり、（ｂ）は前回までに得たエッジ画像である。（ｃ）は今回検出されたエッジ画像であり、（ｄ）は前回までに得たエッジ画像（ｂ）と今回得たエッジ画像（ｃ）を時系列処理した、即ち、前回までに得たエッジ画像と今回得たエッジ画像をエッジ画像の連続性を取って引継ぎ処理したエッジ画像である。
【００１３】
図２に示したエッジ画像の場合、車両の端部のみがエッジ画像として抽出されており、従って、前回までに得たエッジ画像と今回得たエッジ画像をエッジ画像の連続性を取って引継ぎ処理して新たなエッジ画像を得る場合、対応関係が明確になっているため、新たなエッジ画像を安定して得ることができる。
しかし、先行車両等の自車の前方にある物体を検出する場合、その端部の輪郭が検出できればよく、従って、端部以外のエッジを検出する必要性は大きくない。逆に、端部以外の物体の輪郭の内側の、例えばナンバープレート等のエッジが検出されると、前回までに得たエッジ画像と今回得たエッジ画像をエッジ画像の連続性を取って引継ぎ処理した場合、物体の内側のエッジが検出されたりされなかったりするため、新たなエッジ画像を安定して得ることができない。
【００１４】
図３は、図２の場合と異なり、物体の端部のエッジとともに内側のエッジが検出され、検出されたエッジの数が多い場合のエッジ画像を示したものである。図３において、（ａ）はカメラで捕らえた画像であり、（ｂ）は前回までに得たエッジ画像である。（ｃ）は今回検出されたエッジ画像であり、物体の端部のエッジの他に内側のエッジも検出されている。（ｄ）は前回までに得たエッジ画像（ｂ）と今回検出されたエッジ画像（ｃ）を時系列処理した、即ち、前回までに得たエッジ画像と今回検出されたエッジ画像をエッジ画像の連続性を取って引継ぎ処理したエッジ画像である。
【００１５】
図３に示されているように、前回までに得たエッジ画像（ａ）は物体の輪郭のみであるが、今回検出されたエッジ画像（ｃ）は端部のエッジの他に内側のエッジも検出されている。そのため、前回までのエッジ画像（ａ）と今回検出されたエッジ画像の時系列処理をする場合、連続性のないエッジがあるため（ｄ）に示すように時系列処理が不安定になる。
【００１６】
図４は、先行車両等の物体のエッジをカメラにより検出し、検出されたエッジまでの距離と角度に基いてエッジの位置を２次元座標に表示した図である。図４において、Ａは自車でありＢは先行車両である。また、ｅ１−ｅ１１はエッジの位置である。
これまではこれら個々のエッジの連続性を求めて時系列処理をしていたが、エッジの数が多い場合にはすべてのエッジが毎回検出されるとは限らず、連続性を追いかけるのが困難であり、上記のように時系列処理が不安定となってしまう。
そこで、本発明では、個々のエッジの連続性を追いかけるのではなく、複数のエッジを集合として捉え、複数のエッジの集合が形成する形状の連続性を取るようにしたものである。
【００１７】
次に、エッジの集合が形成する形状を、本発明ではどのようにとらえているかについて説明する。まず、図４の複数のエッジｅ１−ｅ１１の中からエッジの濃度値が近い一対のエッジｅ７とｅ１１を選択して組み合わせる。
図５は選択された一対のエッジｅ７とｅ１１に基き、物体を認識するために用いるエッジの検索範囲をどのように設定するかについて、その一例を示した図である。この場合、距離の誤差を考慮して次のように検索範囲を設定する。まず、選択されたエッジｅ７とｅ１１を中心にして車両の進行方向の上下に幅ｘの点ｅ７（ｐ１）、ｅ７（ｐ２）、及びｅ１１（ｐ１）、ｅ１１（ｐ２）を設定する。ｘは、例えばｅ７−ｅ１１間の長さの２０−３０％又は２−３ｍとする。次に、ｅ７（ｐ１）とｅ１１（ｐ２）を結ぶ線、及びｅ７（ｐ２）とｅ１１（ｐ１）を結ぶ線を幅ｙだけ延長し、延長した線の端点を結ぶ。以上のようにして形成された範囲（並行四辺形Ｐと２つの台形Ｔ１、Ｔ２）からなる検索範囲が規定される。なお、上記検索範囲は一例であり、選択されたエッジｅ７とｅ１１を結ぶ線の周囲の所定の範囲を規定すればよい。
なお、検索範囲は物体の検知距離に応じて可変にすることができる。例えば、物体の検知距離が大きい場合には検索範囲を広くし、小さい場合には検索範囲を狭くする。
【００１８】
図５において、エッジｅ７とｅ１１の周辺にはエッジｅ８、ｅ９、ｅ１０が存在するが、上記検索範囲に含まれるエッジはｅ８とｅ９であり、ｅ１０は含まれない。そこで、検索範囲に含まれるエッジｅ７、ｅ８、ｅ９、ｅ１１からなるエッジの集合から全体の形状を求める。まず、エッジｅ７、ｅ８、ｅ９、ｅ１１の分布から、例えば最小二乗法によってこれら複数のエッジが形成する形状の近似直線を求める。なお、検索範囲にエッジデータが２つ（ｅ８、ｅ９）だけではなく、３つ以上存在すれば、これらを含めて近似直線を求める。
同様に、図４のエッジｅ１−ｅ６の集合から検索範囲を規定し、検索範囲に含まれるエッジの分布から最小二乗法によって複数のエッジｅ１−ｅ６が形成する形状の近似直線を求める。
【００１９】
上記説明では、一対のエッジデータｅ７、ｅ１１の他に検索範囲に存在するエッジデータをすべて用いたが、４つ又はそれ以上存在する場合には、一対のエッジデータとこれら他のエッジデータから選択した、例えば２つのエッジデータ（計４つのエッジデータ）から近似直線を求め、最も信頼度が高い近似直線を求め、それを採用することもできる。
【００２０】
図６は上記方法によって求めた近似直線を示した図である。一方のエッジの集合から近似直線（１）が、他方のエッジの集合から近似直線（２）がそれぞれ求められる。自車Ａからこの直線の両端点までの距離と角度はすでに判明しているので、すでに判明している上記距離と角度から両端点の横位置を求める。そして上記距離をｙ軸とし横位置をｘ軸とする直交ｘｙ座標上に近似直線を表示し、その傾きａとｙ軸との切片ｂ、及びその端点の位置を求める。ａとｂが求められると、近似直線の式ｙ＝ａｘ＋ｂが得られる。近似直線の端点の位置は自車を起点として放射状に広がる座標上における起点からの距離と角度によって特定できる。このように近似直線の式と端点の位置によって近似直線を規定することができる。
上記のように検出されたエッジの集合からから近似直線を求めると、次回の検出においてはこれらの近似直線が既検出物体のデータとなる。
【００２１】
図６に示すように、近似直線が２つ又はそれ以上存在する場合であって、近似直線の端点が互いに近い場合には近似直線の交点を求め、それを近似直線の端点とする。例えば、図６に示すように近似直線（１）と（２）の端点ｅ７とｅ１１が互いに近い場合には、近似直線（１）と（２）を延長し、その交点ｐをこれら近似直線の端点とする。
【００２２】
次に、既検出データが存在する場合、即ち、先に検出された物体の端部に係る既存の近似直線データが存在する場合、次回のルーチンで検出されたエッジデータとの間でどのように時系列処理を行うかについて説明する。
【００２３】
図７は、前回までに近似直線（１）、（２）が既検出物体の端部の形状として規定されている場合、今回検出されたエッジのうち連続性を取って引継いで時系列処理をする範囲（検索範囲）を示したものである。直線（１）に対して区画線Ｌ１１とＬ１２に囲まれた範囲、及び直線（２）に対して区画線Ｌ２１とＬ２２に囲まれた範囲が、時系列処理の対象となる範囲である。それぞれの区画線と近似直線（１）、（２）間の距離は、例えば、直線（１）、（２）の長さの２０−３０％又は２−３ｍとする。また、直線（１）、（２）の端点からの距離は、区画線と直線間の距離と同じとする。なお、検索範囲は物体の検知距離に応じて可変にすることができる。例えば、物体の検知距離が大きい場合には検索範囲を広くし、小さい場合には検索範囲を狭くする。
【００２４】
図８は、近似直線（１）に対して時系列処理をする範囲を示したものである。Ｅ１、Ｅ２、Ｅ３は今回検出されたエッジを示しており、時系列処理をする範囲に存在するエッジはＥ１とＥ３であり、Ｅ２は範囲外にあるので時系列処理の対象とはならない。このように個々のエッジを時系列処理するのではなく、エッジの集合から近似直線を求め、この近似直線に基いて時系列処理する範囲（検索範囲）を規定し、この範囲に含まれる新たな検出エッジを対象に時系列処理を行うので、安定した処理を行うことができる。
【００２５】
図９は、本発明により時系列処理を行った場合の処理の状態を示した図である。（ａ）はカメラで捕らえた画像であり、（ｂ）は前回までに得たエッジ画像である。（ｃ）は今回検出されたエッジ画像であり、物体の端部だけでなく内側のエッジも検出されている。（ｄ）は前回までに得たエッジ画像（ｂ）と今回得たエッジ画像（ｃ）を時系列処理したエッジ画像である。
この場合、前回までに得たエッジ画像は２本の直線であるため、今回検出されたエッジのうち、この直線に基いて規定された範囲にあるエッジのみが時系列処理の対象となる。これらのエッジの位置関係から、前回までに得た２本のエッジで作る面の状態を算出し直し、その上で２本のエッジを時系列処理するため、今回検出されたエッジを前回の検出結果に基いて時系列処理を行った結果は、図９（ｄ）に示すように物体の端部のみのエッジ画像となる。
【００２６】
〔実施例１〕
図１０は、本発明の実施例を示すフローチャートである。このフローチャートにおける動作は、図１に示した画像認識装置の物体識別部１４で行われる。他のフローチャートの場合も同じである。
図１０に示したフローチャートは、レーダによって物体が検出された場合に物体の位置をエッジによって求める場合を示している。
【００２７】
図１０のフローチャートにおいて、レーダによって物体が検出されたかどうか判断される（Ｓ１）。物体が検出されたなら（Ｙｅｓ）、レーダの出力結果を基準に撮像手段によって検出されたエッジデータの検索範囲を設定し（Ｓ２）、検索範囲内に存在するエッジデータを検索する（Ｓ３）。次に、検索されたエッジデータの数が２以上であるかどうかを判断する（Ｓ４）。２以上であれば（Ｙｅｓ）、検索された２以上のエッジデータの分布から近似直線の式ｙ＝ｂを求める。レーダで検出した場合には、レーダのビームは車両の進行方向に対してほぼ直角な面に当たって反射してくるので、検索された複数のエッジが形成する近似直線の式は、進行方向に平行な直線をｙ軸とするとｙ＝ｂとなる。次に、レーダの反射信号のレベルから物体の左右両端点の位置を求める（Ｓ６）。
【００２８】
〔実施例２〕
図１１は、本発明の別の実施例を示すフローチャートである。このフローチャートは、前回までのルーチンで物体の端部に係る既存の近似直線データが既に存在する場合に、物体の位置をエッジデータによって求める場合を示している。
図１０に示すフローチャートのＳ１において、レーダによって物体が検出されていない（Ｎｏ）と判断された場合、図１１に示すように物体の近似直線データが既に存在するかどうかが判断される（Ｓ７）。既にデータが存在すれば（Ｙｅｓ）、既存のデータに基いて検索範囲を設定し（Ｓ８）、設定された検索範囲内に存在するエッジデータを検索する（Ｓ９）。
上記検索範囲は上記近似直線の傾きによって変えることができるようにする。傾きが大きいときには距離方向に延びているので検索範囲を広くとり、誤差が大きくならないようにする。反対に傾きが小さいときには検索範囲を狭くする。
【００２９】
次に、検索されたエッジデータの数が２以上であるかどうか判断される（Ｓ１０）。エッジデータの数が２以上であれば（Ｙｅｓ）、検索範囲内のすべてのデータから近似曲線を求め、その傾きａと切片ｂを求める（Ｓ１１）。そして、傾きａが所定の値より小か、即ち、近似直線がｘ軸にほぼ平行かどうか判断する（Ｓ１２）。Ｙｅｓであれば、近似直線の式をｙ＝ｂとする（Ｓ１３）。次に、検索範囲内の角度が最も左と右のデータから近似直線の左右の端点の位置を更新する（Ｓ１４）。なお、ｂはエッジの平均距離である。
【００３０】
一方、Ｓ１２でＮｏであった場合、傾きａが所定の値より大か、即ち、近似直線がｙ軸にほぼ平行かどうか判断する（Ｓ１５）。Ｙｅｓであれば、直線の式をｘ＝ｃとし（Ｓ１６）、近似直線の左右の端点の位置を更新する（Ｓ１４）。Ｓ１５でＮｏであれば、即ち、近似直線がｘ軸にもｙ軸にほぼ平行でない場合、近似曲線の式はＳ１１で求めたようにｙ＝ａｘ＋ｂとなり、近似直線の左右の端点の位置を更新する（Ｓ１４）。なお、ｃはエッジの横位置の平均値である。
【００３１】
Ｓ１０で検索されたエッジデータの数が２以上でない場合（Ｎｏ）、エッジデータのロスト処理が行われる。即ち、データロストカウンタのカウント数が増やされ（Ｓ１７）、データロストカウンタ数が閾値Ｔｈ以上であるかどうか判断される（Ｓ１８）。閾値Ｔｈ以上であった場合には（Ｙｅｓ）、物体ロストと判断され（Ｓ１９）、そうでない場合には（Ｎｏ）そのまま次回のルーチンに進む。
【００３２】
〔実施例３〕
図１２は、本発明のさらに別の実施例を示すフローチャートである。このフローチャートは、前回までのルーチンで物体の既存のデータが存在しない場合に、物体の位置をエッジによって求める場合を示している。
図１１に示すフローチャートのＳ７において、既存のエッジデータが存在していない（Ｎｏ）と判断された場合、図１２に示すように検出されたエッジデータのうち濃度値が近い一対のエッジデータが存在するかどうかを判断する（Ｓ２０）。存在する場合（Ｙｅｓ）、一対のエッジデータに基き検索範囲を設定し（Ｓ２１）、信頼度初期値を設定する（Ｓ２２）。この場合信頼度初期値として、例えば０に設定する。
【００３３】
図１３は、エッジデータの位置とこの位置に基いて最小二乗法によって求めた近似直線ｙ＝ａｘ＋ｂの信頼度について説明するための図である。最小二乗法では、近似曲線（ｙ＝ａｘ＋ｂ）の評価として、予測されるｙの値と実際のｙの値を比較して、信頼度として０から１の範囲の数値を計算する。
エッジｅ１（ｘ_１、ｙ_１）について言えば、実際のｙの値はｙ_１であり、予測されるｙの値は最小二乗法で求めた近似直線上のｙの値であるａｘ_１＋ｂとなる。従って、エッジｅ１の実際のｙの値ｙ１と近似直線上のｙの値であるａｘ_１＋ｂの差が小さければ信頼度は高くなる。
【００３４】
近似直線と近似直線を求めるために用いたすべてのエッジ（この図ではｅ１、ｅ２、ｅ３、ｅ４の４点）の間の信頼度ｒを求める式は以下のようになる。
【数１】

この数値が１に近かければ信頼度は高くなり、０に近ければ信頼度は低くなる。上記式からわかるように、信頼度ｒの値を大きくするためには、総和の２乗を大きくするか、剰余の２乗を小さくすることが必要である。総和の２乗を大きくするためには、ｘのサンプル範囲をできる限り広くとり、剰余の２乗を小さくするためにサンプル点をできるだけ少なくする。
【００３５】
図１２のフローチャートに戻り、検索範囲内に上記一対のエッジデータの他に２点のエッジデータが存在するかどうか判断する（Ｓ２３）。存在すれば（Ｙｅｓ）、一対のエッジデータ及び検索範囲内の他の２点のエッジデータの計４点のエッジデータに基き、近似直線の式と信頼度ｒを求める（Ｓ２４）。次に、信頼度が今までのルーチンで最大であるかどうか判断する（Ｓ２５）。最大であれば（Ｙｅｓ）、信頼度を更新し（Ｓ２６）、Ｓ２３に戻る。一方、Ｓ２５で信頼度が最大でなければ（Ｎｏ）、そのままＳ２３に戻る。
【００３６】
Ｓ２５でＮｏの場合、及びＳ２６で信頼度を更新した場合、Ｓ２３に戻り前記検索範囲内の他の２点のエッジデータの他に、別の２点のエッジデータが存在するかどうか判断する。存在すれば（Ｙｅｓ）、前記一対のエッジデータ及び検索範囲内の別の２点のエッジデータの計４点のエッジデータに基き、再度近似直線の式と信頼度ｒを求め（Ｓ２４）、信頼度が今までのルーチンで最大であるかどうか判断する（Ｓ２５）。同様の動作を繰り返して信頼度を更新し、Ｓ２３で検索範囲内の別の２点のエッジデータが存在しなくなった場合（Ｎｏ）、Ｓ２７に進む。この時点で、信頼度の最も高い近似直線が得られている。
【００３７】
上記説明では４点のエッジデータに基づき近似直線を求めたが、一対のエッジデータと検索範囲内の他のエッジデータすべてに基づいて近似直線を求めてもよい。
【００３８】
Ｓ２７では信頼度が初期値かどうか判断される（Ｓ２７）。信頼度が初期値であれば（Ｙｅｓ）信頼度は更新されていないのでＳ２０に戻る。Ｓ２７で信頼度が初期値でないと判断された場合（Ｎｏ）、初期値より信頼度の高い近似直線が求められたこととなる。次に、近似直線の傾きａが所定の値より小か、即ち、近似直線がｘ軸にほぼ平行かどうか判断する（Ｓ２８）。Ｙｅｓであれば、直線の式をｙ＝ｂとし（Ｓ２９）、検索範囲内の角度が最も左と右のデータから近似直線の左右の端点の位置を更新する（Ｓ３２）。なお、ｂはエッジの平均距離である。
【００３９】
Ｓ２８で直線の傾きａが所定の値より小でない場合（Ｎｏ）、傾きａが所定の値より大か、即ち、近似直線がｙ軸にほぼ平行かどうか判断する（Ｓ３０）。Ｙｅｓであれば、直線の式をｘ＝ｃとし（Ｓ３１）、近似直線の左右の端部の位置を更新する（Ｓ３２）。Ｓ３０でＮｏの場合、即ち、近似直線がｘ軸にもｙ軸にもほぼ平行でない場合、Ｓ２４で求めたように近似曲線の式はｙ＝ａｘ＋ｂとなり、近似直線の左右の端点の位置を更新する（Ｓ３２）。なお、ｃはエッジの横位置の平均値である。
【００４０】
【発明の効果】
本発明によれば、検出された個々のエッジデータの連続性を追いかけるのではなく、複数のエッジデータを集合として捕らえ、これら複数のエッジデータの集合が形成する形状の連続性を取るようにしたので、安定してエッジ画像を引き継ぐことができ、物体認識を安定して行うことができる。
【図面の簡単な説明】
【図１】本発明方法に用いる画像認識装置のブロック構成図である。
【図２】先行車両をカメラで捕らえた画像と、その画像の縦エッジを抽出したエッジ画像を示した図である。
【図３】先行車両をカメラで捕らえた画像と、その画像の縦エッジを抽出したエッジ画像を示した図である。
【図４】先行車両等のターゲットのエッジを画像認識により検出した場合のエッジの位置を二次元座標に表示した図である。
【図５】選択された一対のエッジに基き、検索範囲をどのように設定するかについて一例を示した図である。
【図６】近似直線を示した図である。
【図７】前回までに求めた近似直線に基づき、時系列処理をする範囲を示した図である。
【図８】前回までに求めた近似直線に基づき、今回検出されたエッジのうち時系列処理をする範囲を示した図である。
【図９】本発明により時系列処理を行った場合の処理状態を示した図である。
【図１０】本発明の実施例を示すフローチャートである。
【図１１】本発明の実施例を示すフローチャートである。
【図１２】本発明の実施例を示すフローチャートである。
【図１３】最小二乗法で求めた近似直線の信頼度を説明するための図である。
【符号の説明】
１０…フュージョンセンサ部
１１…カメラ
１２…画像処理部
１３…レーダ
１４…物体識別部
２０…アプリケーション部
２１…制御ＥＣＵ
２２…アクセル
２３…ブレーキ
２４…ステアリング[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object recognition method for detecting and recognizing an object by image recognition by a radar and an imaging unit.
[0002]
[Prior art]
A sensor that detects an object by combining a plurality of sensors is called a fusion sensor. As an example of a fusion sensor, processing an image of an object such as a vehicle obtained by a camera, detecting an edge image which is an end of the object, and recognizing the object by identifying the distance, speed, etc. of the object by radar. Detected. In the conventional processing, the edge image of the object obtained by the image processing unit is corrected for the distance by radar, time-series processing is performed, and the end of the object is finally detected.
However, if an edge of an object other than the edge of the vehicle, for example, an edge existing inside an object such as a license plate, is frequently detected as an edge image, continuity of the detected edge of the object is lost. Thus, it becomes impossible to stably obtain an edge image.
[0003]
A tracking-type distance detection device that sets a tracking window in image data of a preceding vehicle as long as the preceding vehicle is in the field of view of the imaging device and tracks the same, and measures the distance to the preceding vehicle captured in the tracking window by an in-vehicle radar is disclosed. (See Patent Document 1).
It is also disclosed that an edge of an object is displayed as a thin line and a corresponding point after a time Δt is tracked in tracking the same point (see Patent Document 2).
[0004]
[Patent Document 1]
JP-A-6-138233 [Patent Document 2]
Patent No. 3055721 [0005]
[Problems to be solved by the invention]
An object of the present invention is to obtain a stable edge image when obtaining an edge image obtained by taking over an edge image obtained up to the previous time and an edge image obtained this time by taking continuity of the edge image.
[0006]
[Means for Solving the Problems]
According to the object recognition method of the present invention, when there is no existing data related to the edge of the previously detected object, an approximate straight line of the shape formed by the plurality of detected edge data is obtained, and the approximate straight line of the approximate straight line is determined. Recognize the position as the position of the object.
The approximate straight line selects a pair of edge data having similar density values from the plurality of edge data, determines a search range based on the pair of edge data, and sets the search range within the pair of edge data and the search range. It is determined from the shape formed by other existing edge data. The search range is a range including a circumference of a predetermined length from a straight line connecting the pair of edge data.
The approximate straight line is obtained by the least squares method from the edge data of two points among the pair of edge data and other edge data existing in the search range. Then, the edge data of the two points is selected such that the reliability of the approximate straight line is the highest.
[0007]
According to the object recognition method of the present invention, when existing approximate straight line data relating to the end of the previously detected object exists, a search range is determined based on the approximate straight line data, and the search range is determined within the search range. A new approximate line of the shape formed by the plurality of pieces of edge data is obtained, and the position of the approximate line is recognized as the position of the object.
The search range is a range including a circumference of a predetermined length from the existing approximate straight line, and the search range can be changed according to an inclination of the existing approximate straight line.
The approximate straight line is obtained from the distribution of edge data existing within the search range by the least square method.
[0008]
According to the object recognition method of the present invention, the search range can be changed according to the detection distance to the object.
The approximate straight line is represented by a linear expression y = ax + b (a and b are constants) on orthogonal coordinates. When the absolute value of the slope of the linear expression of the approximate straight line is smaller than a predetermined value, the linear expression is represented by y = b. When the absolute value of the gradient of the linear expression of the approximate straight line is larger than a predetermined value, the linear expression of the approximate straight line is replaced with x = c (c is a constant).
Further, a plurality of the approximate straight lines are present, and the intersections of the approximate straight lines whose end points are close to each other are obtained, and the intersection is defined as the end point of the approximate straight line whose end points are close to each other.
[0009]
According to the object recognition method of the present invention, when an object is detected by a radar, a search range of an edge image is set based on an output result of the radar. An approximate straight line is obtained from the distribution, and the position of the approximate straight line is recognized as the position of the object.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram of an image recognition device used in the method of the present invention. In the figure, 10 is a fusion sensor unit, and 20 is an application unit. In the fusion sensor section 10, reference numeral 13 denotes a radar, for example, a millimeter-wave radar, which detects a distance, a relative speed, a detection angle, a reception level, and the like with respect to an object located ahead such as a preceding vehicle. These pieces of information detected by the radar are input to the object identification unit 14. On the other hand, reference numeral 11 denotes a camera device. In the case of a compound-eye camera, a plurality of cameras, for example, two cameras, are installed at a distance to the left and right of the vehicle such that two cameras capture images in front of the vehicle. In the case of a monocular camera, one camera is installed in a vehicle so as to capture an image in front of the own vehicle.
[0011]
The image information obtained from the camera 11 is sent to an image processing unit 12, where the image information is processed to obtain information such as a distance to a front object such as a preceding vehicle, a detection angle, a height, and a width. Can be These pieces of information are also sent to the object identification unit 14, where they are processed to obtain information about the preceding vehicle, such as the distance to the preceding vehicle and the relative speed. At the same time, information on an object existing on the side of the road, a structure existing above the road, or a sign can be obtained. These pieces of information are input to the control ECU 21. Based on the information, the ECU controls the accelerator 22, the brake 23, the steering 24, and the like.
[0012]
FIG. 2 shows an image of a preceding vehicle captured by a camera and an edge image formed by extracting vertical edge data of the image. In FIG. 2, (a) is an image captured by the camera, and (b) is an edge image obtained up to the previous time. (C) is an edge image detected this time, and (d) is a time-series process of the edge image (b) obtained up to the previous time and the edge image (c) obtained this time, that is, the edge image obtained up to the previous time. This is an edge image obtained by taking over the image and the edge image obtained this time by taking continuity of the edge image.
[0013]
In the case of the edge image shown in FIG. 2, only the end of the vehicle is extracted as an edge image. Therefore, the edge image obtained so far and the edge image obtained this time are taken over by taking continuity of the edge image. When a new edge image is obtained, the correspondence is clear, so that a new edge image can be obtained stably.
However, when an object in front of the own vehicle such as a preceding vehicle is detected, it is only necessary to detect the contour of the end, and therefore, it is not necessary to detect an edge other than the end. Conversely, when an edge, such as a license plate, inside the contour of the object other than the end is detected, the edge image obtained so far and the edge image obtained this time are taken over by taking continuity of the edge image. In this case, the edge inside the object is not detected or detected, so that a new edge image cannot be obtained stably.
[0014]
FIG. 3 shows an edge image when the inner edge is detected together with the edge at the end of the object and the number of detected edges is large, unlike the case of FIG. In FIG. 3, (a) is an image captured by a camera, and (b) is an edge image obtained up to the previous time. (C) is the edge image detected this time, in which the inner edge is also detected in addition to the edge at the end of the object. (D) is a time series processing of the edge image (b) obtained up to the previous time and the edge image (c) detected this time, that is, the edge image obtained up to the previous time and the edge image detected this time are compared with the edge image. It is an edge image that has been taken over with continuity.
[0015]
As shown in FIG. 3, the edge image (a) obtained up to the previous time is only the contour of the object, but the edge image (c) detected this time has the inner edge in addition to the edge at the end. Has been detected. Therefore, when performing the time-series processing of the previous edge image (a) and the currently detected edge image, the time-series processing becomes unstable as shown in FIG.
[0016]
FIG. 4 is a diagram in which the edge of an object such as a preceding vehicle is detected by a camera, and the position of the edge is displayed in two-dimensional coordinates based on the distance and angle to the detected edge. In FIG. 4, A is the own vehicle and B is the preceding vehicle. Further, e1-e11 is the position of the edge.
Until now, time-series processing was performed to determine the continuity of these individual edges. However, when the number of edges is large, not all edges are detected every time, and it is difficult to follow the continuity. Therefore, the time-series processing becomes unstable as described above.
Therefore, in the present invention, instead of chasing the continuity of individual edges, a plurality of edges are regarded as a set and a continuity of a shape formed by the set of the plurality of edges is obtained.
[0017]
Next, how the shape formed by the set of edges is considered in the present invention will be described. First, a pair of edges e7 and e11 having close edge density values are selected from the plurality of edges e1-e11 in FIG. 4 and combined.
FIG. 5 is a diagram illustrating an example of how to set a search range of an edge used for recognizing an object based on a selected pair of edges e7 and e11. In this case, the search range is set as follows in consideration of the error of the distance. First, points e7 (p1), e7 (p2), e11 (p1) and e11 (p2) having a width x are set above and below the selected edges e7 and e11 in the traveling direction of the vehicle. x is, for example, 20 to 30% of the length between e7 and e11 or 2-3 m. Next, a line connecting e7 (p1) and e11 (p2) and a line connecting e7 (p2) and e11 (p1) are extended by a width y, and end points of the extended lines are connected. A search range including the range (parallelogram P and two trapezoids T1 and T2) formed as described above is defined. Note that the above search range is an example, and a predetermined range around the line connecting the selected edges e7 and e11 may be defined.
Note that the search range can be made variable according to the detection distance of the object. For example, when the detection distance of the object is large, the search range is widened, and when the detection distance is small, the search range is narrowed.
[0018]
In FIG. 5, edges e8, e9, and e10 exist around the edges e7 and e11, but the edges included in the search range are e8 and e9, and e10 is not included. Therefore, the entire shape is obtained from a set of edges e7, e8, e9, and e11 included in the search range. First, from the distribution of the edges e7, e8, e9, and e11, an approximate straight line of the shape formed by the plurality of edges is obtained by, for example, the least squares method. If not only two edge data (e8, e9) but also three or more edge data exists in the search range, an approximate straight line is obtained including these.
Similarly, a search range is defined from the set of edges e1-e6 in FIG. 4, and an approximate straight line of the shape formed by the plurality of edges e1-e6 is obtained from the distribution of edges included in the search range by the least squares method.
[0019]
In the above description, all the edge data existing in the search range are used in addition to the pair of edge data e7 and e11. However, when four or more edge data are present, the edge data is selected from the pair of edge data and the other edge data. For example, an approximate straight line is obtained from two pieces of edge data (a total of four pieces of edge data), an approximate straight line having the highest reliability can be obtained, and this can be adopted.
[0020]
FIG. 6 is a diagram showing an approximate straight line obtained by the above method. An approximate straight line (1) is obtained from one edge set, and an approximate straight line (2) is obtained from the other edge set. Since the distance and angle from the own vehicle A to both ends of this straight line are already known, the lateral positions of both ends are determined from the already known distance and angle. Then, an approximate straight line is displayed on an orthogonal xy coordinate having the distance as the y-axis and the horizontal position as the x-axis, and an intercept b between the slope a and the y-axis and the position of the end point are obtained. When a and b are obtained, an approximate linear expression y = ax + b is obtained. The position of the end point of the approximate straight line can be specified by the distance and the angle from the starting point on the coordinates spreading radially from the own vehicle as the starting point. Thus, the approximate straight line can be defined by the approximate straight line equation and the position of the end point.
When approximate straight lines are obtained from the set of edges detected as described above, these approximate straight lines become data of the detected object in the next detection.
[0021]
As shown in FIG. 6, when there are two or more approximate straight lines and the end points of the approximate straight lines are close to each other, the intersection of the approximate straight lines is obtained, and this is set as the end point of the approximate straight line. For example, as shown in FIG. 6, when the end points e7 and e11 of the approximate straight lines (1) and (2) are close to each other, the approximate straight lines (1) and (2) are extended, and the intersection p between the approximate straight lines (1) and (2) is determined. It is an end point.
[0022]
Next, if there is already detected data, that is, if there is existing approximate straight line data related to the end of the previously detected object, how does it differ from the edge data detected in the next routine? Whether to perform time-series processing will be described.
[0023]
FIG. 7 shows that, when the approximate straight lines (1) and (2) have been defined as the shapes of the ends of the detected object up to the previous time, the continuity of the edges detected this time is taken over and the time series processing is performed. This shows a range (search range) to be searched. The range surrounded by the dividing lines L11 and L12 with respect to the straight line (1) and the range surrounded by the dividing lines L21 and L22 with respect to the straight line (2) are ranges to be subjected to the time-series processing. The distance between each of the division lines and the approximate straight lines (1) and (2) is, for example, 20 to 30% of the length of the straight lines (1) and (2) or 2-3 m. The distance from the end point of each of the straight lines (1) and (2) is the same as the distance between the division line and the straight line. Note that the search range can be made variable according to the detection distance of the object. For example, when the detection distance of the object is large, the search range is widened, and when the detection distance is small, the search range is narrowed.
[0024]
FIG. 8 shows a range in which time series processing is performed on the approximate straight line (1). E1, E2, and E3 indicate the edges detected this time, and the edges existing in the range for performing the time-series processing are E1 and E3. Since E2 is outside the range, the edges are not subjected to the time-series processing. Instead of performing time-series processing on individual edges in this way, an approximate straight line is obtained from a set of edges, and a range (search range) for performing time-series processing is defined based on the approximate straight line, and a new range included in this range is defined. Since time-series processing is performed on the detected edge, stable processing can be performed.
[0025]
FIG. 9 is a diagram showing a state of processing when time-series processing is performed according to the present invention. (A) is an image captured by a camera, and (b) is an edge image obtained up to the previous time. (C) is the edge image detected this time, in which not only the edge of the object but also the inner edge are detected. (D) is an edge image obtained by performing time-series processing on the edge image (b) obtained up to the previous time and the edge image (c) obtained this time.
In this case, since the edge images obtained up to the previous time are two straight lines, of the edges detected this time, only the edges within a range defined based on this straight line are subjected to the time-series processing. From the positional relationship of these edges, the state of the surface formed by the two edges obtained up to the previous time is recalculated, and then the two edges are processed in time series. The result of performing the time-series processing based on the result is an edge image of only the end of the object as shown in FIG.
[0026]
[Example 1]
FIG. 10 is a flowchart showing an embodiment of the present invention. The operation in this flowchart is performed by the object identification unit 14 of the image recognition device shown in FIG. The same applies to other flowcharts.
The flowchart illustrated in FIG. 10 illustrates a case where the position of the object is obtained by the edge when the object is detected by the radar.
[0027]
In the flowchart of FIG. 10, it is determined whether an object is detected by the radar (S1). If an object is detected (Yes), a search range of the edge data detected by the imaging unit is set based on the output result of the radar (S2), and edge data existing within the search range is searched (S3). Next, it is determined whether the number of the searched edge data is two or more (S4). If it is 2 or more (Yes), an approximate straight line equation y = b is obtained from the distribution of the searched two or more edge data. When detected by radar, the beam of the radar is reflected by hitting a surface substantially perpendicular to the traveling direction of the vehicle, so the approximate straight line formula formed by the plurality of searched edges is parallel to the traveling direction. If the straight line is the y-axis, y = b. Next, the positions of the left and right ends of the object are obtained from the level of the reflected signal of the radar (S6).
[0028]
[Example 2]
FIG. 11 is a flowchart showing another embodiment of the present invention. This flowchart shows a case where the position of the object is obtained from the edge data when existing approximate straight line data relating to the end of the object already exists in the previous routine.
In S1 of the flowchart shown in FIG. 10, when it is determined that the object is not detected by the radar (No), it is determined whether or not approximate straight line data of the object already exists as shown in FIG. 11 (S7). . If data already exists (Yes), a search range is set based on the existing data (S8), and edge data existing within the set search range is searched (S9).
The search range can be changed by the inclination of the approximate straight line. When the inclination is large, the search range is widened because it extends in the distance direction so that the error does not increase. Conversely, when the inclination is small, the search range is narrowed.
[0029]
Next, it is determined whether the number of searched edge data is two or more (S10). If the number of edge data is 2 or more (Yes), an approximate curve is obtained from all data within the search range, and its slope a and intercept b are obtained (S11). Then, it is determined whether the gradient a is smaller than a predetermined value, that is, whether the approximate straight line is substantially parallel to the x-axis (S12). If Yes, the equation of the approximate straight line is set to y = b (S13). Next, the positions of the left and right end points of the approximate straight line are updated from the data having the leftmost and rightest angles in the search range (S14). Note that b is the average distance of the edge.
[0030]
On the other hand, if No in S12, it is determined whether the slope a is greater than a predetermined value, that is, whether the approximate straight line is substantially parallel to the y-axis (S15). If Yes, the equation of the straight line is set to x = c (S16), and the positions of the left and right end points of the approximate straight line are updated (S14). If No in S15, that is, if the approximate straight line is not substantially parallel to the x-axis or the y-axis, the equation of the approximate curve is y = ax + b as determined in S11, and the positions of the left and right end points of the approximate straight line are updated. (S14). Here, c is the average value of the horizontal position of the edge.
[0031]
If the number of edge data searched in S10 is not 2 or more (No), the edge data is lost. That is, the count number of the data lost counter is increased (S17), and it is determined whether the data lost counter number is equal to or greater than the threshold Th (S18). If it is not less than the threshold Th (Yes), it is determined that the object is lost (S19), otherwise (No), the process proceeds to the next routine.
[0032]
[Example 3]
FIG. 12 is a flowchart showing still another embodiment of the present invention. This flowchart shows a case where the position of the object is obtained by the edge when there is no existing data of the object in the previous routine.
If it is determined in S7 of the flowchart shown in FIG. 11 that existing edge data does not exist (No), a pair of edge data having similar density values among the detected edge data exists as shown in FIG. It is determined whether or not to perform (S20). If it exists (Yes), a search range is set based on a pair of edge data (S21), and an initial reliability value is set (S22). In this case, for example, 0 is set as the reliability initial value.
[0033]
FIG. 13 is a diagram for explaining the position of the edge data and the reliability of the approximate straight line y = ax + b obtained by the least square method based on this position. In the least squares method, as an evaluation of an approximate curve (y = ax + b), a predicted y value is compared with an actual y value, and a numerical value in a range of 0 to 1 is calculated as reliability.
As for the edge _{_{e1 (x 1, y 1)}} , the actual value of y is _{y 1,} the value of the predicted y is _ax 1 + b and the value of y on the approximate straight line obtained by the least square method Become. Thus, the actual ax 1 ₊ the difference is less if the reliability of b is the value of y and the value y1 approximate straight line of y of the edge e1 is high.
[0034]
The equation for calculating the reliability r between the approximate straight line and all the edges (four points e1, e2, e3, and e4 in this figure) used to determine the approximate straight line is as follows.
(Equation 1)

If this value is closer to 1, the reliability is higher, and if it is closer to 0, the reliability is lower. As can be seen from the above equation, in order to increase the value of the reliability r, it is necessary to increase the square of the sum or reduce the square of the remainder. To increase the square of the sum, the sampling range of x is made as wide as possible, and the number of sampling points is reduced as much as possible to reduce the square of the remainder.
[0035]
Returning to the flowchart of FIG. 12, it is determined whether or not two pieces of edge data exist in the search range in addition to the pair of edge data (S23). If it exists (Yes), the equation of the approximate straight line and the reliability r are obtained based on a total of four edge data of a pair of edge data and two other edge data in the search range (S24). Next, it is determined whether or not the reliability is the maximum in the routine so far (S25). If it is the maximum (Yes), the reliability is updated (S26), and the process returns to S23. On the other hand, if the reliability is not maximum in S25 (No), the process returns to S23 as it is.
[0036]
In the case of No in S25, and in the case where the reliability is updated in S26, the process returns to S23, and it is determined whether there is another two points of edge data in addition to the other two points of edge data in the search range. If it exists (Yes), the equation of the approximate straight line and the reliability r are obtained again based on the edge data of the pair of edge data and the edge data of another two points in the search range (S24). It is determined whether the degree is the maximum in the routine so far (S25). The same operation is repeated to update the reliability, and if there is no other two edge data in the search range in S23 (No), the process proceeds to S27. At this point, an approximate straight line with the highest reliability has been obtained.
[0037]
In the above description, the approximate straight line is obtained based on the four edge data. However, the approximate straight line may be obtained based on a pair of edge data and all other edge data within the search range.
[0038]
In S27, it is determined whether the reliability is an initial value (S27). If the reliability is an initial value (Yes), the process returns to S20 because the reliability has not been updated. If it is determined in S27 that the reliability is not the initial value (No), it means that an approximate straight line having higher reliability than the initial value has been obtained. Next, it is determined whether the slope a of the approximate straight line is smaller than a predetermined value, that is, whether the approximate straight line is substantially parallel to the x-axis (S28). If Yes, the equation of the straight line is set to y = b (S29), and the positions of the left and right end points of the approximate straight line are updated from the data having the leftmost and rightest angles in the search range (S32). Note that b is the average distance of the edge.
[0039]
If the slope a of the straight line is not smaller than the predetermined value in S28 (No), it is determined whether the slope a is larger than the predetermined value, that is, whether the approximate straight line is substantially parallel to the y-axis (S30). If Yes, the equation of the straight line is set to x = c (S31), and the positions of the left and right ends of the approximate straight line are updated (S32). In the case of No in S30, that is, when the approximate straight line is not substantially parallel to the x-axis or the y-axis, the equation of the approximate curve is y = ax + b as determined in S24, and the positions of the left and right end points of the approximate straight line are updated. (S32). Here, c is the average value of the horizontal position of the edge.
[0040]
【The invention's effect】
According to the present invention, instead of following the continuity of the detected individual edge data, a plurality of edge data are captured as a set, and the continuity of the shape formed by the set of the plurality of edge data is obtained. Therefore, the edge image can be stably taken over, and object recognition can be stably performed.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image recognition apparatus used in the method of the present invention.
FIG. 2 is a diagram showing an image of a preceding vehicle captured by a camera and an edge image obtained by extracting a vertical edge of the image.
FIG. 3 is a diagram showing an image of a preceding vehicle captured by a camera and an edge image obtained by extracting a vertical edge of the image.
FIG. 4 is a diagram showing, in two-dimensional coordinates, an edge position when an edge of a target such as a preceding vehicle is detected by image recognition.
FIG. 5 is a diagram showing an example of how to set a search range based on a pair of selected edges.
FIG. 6 is a diagram showing an approximate straight line.
FIG. 7 is a diagram showing a range in which time series processing is performed based on an approximate straight line obtained up to the previous time.
FIG. 8 is a diagram showing a range in which time-series processing is performed among edges detected this time based on an approximate straight line obtained up to the previous time.
FIG. 9 is a diagram showing a processing state when time-series processing is performed according to the present invention.
FIG. 10 is a flowchart showing an embodiment of the present invention.
FIG. 11 is a flowchart showing an embodiment of the present invention.
FIG. 12 is a flowchart showing an embodiment of the present invention.
FIG. 13 is a diagram for explaining the reliability of the approximate straight line obtained by the least square method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Fusion sensor part 11 ... Camera 12 ... Image processing part 13 ... Radar 14 ... Object identification part 20 ... Application part 21 ... Control ECU
22 ... accelerator 23 ... brake 24 ... steering

Claims

An object recognition method for recognizing an object based on edge data of the object detected by an imaging unit, wherein a plurality of detected edge data is formed when there is no existing data related to an edge of the previously detected object. An object recognition method for determining an approximate straight line of a shape to be performed and recognizing a position of the approximate straight line as a position of the object.

The approximate straight line selects a pair of edge data having similar density values from the plurality of edge data, determines a search range based on the pair of edge data, and sets the search range within the pair of edge data and the search range. 2. The object recognition method according to claim 1, wherein the object recognition method is obtained from a shape formed by other existing edge data.

3. The object recognition method according to claim 2, wherein the search range is a range including a circumference of a predetermined length from a straight line connecting the pair of edge data.

3. The object recognition method according to claim 2, wherein the approximate straight line is obtained from the pair of edge data and edge data of two points among other edge data existing within a search range by a least square method. 4.

The object recognition method according to claim 4, wherein the edge data of the two points is selected such that the reliability of the approximate straight line is the highest.

An object recognition method for recognizing an object based on edge data of the object detected by an imaging unit, wherein existing approximate straight line data relating to an end of the previously detected object exists, based on the approximate straight line data. An object recognition method for determining a search range, newly obtaining an approximate straight line of a shape formed by a plurality of edge data present in the search range, and recognizing a position of the approximate straight line as a position of the object.

The object recognition method according to claim 6, wherein the search range is a range including a circumference of a predetermined length from the existing approximate straight line.

The object recognition method according to claim 7, wherein the search range is changed according to an inclination of the existing approximate straight line.

The object recognition method according to claim 6, wherein the approximate straight line is obtained by a least square method from a distribution of edge data existing within a search range.

The object recognition method according to claim 3, wherein the search range is changed according to a detection distance to the object.

The object recognition method according to claim 1, wherein the approximate straight line is represented by a linear expression on rectangular coordinates (y = ax + b: a and b are constants).

12. The object recognition method according to claim 11, wherein when the absolute value of the gradient of the linear expression of the approximate line is smaller than a predetermined value, the linear expression of the approximate line is replaced with y = b.

12. The object recognition method according to claim 11, wherein when the absolute value of the slope of the linear expression of the approximate straight line is larger than a predetermined value, the linear expression of the approximate straight line is replaced with x = c (c is a constant).

The method according to claim 1, wherein, when a plurality of the approximate straight lines exist, an intersection of the approximate straight lines whose end points are close to each other is obtained, and the intersection is defined as an end point of the approximate straight line whose end points are close to each other. Object recognition method as described.

An object recognition method for recognizing an object by edge data and radar obtained by an imaging unit, wherein when an object is detected by radar, a search range of an edge image is set based on an output result of the radar, An object recognition method for obtaining an approximate straight line from a distribution of edge data when a plurality of edge data exists in a search range, and recognizing a position of the approximate straight line as a position of an object.