JP2007279818A - Vehicle traffic sign detecting apparatus, automobile, and vehicle traffic sign detecting method - Google Patents
Vehicle traffic sign detecting apparatus, automobile, and vehicle traffic sign detecting method Download PDFInfo
- Publication number
- JP2007279818A JP2007279818A JP2006101937A JP2006101937A JP2007279818A JP 2007279818 A JP2007279818 A JP 2007279818A JP 2006101937 A JP2006101937 A JP 2006101937A JP 2006101937 A JP2006101937 A JP 2006101937A JP 2007279818 A JP2007279818 A JP 2007279818A
- Authority
- JP
- Japan
- Prior art keywords
- traffic sign
- detection
- correction
- vehicle
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、自車両前方の撮像画像を画像処理して交通標示を検出する車両用交通標示検出装置、自動車及び車両用交通標示検出方法に関する。 The present invention relates to a vehicular traffic sign detection apparatus, an automobile, and a vehicular traffic sign detection method that detect a traffic sign by performing image processing on a captured image in front of the host vehicle.
従来、自車両前方の画像を撮影し、撮影した画像を基に交通標示を検出する技術が知られている。このような技術においては、交通標示を高精度に検出するための各種提案がなされている。
例えば、特許文献1では、画像処理による交通標示の検出性能(識別性能)を向上させるため、ナビゲーションシステムの情報(電子地図)を用いる方法が提案されている。この方法では、交通標示識別の対象となるエリアを走行中であることをナビゲーションシステムから把握した場合、画像処理におけるコントラストを向上させる処理等を行うことで、画像処理性能を向上させている。
For example,
しかしながら、ナビゲーションシステムの位置精度は、誤差が数十メートルといったように低く、例えば、自車両の走行路に隣接する道路上に自車両位置があると誤認識される場合がある。そのため、特許文献1に記載の技術においては、自車両位置が誤認識されると、画像処理性能の向上が図れないこととなり、このような精度のナビゲーションシステムの情報だけでは、交通標示の検出精度を高めることは困難である。
このように、従来の技術においては、交通標示の検出精度において、さらなる改善が求められていた。
本発明の課題は、交通標示の検出精度を高めることができるようにすることである。
However, the position accuracy of the navigation system is as low as several tens of meters, and for example, it may be erroneously recognized that the position of the host vehicle is on a road adjacent to the traveling path of the host vehicle. Therefore, in the technique described in
Thus, in the prior art, further improvement has been required in the detection accuracy of traffic signs.
The subject of this invention is enabling it to raise the detection precision of a traffic sign.
前記課題を解決するために、本発明に係る車両用交通標示検出装置は、
自車両前方を撮像する撮像手段と、前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段と、前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段と、自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段と、を備えることを特徴とする。
In order to solve the above-described problem, a traffic sign detection device for a vehicle according to the present invention includes:
An imaging unit that images the front of the host vehicle and a detection condition for detecting a traffic sign from a captured image obtained by the imaging unit are set, and the traffic sign is detected from the captured image according to the detection condition. A traffic sign detection means; a correction means for correcting the detection condition when the traffic sign detection means detects a traffic sign from the captured image; and a correction that permits correction of the correction means according to the situation of the host vehicle. And a permission unit.
また、本発明に係る車両用交通標示検出装置は、
自車両周囲を撮像して得た撮像画像から、検出条件を補正しつつ交通標示を検出すると共に、自車両の状況が前記検出条件の補正に適合しているか否かに応じて、前記検出条件の補正の実行を制御することを特徴とする。
また、本発明に係る自動車は、
自車両前方を撮像する撮像手段と、前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段と、前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段と、自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段と、を備えることを特徴とする。
In addition, the vehicle traffic sign detection device according to the present invention,
From the captured image obtained by imaging the periphery of the host vehicle, the traffic sign is detected while correcting the detection condition, and the detection condition depends on whether or not the situation of the host vehicle is suitable for the correction of the detection condition. It is characterized by controlling execution of correction.
In addition, the automobile according to the present invention is
An imaging unit that images the front of the host vehicle and a detection condition for detecting a traffic sign from a captured image obtained by the imaging unit are set, and the traffic sign is detected from the captured image according to the detection condition. A traffic sign detection means; a correction means for correcting the detection condition when the traffic sign detection means detects a traffic sign from the captured image; and a correction that permits correction of the correction means according to the situation of the host vehicle. And a permission unit.
また、本発明に係る車両用交通標示検出方法は、
自車両周囲を撮像する撮像ステップと、
前記撮像ステップで得た撮像画像から、交通標示を検出する交通標示検出ステップと、自車両の状況が前記検出条件の補正に適合しているか否かに応じて、前記交通標示検出ステップにおいて交通標示を検出する際の検出条件を補正する補正ステップと、を含むことを特徴とする。
The vehicle traffic sign detection method according to the present invention includes:
An imaging step for imaging the surroundings of the vehicle;
A traffic sign detection step for detecting a traffic sign from the captured image obtained in the imaging step, and a traffic sign in the traffic sign detection step depending on whether or not the situation of the host vehicle is suitable for the correction of the detection condition. And a correction step of correcting a detection condition when detecting the above.
本発明によれば、補正許可手段が自車両の状況に応じて補正手段に補正を許可し、それにより設定された検出条件に従って、撮像手段が撮像した自車両前方の画像から、交通標示検出手段が交通標示を検出することで、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な車両用交通標示検出装置とできる。
また、本発明によれば、自車両の状況が検出条件の補正に適合しているか否かに応じて、撮像画像から交通標示を検出する際の検出条件の補正が制御されるので、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な車両用交通標示検出装置とできる。
According to the present invention, the correction permission means permits correction to the correction means according to the situation of the host vehicle, and the traffic sign detection means from the image ahead of the host vehicle imaged by the imaging means according to the detection condition set thereby. By detecting the traffic sign, the detection condition for the vehicle can be corrected appropriately, and the vehicle traffic sign detection device can improve the detection accuracy of the traffic sign.
In addition, according to the present invention, the correction of the detection condition when detecting the traffic sign from the captured image is controlled according to whether or not the situation of the host vehicle is suitable for the correction of the detection condition. Can be accurately corrected, and the vehicle traffic sign detection device can improve the accuracy of traffic sign detection.
また、本発明によれば、補正許可手段が自車両の状況に応じて補正手段に補正を許可し、それにより設定された検出条件に従って、撮像手段が撮像した自車両前方の画像から、交通標示検出手段が交通標示を検出する。したがって、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な自動車とできる。
また、本発明によれば、自車両周囲を撮像して得た撮像画像から、交通標示を検出すると共に、その検出条件を、自車両の状況が補正に適合しているか否かに応じて補正するので、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な車両用交通標示検出方法とできる。
Further, according to the present invention, the correction permission means permits correction to the correction means in accordance with the situation of the host vehicle, and the traffic sign is obtained from the image ahead of the host vehicle imaged by the imaging means according to the detection condition set thereby. A detection means detects a traffic sign. Therefore, the detection condition can be accurately corrected, and the vehicle can be improved in traffic sign detection accuracy.
In addition, according to the present invention, a traffic sign is detected from a captured image obtained by imaging the surroundings of the host vehicle, and the detection condition is corrected according to whether or not the situation of the host vehicle is suitable for the correction. Thus, the detection condition for the vehicle can be corrected appropriately, and the vehicle traffic sign detection method can improve the detection accuracy of the traffic sign.
本発明を実施するための最良の形態(以下、実施形態という。)を図面を参照しながら詳細に説明する。
(第1の実施形態)
先ず第1の実施形態を説明する。
第1の実施形態は、本発明を適用した車両であり、車両用交通標示検出装置を搭載した車両である。
(構成)
図1は、その車両の構成を示す。
図1に示すように、車両は、レーザレーダ1、レーダ処理装置2、外界認識装置3(コントローラ)、CCDカメラ4、画像処理装置5、情報提供装置6、操舵角検出装置7、車速検出装置8、制動力検出装置9、自動ブレーキ制御装置10及び負圧ブレーキブースタ11を搭載している。
レーザレーダ1は、自車両前方をレーザを走査して障害物を検出するスキャニング式のレーザレーダ1である。レーザレーダ1の走査結果は、レーダ処理装置2に入力される。レーダ処理装置2は、レーザレーダ1の走査結果に基づいて、障害物候補を抽出する。具体的には、レーダ処理装置2では一つ又は複数の障害物候補に対して自車両を原点とする2次元(走行方向と車幅方向)座標値を算出するとともに、当該障害物候補の幅(大きさ)を算出する。レーダ処理装置2は、その算出結果を外界認識装置3に出力する。
The best mode for carrying out the present invention (hereinafter referred to as an embodiment) will be described in detail with reference to the drawings.
(First embodiment)
First, the first embodiment will be described.
The first embodiment is a vehicle to which the present invention is applied, and is a vehicle equipped with a vehicle traffic sign detection device.
(Constitution)
FIG. 1 shows the configuration of the vehicle.
As shown in FIG. 1, the vehicle includes a
The
また、CCDカメラ4は、自車両前方の状況を高画質に撮像する。CCDカメラ4の撮像結果は、画像処理装置5に入力される。画像処理装置5は、撮像画像(静止画像)中から交通標示(交通標識)を検出する。画像処理装置5による処理については後で詳述する。画像処理装置5は、その検出結果を外界認識装置3に出力する。
また、車速検出装置8は、従動車輪速度に基づいて車速を検出する。さらに、操舵角検出装置7は、前輪操舵角(δ)を検出する。また、制動力検出装置9は、車輪に発生する制動力を検出する。車速検出装置8、操舵角検出装置7及び制動力検出装置9は、その検出結果を外界認識装置3に出力する。
Moreover, the
The vehicle speed detection device 8 detects the vehicle speed based on the driven wheel speed. Further, the steering
外界認識装置3は、各装置の検出値等に基づいて所定の制御を行う。外界認識装置3は、その一つの制御として、レーダ処理装置2が検出した障害物候補までの距離と画像処理装置5が検出した走行路の停止線までの距離とを、自動ブレーキ制御装置10に出力して、自動ブレーキ制御装置10により自動ブレーキ制御を実施させる。前後輪には任意の制動力を達成する負圧ブレーキブースタ11が装着されており、自動ブレーキ制御装置10は、制動力指令電圧を負圧ブレーキブースタ11のソレノイドバルブに印加することで、自動ブレーキ制御を行う。
なお、各装置は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路等を備え、互いに通信回路を介して情報を送受信する。
The external
Each device includes a microcomputer, its peripheral components, various actuator drive circuits, and the like, and transmits and receives information to and from each other via a communication circuit.
図2及び図3は、交通標示を検出するための各装置による一連の処理手順を示す。例えば、本実施形態では、50(ms)周期で処理を実行している。
図2に示すように、処理を開始すると、ステップS1において、画像処理装置5は、CCDカメラ4から今回のサンプリングにおける撮像結果(画像)を取り込む。
続いてステップS2において、外界認識装置3は、自車両の挙動センサ(車速検出装置8、操舵角検出装置7及び制動力検出装置9等)から今回のサンプリングにおける自車速V_z0、舵角δ_z0、ピッチ角度α_z0、ブレーキ液圧Pb_z0及びスロットル開度TV0_z0等の自動車挙動データを読込む。
なお、各センサ値における接尾辞_z0は、今回のサンプリングで得た値であることを示し、接尾辞_z1は前回のサンプリングで得た値を示し、すなわち、各センサ値の接尾辞_zkは、当該センサ値がk回前のサンプリングで得た値であることを示す。
2 and 3 show a series of processing procedures by each device for detecting a traffic sign. For example, in the present embodiment, processing is executed at a cycle of 50 (ms).
As shown in FIG. 2, when processing is started, the
Subsequently, in step S2, the external
The suffix _z0 in each sensor value indicates a value obtained by the current sampling, and the suffix _z1 indicates a value obtained by the previous sampling, that is, the suffix _zk of each sensor value It shows that the sensor value is a value obtained by sampling k times before.
続いてステップS3において、画像処理装置5は、後述のステップS11でカウントアップしていく値であり、交通標示(例えば「止まれ」)を構成する個々のマーク(文字、以下、個別マークという。)の認識状態を表すカウンタ値(以下、認識状態カウンタ値という。)DetectStepの値(状態)を判定する。ここで、認識状態カウンタ値DetectStepが0の場合(DetectStep=0)、ステップS4に進み、認識状態カウンタ値DetectStepが4の場合(DetectStep=4)、図3に示すステップS18に進み、それ以外の場合(DetectStep≠0,4)、ステップS5に進む。なお、認識状態カウンタ値DetectStepは、初期値が0である。
Subsequently, in step S3, the
ステップS4では、画像処理装置5は、交通標示を検出するための画像処理のための初期値を下記のように設定する。
obj_Y=20(m)
obj_X=0(m)
ProcessWide=1.5(m)
ProcessDist=10.0(m)
ここで、obj_Yは、画像処理領域を決める道路上の前後方向位置であって、obj_Xは、画像処理領域を決める道路上の左右方向位置である。左右方向位置obj_Xは、自車両正面が0になる。ProcessWideは、画像処理領域の横方向範囲の半分の値であり、ProcessDistは、画像処理領域の前後方向範囲の半分の値である。
In step S4, the
obj_Y = 20 (m)
obj_X = 0 (m)
ProcessWide = 1.5 (m)
ProcessDist = 10.0 (m)
Here, obj_Y is the front-rear direction position on the road that determines the image processing area, and obj_X is the left-right position on the road that determines the image processing area. The left-right direction position obj_X is 0 on the front of the host vehicle. ProcessWide is a half value of the lateral range of the image processing area, and ProcessDist is a half value of the longitudinal range of the image processing area.
続いてステップS5において、画像処理装置5は、前記ステップS3の設定値を用いて画像処理領域(探索領域)を下記(1)〜(4)式により算出する。
disp_obj_YA=yo+focusV・CAM_h/(obj_Y+ProcessDist ) ・・・ (1)
disp_obj_YB=yo+focusV・CAM_h/(obj_Y−ProcessDist ) ・・・ (2)
disp_obj_XL=xo+focusH・obj_X/obj_Y−focusH*ProcessWide/obj_Y ・・・(3)
disp_obj_XR=xo+focusH・obj_X/obj_Y+focusH*ProcessWide/obj_Y ・・・ (4)
Subsequently, in step S5, the
disp_obj_YA = yo + focusV · CAM_h / (obj_Y + ProcessDist) (1)
disp_obj_YB = yo + focusV · CAM_h / (obj_Y−ProcessDist) (2)
disp_obj_XL = xo + focusH.obj_X / obj_Y-focusH * ProcessWide / obj_Y (3)
disp_obj_XR = xo + focusH.obj_X / obj_Y + focusH * ProcessWide / obj_Y (4)
ここで、disp_obj_YAは、画像処理領域の上側の座標値であり、disp_obj_YBは、画像処理領域の下側の座標値であり、disp_obj_XLは、画像処理領域の左側の座標値であり、disp_obj_XRは、画像処理領域の右側の座標値である。yoは、消失点の縦方向座標(pix:画素数)であり、xoは、消失点の横方向座標(pix:画素数)である。消失点の縦方向座標yo及び横方向座標xoは、カメラ取り付け位置と向きで決まる。同様に、focusV及びfocusHはそれぞれ、鉛直方向及び水平方向のカメラ焦点距離を画素換算した値(pix)である。画素換算値focusV,focusHは、カメラ画角及び受光素子の解像度で決まる。CAM_hは、カメラの取り付け高さ(m)である。
この(1)式〜(4)式により、画像処理領域は、左上座標が(disp_obj_XL,disp_obj_YA)となり、左下座標が(disp_obj_XL,disp_obj_YB)となり、右上座標が(disp_obj_XR,disp_obj_YA)となり、右下座標が(disp_obj_XR,disp_obj_YB)となる。
Here, disp_obj_YA is the upper coordinate value of the image processing region, disp_obj_YB is the lower coordinate value of the image processing region, disp_obj_XL is the left coordinate value of the image processing region, and disp_obj_XR is the image This is the coordinate value on the right side of the processing area. yo is the vertical coordinate (pix: number of pixels) of the vanishing point, and xo is the horizontal coordinate (pix: number of pixels) of the vanishing point. The longitudinal coordinate yo and the lateral coordinate xo of the vanishing point are determined by the camera mounting position and orientation. Similarly, focusV and focusH are values (pix) obtained by pixel-converting the camera focal lengths in the vertical and horizontal directions, respectively. The pixel conversion values focusV and focusH are determined by the camera angle of view and the resolution of the light receiving element. CAM_h is the camera mounting height (m).
According to the equations (1) to (4), the upper left coordinate is (disp_obj_XL, disp_obj_YA), the lower left coordinate is (disp_obj_XL, disp_obj_YB), the upper right coordinate is (disp_obj_XR, disp_obj_YA), and the lower right coordinate. Becomes (disp_obj_XR, disp_obj_YB).
続いてステップS6において、画像処理装置5は、前記ステップS5で算出した画像処理領域について、個別マークを識別するための前処理を行う。例えば、前処理として、微分演算及び2値化処理を行う。微分演算では、微分画像を求める一般的な手法であるsobelフィルタにより微分演算を行う。sobelフィルタは、ある画素に隣接する画素同士の輝度変化を求める演算により実現されている。また、2値化処理では、求めた微分画像の輝度について、その平均値Av及び分散値Vrを算出し、これを所定の閾値(以下、2値化処理用閾値という。)として2値化処理する。2値化処理により、各画素の輝度(ここでは微分画像のため輝度変化)が2値化処理用閾値以下の場合には黒色、2値化処理用閾値よりも大きい場合には白色、といったように微分画像の濃淡を白/黒の2色に分ける。以上のような前処理のより得た画像を以下、前処理画像という。
Subsequently, in step S6, the
続いてステップS7において、画像処理装置5は、 認識状態カウンタ値DetectStepに基づいて、各個別マークを個々に識別するための識別用の参照用パターンRef_Markを設定する(Ref_Mark=RefMarkPatten[DetectStep])。ここで、参照用パターンRef_Markによる検出対象となる交通標示は、走行路(交差点等)において停止線(「−」)の手前に書かれている「止まれ」であるとする。
DetectStep=0の場合:Ref_Mark=RefMarkPatten[0]=[れ]
DetectStep=1の場合:Ref_Mark=RefMarkPatten[1]=[ま]
DetectStep=2の場合:Ref_Mark=RefMarkPatten[2]=[止]
DetectStep=3の場合:Ref_Mark=RefMarkPatten[3]=[−]
Subsequently, in step S7, the
When DetectStep = 0: Ref_Mark = RefMarkPatten [0] = [Re]
When DetectStep = 1: Ref_Mark = RefMarkPatten [1] = [M]
When DetectStep = 2: Ref_Mark = RefMarkPatten [2] = [Stop]
When DetectStep = 3: Ref_Mark = RefMarkPatten [3] = [−]
ここで、RefMarkPattenは、検出対象となる交通標示の個別マークに対応して予め用意した参照用パターン(以下、参照用パターン記憶値という。)であり、認識状態カウンタ値DetectStepに対応する値が参照用パターンRef_Markに設定される。具体的には、DetectStep=0の場合、何も検出していないから、参照用パターンRef_Markを「れ」に設定し(RefMarkPatten[0]=「れ」)、DetectStep=1の場合、「れ」まで検出済みであるから、参照用パターンRef_Markを「ま」に設定し(RefMarkPatten[1]=「ま」)、DetectStep=2の場合、「ま」まで検出済みであるから、参照用パターンRef_Markを「止」に設定し(RefMarkPatten[2]=「止」)、DetectStep=3の場合、「止」まで検出済みであるから、参照用パターンRef_Markを「−」(停止線)に設定する(RefMarkPatten[3]=「−」)。なお、各参照用パターン記憶値RefMarkPatten[0]〜RefMarkPatten[3]は、座標変換(視点を変えること)により遠近感のあるマークに予め設定されているものとする。 Here, RefMarkPatten is a reference pattern (hereinafter referred to as a reference pattern storage value) prepared in advance corresponding to an individual mark of a traffic sign to be detected, and a value corresponding to a recognition state counter value DetectStep is referred to Set to the pattern Ref_Mark. Specifically, since nothing is detected when DetectStep = 0, the reference pattern Ref_Mark is set to “re” (RefMarkPatten [0] = “re”), and “re” when DetectStep = 1. Since the reference pattern Ref_Mark is set to “MA” (RefMarkPatten [1] = “MA”) and DetectStep = 2, since “MA” has already been detected, the reference pattern Ref_Mark is set to “MA”. When “Stop” is set (RefMarkPatten [2] = “Stop”) and DetectStep = 3, since “Stop” has already been detected, the reference pattern Ref_Mark is set to “−” (stop line) (RefMarkPatten [3] = “−”). Each reference pattern stored value RefMarkPatten [0] to RefMarkPatten [3] is set in advance to a mark with perspective by coordinate conversion (changing the viewpoint).
続いてステップS8において、画像処理装置5は、前記ステップS6の前処理画像と前記ステップS7で設定した参照用パターンRef_Markとの類似度(類似性)を算出する。
続いてステップS9において、画像処理装置5は、前記ステップS8で算出した類似度に基づいて、自車両前方の道路標示の個別マークの認識判定処理を行う。
ここでは、参照用パターンRef_Markと2値化画像とのOCR(Optical Character Recognition)の認識手法を応用して、類似度が所定の閾値(以下、類似度判定用閾値という。)ThOCR以上の場合、その参照用パターンRef_Markに対応する個別マークを前処理画像中から認識できたことにする。例えば、類似度判定用閾値ThOCRは、後述のステップS22の処理で更新(学習)される値であり、初期値では70%に設定されている。これにより、類似度判定用閾値ThOCRが初期設定に設定されている場合、参照用パターンRef_Markとの類似度が70%以上の場合、参照用パターンRef_Markに対応する個別マークを前処理画像中から認識できたことになる。
Subsequently, in step S8, the
Subsequently, in step S9, the
Here, by applying an OCR (Optical Character Recognition) recognition method between the reference pattern Ref_Mark and the binarized image, the similarity is equal to or higher than a predetermined threshold (hereinafter referred to as similarity determination threshold) Th OCR . The individual mark corresponding to the reference pattern Ref_Mark can be recognized from the preprocessed image. For example, the similarity determination threshold value Th OCR is a value that is updated (learned) in the process of step S22 described later, and is set to 70% as an initial value. Thus, when the similarity determination threshold Th OCR is set to the initial setting, and the similarity to the reference pattern Ref_Mark is 70% or more, an individual mark corresponding to the reference pattern Ref_Mark is selected from the preprocessed image. It will be recognized.
ここで、画像処理装置5は、参照用パターンRef_Markとの類似度が類似度判定用閾値ThOCRよりも大きい場合(類似度>ThOCR)、個別マークを認識(検出)できたとして、ステップS10に進み、参照用パターンRef_Markと前処理画像との類似度が類似度判定用閾値ThOCR以下の場合(類似度≦ThOCR)、個別マークを認識(検出)できないとして、ステップS14に進む。
Here, when the similarity with the reference pattern Ref_Mark is greater than the similarity determination threshold Th OCR (similarity> Th OCR ), the
ステップS10では、画像処理装置5は、下記(5)式のように、前記ステップS9で検出した個別マーク(類似度>ThOCRとなる個別マーク)の前処理画像について前記ステップS6で算出した平均値Av及び分散値Vrを交通標示情報DetectedMarkPattern[DetectStep]として記憶メモリに記憶する(更新する)。
DetectedMarkPattern[DetectStep]← 今回の検出した交通標示情報(Av,Vr) ・・・(5)
In step S10, the
DetectedMarkPattern [DetectStep] ← Traffic sign information detected this time (Av, Vr) (5)
続いてステップS11において、画像処理装置5は、認識状態カウンタ値DetectStepを1つ加算する(DetectStep=DetectStep+1)。そして、画像処理装置5は、当該加算後の認識状態カウンタ値DetectStepが4であるか否かを判定する。ここで、画像処理装置5は、認識状態カウンタ値DetectStepが4の場合(DetectStep=4)、ステップS15に進み、そうでない場合(DetectStep≠4)、ステップS12に進む。
なお、ステップS11で認識状態カウンタ値DetectStepが4になると、次回の処理タイミングの前記ステップS3の判定で、認識状態カウンタ値DetectStepが4であるとして、ステップS18に進むようになる。
Subsequently, in step S11, the
When the recognition state counter value DetectStep becomes 4 in step S11, it is determined that the recognition state counter value DetectStep is 4 in the determination of step S3 at the next processing timing, and the process proceeds to step S18.
ステップS12では、画像処理装置5は、道路標示の個別マークの探索領域(画像処理領域)の位置を変更しており、具体的には、画面上の位置に基づいて、下記(6)式及び(7)式により、前記ステップS4で初期設定されるobj_Y,obj_Xを変更して、次に探索する領域の位置を算出(変更)する。
obj_Y=focusV・CAM_h/(Ref_Mark_Center_y−yo)+2.0 ・・・(6)
obj_X=obj_Y(Ref_Mark_Center_x−xo)/focusH ・・・(7)
ここで、Ref_Mark_Center_yは、認識した個別マークの画面上の垂直方向(上下方向)位置であり、Ref_Mark_Center_xは、認識した個別マークの画面上の水平方向(左右方向)位置である。
In step S12, the
obj_Y = focusV.CAM_h / (Ref_Mark_Center_y-yo) +2.0 (6)
obj_X = obj_Y (Ref_Mark_Center_x-xo) / focusH (7)
Here, Ref_Mark_Center_y is a vertical (up and down) position of the recognized individual mark on the screen, and Ref_Mark_Center_x is a horizontal (left and right) position of the recognized individual mark on the screen.
続いてステップS13において、画像処理装置5は、個別マークの探索領域(画像処理領域)の大きさを変更しており、具体的には、前記ステップS9で検出した個別マークの画面上の大きさ(画素数)Rcg_Mark_SizeH,Rcg_Mark_SizeVに基づいて、下記(8)式及び(9)式により、前記ステップS4で初期設定されるProcessWide,ProcessDistを変更して、次に探索する領域の大きさを算出(変更)する。
ProcessWide=(Rcg_Mark_SizeH・obj_Y/focusH)/2 ・・・(8)
ProcessDist=(Rcg_Mark_SizeV・obj_Y/focusV)/2 ・・・(9)
ここで、Rcg_Mark_SizeHは、検出した個別マークの画面上における水平方向サイズ(画素数)であり、Rcg_Mark_SizeVは、検出した個別マークの画面上における鉛直方向サイズ(画素数)である。
In step S13, the
ProcessWide = (Rcg_Mark_SizeH · obj_Y / focusH) / 2 (8)
ProcessDist = (Rcg_Mark_SizeV · obj_Y / focusV) / 2 (9)
Here, Rcg_Mark_SizeH is the horizontal size (number of pixels) of the detected individual mark on the screen, and Rcg_Mark_SizeV is the vertical size (number of pixels) of the detected individual mark on the screen.
続いてステップS14において、画像処理装置5は、運転者の運転操作状態や自車速等の自車両挙動の情報からなる前記ステップS2で読み込んだ自車挙動データ等を更新し、終了する(前記ステップS1から再び処理を開始する)。
続いて図3に示すステップS15において、外界認識装置3は、自車前方の一時停止マークを検出したとして、情報提供装置6により乗員にその旨を情報提供する。情報提供装置6である例えばスピーカ装置からの音声として、例えば「一時停止」や「一時停止です」等、車両停止領域に至っている旨を発話する。
Subsequently, in step S14, the
Subsequently, in step S15 shown in FIG. 3, the external
続いてステップS16において、外界認識装置3は、前記ステップS2で読み込んだ自動車挙動データ(前記ステップS14で更新した自動車挙動データ)に基づいて、現時点から過去1秒間において、制動力が発生し、かつ車速が略0(停車状態)になっているか否かを判定する。ここで、外界認識装置3は、この条件を満たす場合、ステップS21に進み、この条件を満たさない場合、ステップS17に進む。
Subsequently, in step S16, the external
ここで、ステップS21に進む条件を、制動状態と車速の停止状態とのAND条件(両方を満たすことを条件)にしているが、OR条件(どちらか一方を満たすことを条件)とすることもできる。
ステップS17では、画像処理装置5は、検出後経過時間AfterDetectTimeを0.0(秒)に設定して(AfterDetectTime=0.0)、前記ステップS14に進む。
Here, the condition for proceeding to step S21 is an AND condition (a condition that both are satisfied) of the braking state and the stopped state of the vehicle speed, but may be an OR condition (a condition that either one is satisfied). it can.
In step S17, the
一方、前記ステップS3にて認識状態カウンタ値DetectStepが4の場合に進むステップS18では、画像処理装置5は、検出後経過時間AfterDetectTimeが0.5(秒)未満か否かを判定する。ここで、画像処理装置5は、検出後経過時間AfterDetectTimeが0.5未満の場合(AfterDetectTime<0.5)、ステップS20に進み、そうでない場合(AfterDetectTime≧0.5)、ステップS19に進む。
ステップS19では、画像処理装置5は、今回の検出に関しては学習(参照用パターンの学習)を行わないとして、認識状態カウンタ値DetectStepに0を設定して(DetectStep=0)、前記ステップS14に進む。
On the other hand, in step S18 which proceeds when the recognition state counter value DetectStep is 4 in step S3, the
In step S19, the
ステップS20では、画像処理装置5は、検出後経過時間AfterDetectTimeに0.05(秒)を加算する(AfterDetectTime=AfterDetectTime+0.05)。さらに、外界認識装置3は、前記ステップS2で読み込んだ自動車挙動データ(前記ステップS14で更新した自動車挙動データ)に基づいて、過去の時間AfterDetectTimeにおいて、制動力が発生し(又は運転者がブレーキ操作し)、かつ車速が略0(停車状態)であるか否かを判定する。ここで、外界認識装置3は、この条件を満たす場合、ステップS21に進み、この条件を満たさない場合、前記ステップS14に進む。
In step S20, the
ステップS21では、画像処理装置5は、前記ステップS9で検出した個別マークの濃淡情報に基づいて、類似度判定用閾値の候補(閾値候補)ThOCR_candを下記(10)式により算出する。
ThOCR_cand=Σfunc1(Av_n,Vr_n)/MaxDetectStep ・・・ (10)
ここで、Av_nとVr_nとはそれぞれ、前記ステップS9で検出した個別マークについて前記ステップS10で記憶した平均値Av及び分散値Vrであり、各値Av,Vrの接尾辞nは、検出した個別マークを示す番号(DetectStep)である。また、関数func1は、図4に示すような特性を有する。図4に示すように、関数func1が示す値は、平均値Avが小さい領域と大きい領域とで小さくなり、分散値Vrが大きくなるほど大きくなる。また、Σは総和を意味する。また、MaxDetectStepは、参照用パターンRef_Markの種類の数(本実施形態では4)を意味しており、(10)式では、この値で除算することで、平均値の閾値候補ThOCR_candを算出している。この(10)式によれば、平均値Avが小さい領域と大きい領域とで閾値候補ThOCR_candが小さくなり、分散値Vrが大きくなるほど、閾値候補ThOCR_candが大きくなる。
In step S21, the
Th OCR _cand = Σfunc1 (Av_n, Vr_n) / MaxDetectStep ··· (10)
Here, Av_n and Vr_n are the average value Av and the variance value Vr stored in step S10 for the individual mark detected in step S9, and the suffix n of each value Av, Vr is the detected individual mark. Is a number (DetectStep). The function func1 has characteristics as shown in FIG. As shown in FIG. 4, the value indicated by the function func1 decreases in the region where the average value Av is small and in the large region, and increases as the variance value Vr increases. Σ means the sum. Further, MaxDetectStep the number of types of reference patterns Ref_Mark means a (4 in this embodiment), in (10) is divided by this value, calculates a threshold candidate Th OCR _cand average value is doing. According to this equation (10), the average value threshold candidate Th OCR _cand between Av small area and a large area becomes smaller, the dispersion value Vr becomes larger, the threshold candidate Th OCR _cand increases.
続いてステップS22において、画像処理装置5は、前記ステップS21で算出した閾値候補ThOCR_candを用いて、下記(11)式により、前記ステップS9で用いる類似度判定用閾値ThOCRを算出(補正)する。
ThOCR=(ThOCR+ThOCR_cand )/2 ・・・ (11)
この(11)式により、最新値の類似度判定用閾値ThOCRと閾値候補ThOCR_candとの平均値になるように、類似度判定用閾値ThOCRを更新する。そして、画像処理装置5は、認識状態カウンタ値DetectStepに0を設定して(DetectStep=0)、前記ステップS14に進む。
Subsequently, in Step S22, the
Th OCR = (Th OCR + Th OCR _cand) / 2 ··· (11)
The (11), so that the average value of the similarity degree determination threshold value Th OCR and the threshold candidate Th OCR _cand the latest value, and updates the similarity determination threshold value Th OCR. Then, the
(動作)
次に動作を説明する。
(1)個別マークを識別中の処理(DetectStep=1〜4の処理)
CCDカメラ4により自車両前方を撮像し、さらに、車速検出装置8、操舵角検出装置7及び制動力検出装置9等により、車速、舵角、ピッチ角度、ブレーキ液圧及びスロットル開度等を検出しており、画像処理装置5は、これらCCDカメラ4から撮像画像と車速検出装置8等から車速等とを取り込む(前記ステップS1、ステップS2)。
(Operation)
Next, the operation will be described.
(1) Processing during identification of individual marks (processing of DetectStep = 1 to 4)
The front of the host vehicle is imaged by the
そして、画像処理装置5は、認識状態カウンタ値DetectStepが0の場合、交通標示検出のための画像処理の初期値を設定し(前記ステップS3の判定で“DetectStep=0”の場合、ステップS4)、その初期値に基づいて、画像処理領域を算出し(前記ステップS5)、その画像処理領域について個別マークを識別するための前処理(微分演算及び2値化処理)を行い(前記ステップS6)、参照用パターンRef_Markとして[れ](=RefMarkPatten[0])を用いて(前記ステップS7)、当該参照用パターンRef_Markと前処理画像との類似度(類似性)を算出する(前記ステップS8)。
Then, when the recognition state counter value DetectStep is 0, the
ここで、算出した類似度と類似度判定用閾値ThOCRとを比較して、類似度が類似度判定用閾値ThOCRよりも大きい場合(前記ステップS9の判定で“Yes”の場合)、当該前処理画像(微分画像)の平均値Av及び分散値Vrを交通標示情報DetectedMarkPattern[DetectStep]として記憶メモリに記憶する(前記ステップS10)。さらに、認識状態カウンタ値DetectStepを1つ加算するとともに(前記ステップS11)、個別マークの探索領域の位置及び大きさを変更する(前記ステップS12、ステップS13)。 Here, the calculated similarity and the similarity determination threshold Th OCR are compared, and when the similarity is larger than the similarity determination threshold Th OCR (in the case of “Yes” in the determination of step S9), The average value Av and the variance value Vr of the preprocessed image (differential image) are stored in the storage memory as traffic sign information DetectedMarkPattern [DetectStep] (step S10). Further, the recognition state counter value DetectStep is incremented by one (step S11), and the position and size of the search area for the individual mark are changed (steps S12 and S13).
そして、認識状態カウンタ値DetectStepを1つずつ加算していくことで、認識状態カウンタ値DetectStepを1〜3で順番に変えていき、これに応じて参照用パターンRef_Markが[ま](=RefMarkPatten[1])、[停](=RefMarkPatten[2])及び[−](=RefMarkPatten[3])の順番で変化させて(前記ステップS3の判定で“DetectStep=1〜3”の場合、ステップS7)、この参照用パターンRef_Markと、前述のように位置及び大きさを変更していく探索領域の前処理画像(前記ステップS12、ステップS13)との類似度を算出していく(前記ステップS8)。 Then, by adding the recognition state counter value DetectStep one by one, the recognition state counter value DetectStep is changed in order from 1 to 3, and the reference pattern Ref_Mark is set to [MA] (= RefMarkPatten [ 1]), [stop] (= RefMarkPatten [2]) and [−] (= RefMarkPatten [3]) in this order (when “DetectStep = 1 to 3” is determined in step S3, step S7) ) And the similarity between the reference pattern Ref_Mark and the preprocessed image (step S12, step S13) of the search area whose position and size are changed as described above (step S8). .
そして、前記認識状態カウンタ値DetectStepが0の場合と同様に、類似度と類似度判定用閾値ThOCRとを比較して、類似度が類似度判定用閾値ThOCRよりも大きい場合(前記ステップS9の判定で“Yes”の場合)、検出した個別マークの前処理画像(微分画像)の平均値Av及び分散値Vrを交通標示情報DetectedMarkPattern[DetectStep]として記憶メモリに記憶する(前記ステップS10)。 Then, as in the case where the recognition state counter value DetectStep is 0, the similarity is compared with the similarity determination threshold Th OCR, and the similarity is greater than the similarity determination threshold Th OCR (step S9). In the case of “Yes” in this determination, the average value Av and the variance value Vr of the preprocessed image (differential image) of the detected individual mark are stored in the storage memory as traffic sign information DetectedMarkPattern [DetectStep] (step S10).
(2)全ての個別マークの検出直後の処理(DetectStep=4になったときの処理)
画像処理装置5において認識状態カウンタ値DetectStepが4になると(前記ステップS11の判定で“Yes”の場合)、外界認識装置3は、スピーカ装置から「一時停止」等を発話する(前記ステップS15)。
なお、前記ステップS9とステップS11との関係から、認識状態カウンタ値DetectStepに対応する参照用パターンRef_Markについての類似度が類似度判定用閾値ThOCRよりも大きくならない限り(前記ステップS9)、認識状態カウンタ値DetectStepが加算されないことから(前記ステップS11)、認識状態カウンタ値DetectStepが4になる場合とは、道路標示を構成する全個別マークが認識されていること(全個別マークについて類似度が類似度判定用閾値ThOCRよりも大きいこと)が条件となる。
(2) Processing immediately after detection of all individual marks (processing when DetectStep = 4)
When the recognition state counter value DetectStep becomes 4 in the image processing apparatus 5 (when “Yes” is determined in Step S11), the external
Note that, from the relationship between the step S9 and the step S11, unless the similarity for the reference pattern Ref_Mark corresponding to the recognition state counter value DetectStep is larger than the similarity determination threshold Th OCR (the step S9), the recognition state Since the counter value DetectStep is not added (step S11), the recognition state counter value DetectStep is 4 when all individual marks constituting the road marking are recognized (similarity is similar for all individual marks). It is larger than the threshold value for determining the degree Th OCR ).
そして、スピーカ装置から「一時停止」等を発話した後、外界認識装置3が、先に読み込んでいる自動車挙動データに基づいて、過去1秒間(DetectStep=4となったタイミングから過去1秒間)において、制動力が発生し、かつ車速が略0(停車状態)になっていると判定した場合、画像処理装置5では、検出した全個別マークの濃淡情報(平均値Av_n及び分散値Vr_n)に基づいて、閾値候補ThOCR_candを算出するとともに、その閾値候補ThOCR_candを用いて、類似度判定用閾値ThOCRを補正し、かつ認識状態カウンタ値DetectStepに0に設定する(前記ステップS16の判定で“Yes”の場合、ステップS21、ステップS22)。
Then, after uttering “pause” or the like from the speaker device, the
一方、外界認識装置3が、先に記憶した自動車挙動データに基づいて、過去1秒間において、制動力が発生してない、又は車速が略0(停車状態)でないと判定した場合、画像処理装置5では、検出後経過時間AfterDetectTimeを0.0(秒)に設定し(前記ステップS17)、その後、検出後経過時間AfterDetectTimeが0.5(秒)以上になるまで、検出後経過時間AfterDetectTimeにサンプリング周期と同値の0.05(秒)を加算していく(前記ステップS18、ステップS20)。ここで、画像処理装置5は、検出後経過時間AfterDetectTimeが0.5(秒)以上になった場合、認識状態カウンタ値DetectStepに0を設定する(前記ステップS18の判定で“No”の場合、ステップS19)。これにより、前記項目(1)個別マークを識別中の処理が再び開始されるようになる。
On the other hand, when the external
また、検出後経過時間AfterDetectTimeの加算を開始して、検出後経過時間AfterDetectTimeが0.5(秒)以上になるまでに、外界認識装置3が、制動力が発生し、かつ車速が略0(停車状態)にあると判定した場合、画像処理装置5では、検出した全個別マークの濃淡情報(平均値Av_n及び分散値Vr_n)に基づいて、閾値候補ThOCR_candを算出するとともに、その閾値候補ThOCR_candを用いて、類似度判定用閾値ThOCRを補正し、かつ認識状態カウンタ値DetectStepに0に設定する(前記ステップS20の判定で“Yes”の場合、ステップS21、ステップS22)。
In addition, the addition of the elapsed time after detection AfterDetectTime is started, and until the detected elapsed time AfterDetectTime becomes 0.5 (seconds) or more, the
以上のような動作により、車両用交通標示検出装置は、前処理画像と参照用パターンRef_Markとの類似度が類似度判定用閾値ThOCRよりも大きい場合に、認識状態カウンタ値DetectStepを1つずつ加算していくことで、前処理画像と参照用パターンRef_Markとの類似度が類似度判定用閾値ThOCRよりも大きくなる条件下で得た全ての個別マークの前処理画像(微分画像)の平均値Av及び分散値Vrを交通標示情報DetectedMarkPattern[DetectStep]として記憶メモリに記憶していく。 By the operation as described above, the vehicular traffic sign detection device sets the recognition state counter value DetectStep one by one when the similarity between the preprocessed image and the reference pattern Ref_Mark is larger than the similarity determination threshold Th OCR. By adding, the average of the preprocessed images (differential images) of all the individual marks obtained under the condition that the similarity between the preprocessed image and the reference pattern Ref_Mark is larger than the similarity determination threshold value Th OCR. The value Av and the variance value Vr are stored in the storage memory as traffic sign information DetectedMarkPattern [DetectStep].
そして、車両用交通標示検出装置は、認識状態カウンタ値DetectStepが4になったタイミング、すなわち道路標示を構成する全個別マークを検出したタイミング或いは最後の個別マーク(本実施形態では「−」)を検出したタイミングで、スピーカ装置から「一時停止」等を発話する。さらに、車両用交通標示検出装置は、過去1秒間(DetectStep=4となったタイミングから過去1秒間)に、制動力が発生し、かつ車速が略0(停車状態)になっている場合、検出した全個別マークの濃淡情報(平均値Av_n及び分散値Vr_n)に基づいて、閾値候補ThOCR_candを算出するとともに、その閾値候補ThOCR_candを用いて、類似度判定用閾値ThOCRを補正(更新)する。 Then, the vehicle traffic sign detection device detects the timing when the recognition state counter value DetectStep becomes 4, that is, the timing when all the individual marks constituting the road sign are detected or the last individual mark (“-” in the present embodiment). At the detected timing, the speaker device utters “pause” or the like. Furthermore, the vehicle traffic sign detection device detects when braking force is generated in the past 1 second (1 second from the timing when DetectStep = 4) and the vehicle speed is substantially 0 (stopped). based on the gray information of all individual marks (mean Av_n and variance Vr_n), to calculate the threshold candidate Th OCR _cand, using the threshold candidate Th OCR _cand, correcting the similarity determination threshold value Th OCR ( Update.
一方、車両用交通標示検出装置は、過去1秒間(DetectStep=4となったタイミングから過去1秒間)に、制動力が発生し、かつ車速が略0(停車状態)である条件を満たしていない場合でも、検出後経過時間AfterDetectTimeが0.5(秒)、すなわち、DetectStep=4となったタイミングから0.5秒経過するまでの間に、制動力が発生し、かつ車速が略0(停車状態)になった場合、検出した全個別マークの濃淡情報(平均値Av_n及び分散値Vr_n)に基づいて、閾値候補ThOCR_candを算出するとともに、その閾値候補ThOCR_candを用いて、類似度判定用閾値ThOCRを補正(更新)する。 On the other hand, the vehicular traffic sign detection device does not satisfy the condition that the braking force is generated and the vehicle speed is substantially 0 (stopped state) in the past 1 second (the past 1 second from the timing when DetectStep = 4). Even in this case, the post-detection elapsed time AfterDetectTime is 0.5 (seconds), that is, the braking force is generated and the vehicle speed is substantially 0 (stopped) until 0.5 seconds elapse from the timing when DetectStep = 4. If the state), based on the shading information of all individual marks detected (average value Av_n and variance Vr_n), to calculate the threshold candidate Th OCR _cand, using the threshold candidate Th OCR _cand, similarity The determination threshold Th OCR is corrected (updated).
以上のように類似度判定用閾値ThOCRを更新、すなわち類似度判定用閾値ThOCRを学習しており、以降の処理において、当該類似度判定用閾値ThOCRによる前記類似度の判定、すなわち道路標示の検出がなされる。そして、自動ブレーキ制御装置10は、画像処理装置5が検出した道路標示である停止線までの距離に基づいて自動ブレーキ制御を実施する。
As described above, the similarity determination threshold Th OCR is updated, that is, the similarity determination threshold Th OCR is learned. In the subsequent processing, the similarity determination based on the similarity determination threshold Th OCR , that is, the road A sign is detected. Then, the automatic
(作用)
次に作用を説明する。
類似度判定用閾値ThOCRの学習(更新)では、前処理画像と参照用パターンRef_Markとの類似度が類似度判定用閾値ThOCRよりも大きくなる条件下で得た全個別マークの前処理画像(微分画像)の平均値Av_n及び分散値Vr_nに基づいて、類似度判定用閾値ThOCRを補正(更新)している。これにより、類似度判定用閾値ThOCRを現在の走行環境、撮像条件や被写体等の状況を考慮したものにすることができるので、類似度判定用閾値ThOCRに基づく前処理画像と参照用パターンRef_Markとの類似度の判定精度、すなわち道路標示の検出精度を高くすることができる。すなわち、現時点の状況に適合した類似度判定用閾値ThOCRにすることができるので、現時点の状況に適合させた交通標示の検出ができ、その検出精度を高くすることができる。
(Function)
Next, the operation will be described.
Learning similarity determination threshold value Th OCR in (updated), the preprocessed image similarity between the reference pattern Ref_Mark preprocessing images of all individual marks obtained under conditions greater than the threshold value Th OCR for determining similarity Based on the average value Av_n and the variance value Vr_n of (differentiated image), the similarity determination threshold value Th OCR is corrected (updated). Accordingly, the similarity determination threshold value Th OCR can be set in consideration of the current driving environment, imaging conditions, the subject, and the like, so the preprocessed image and the reference pattern based on the similarity determination threshold value Th OCR It is possible to increase the accuracy of determining similarity with Ref_Mark, that is, the accuracy of detecting road markings. That is, since the similarity determination threshold value Th OCR adapted to the current situation can be set, traffic signs adapted to the current situation can be detected, and the detection accuracy can be increased.
また、撮像画像からなる前処理画像(微分画像)の平均値Av及び分散値Vrは、撮像画像の濃淡情報や色彩情報を示すものとなるから、結果として、類似度判定用閾値ThOCRは、撮像画像の濃淡情報や色彩情報に基づいて補正されたことなる。日照状態、天候又は地域における文字のペイント手法等の種々の要因に影響されて交通標示の濃淡や色彩が異なるから、濃淡情報や色彩情報に基づいて類似度判定用閾値ThOCRを補正することで、類似度判定用閾値ThOCRを日照状態、天候又は地域における文字のペイント手法等の種々の要因を考慮したものにすることができるので、交通標示の検出精度を高くすることができる。 Further, since the average value Av and the variance value Vr of the preprocessed image (differentiated image) made of the captured image indicate the shade information and the color information of the captured image, as a result, the similarity determination threshold Th OCR is: It is corrected based on the shade information and color information of the captured image. Since the shade and color of traffic signs differ depending on various factors such as sunshine conditions, weather, and the method of painting characters in the area, the threshold Th OCR for similarity determination can be corrected based on the shade information and color information. Since the similarity determination threshold value Th OCR can be set in consideration of various factors such as the sunshine state, the weather, or the character painting method in the area, the detection accuracy of the traffic sign can be increased.
また、平均値Av及び分散値Vrから閾値候補ThOCR_candを算出し、その算出した閾値候補ThOCR_candにより類似度判定用閾値ThOCRを更新している。そして、閾値候補ThOCR_candを、図4に示すような特性図(テーブル)を用いて、平均値Av及び分散値Vrから算出しており、平均値Avが小さい領域と大きい領域とで、閾値候補ThOCR_candは小さくなり、分散値Vrが大きくなるほど、閾値候補ThOCR_candは大きくなる。 Moreover, to calculate the threshold candidate Th OCR _cand from the average value Av and the variance value Vr, updating the threshold Th OCR for determining similarity by the threshold candidate Th OCR _cand that the calculated. Then, in the threshold candidate Th OCR _cand, using characteristic diagram as shown in FIG. 4 (table), it is calculated from the average value Av and the variance value Vr, and the average value Av is small area and a large area, the threshold value candidate Th OCR _cand decreases, the more variance value Vr is large, the threshold candidate Th OCR _cand increases.
ここで、一般的に微分画像の平均値が大き過ぎると生画像がノイジーとなり、微分画像の平均値が小さ過ぎてもカメラ露光制御の限界付近の映像となる。一方、分散値が小さくなるほど、撮像結果における濃淡差が少なくなるため、道路と交通標示との識別が困難となる。このようなことを加味して、平均値Av及び分散値Vrに基づいて閾値候補ThOCR_candを算出して、その算出した閾値候補ThOCR_candを用いて類似度判定用閾値ThOCRを更新することで、結果として、交通標示の検出精度を高くすることができるようになる。 Here, generally, if the average value of the differential image is too large, the raw image becomes noisy, and even if the average value of the differential image is too small, the image is near the limit of camera exposure control. On the other hand, the smaller the variance value, the less the difference in light and shade in the imaging results, making it difficult to distinguish roads from traffic signs. In consideration of the above, to calculate the threshold candidate Th OCR _cand based on the average value Av and the variance value Vr, updates the similarity determination threshold Th OCR using a threshold candidate Th OCR _cand that the calculated As a result, the traffic sign detection accuracy can be increased.
また、過去1秒間(DetectStep=4となったタイミングから過去1秒間)に、制動力が発生し、かつ車速が略0(停車状態)になっている場合やDetectStep=4となったタイミングから0.5秒経過するまでの間に、制動力が発生し、かつ車速が略0(停車状態)になっている場合、すなわち、「止まれ」の交通標示の検出前後に、制動力が発生し、かつ車速が略0(停車状態)になっている場合、検出した全個別マークの濃淡情報(平均値Av_n及び分散値Vr_n)に基づく類似度判定用閾値ThOCRの補正(更新)を許可している。運転者が「止まれ」の交通標示を認識した場合、運転操作状態やその運転操作により自車両挙動が変化するから、制動力が発生し、かつ車速が略0(停車状態)になっていることを条件に類似度判定用閾値ThOCRの補正(更新)を許可することで、交通標示の検出精度を高めた状態で類似度判定用閾値ThOCRの補正することができる。 Further, in the past 1 second (from the timing when DetectStep = 4 to the past 1 second), braking force is generated and the vehicle speed is substantially 0 (stopped state), or 0 from the timing when DetectStep = 4. When the braking force is generated and the vehicle speed is substantially 0 (stopped state) until 5 seconds elapses, that is, before and after the detection of the “stop” traffic sign, When the vehicle speed is substantially 0 (stopped state), the correction (update) of the similarity determination threshold value Th OCR based on the density information (average value Av_n and variance value Vr_n) of all detected individual marks is permitted. Yes. When the driver recognizes a “stop” traffic sign, the driving behavior and the behavior of the vehicle change depending on the driving behavior, so braking force is generated and the vehicle speed is approximately 0 (stopped). the by allowing the similarity determination threshold value Th OCR correction (updated) to the condition can be corrected similarity determination threshold value Th OCR in a state of enhanced detection accuracy of the traffic sign.
なお、次のような構成により本発明を実現することもできる。
すなわち、前記第1の実施形態では、制動力が発生し、かつ車速が略0(停車状態)になっている場合、類似度判定用閾値ThOCRの補正(更新)を許可しているが、制動力が発生していること及び車速が略0(停車状態)であることの何れか一方の条件を満たす場合に、類似度判定用閾値ThOCRの補正(更新)を許可する。
The present invention can also be realized by the following configuration.
That is, in the first embodiment, when the braking force is generated and the vehicle speed is substantially 0 (stopped state), the correction (update) of the similarity determination threshold Th OCR is permitted. The correction (updating) of the similarity determination threshold value Th OCR is permitted when either the braking force is generated or the vehicle speed is approximately 0 (stopped state) is satisfied.
なお、前記実施形態の説明において、CCDカメラ4は、自車両前方を撮像する撮像手段を実現しており、画像処理装置5は、前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段を実現しており、画像処理装置5のステップS21の処理は、前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段を実現しており、画像処理装置5のステップS18及びステップS20の処理は、自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段を実現している。ここで、類似度判定用閾値ThOCRは、検出条件に対応しており、自車両の状況とは、運転操作状態、自車両挙動及び自車両が置かれている周囲環境等である。
また、制動力検出装置9及び車速検出装置8は、前記交通標示検出手段による前記交通標示の検出時前後の運転者による運転操作状態及び自車両挙動のうちの少なくとも一方を検出する状態検出手段を実現している。
In the description of the embodiment, the
The braking force detection device 9 and the vehicle speed detection device 8 include state detection means for detecting at least one of the driving operation state and the own vehicle behavior by the driver before and after the traffic sign detection by the traffic sign detection means. Realized.
(効果)
(1) 自車両前方を撮像する撮像手段と、前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段と、前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段と、自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段と、を備える。これにより、補正許可手段が自車両の状況に応じて補正手段に補正を許可し、それにより設定された検出条件に従って、撮像手段が撮像した自車両前方の画像から、交通標示検出手段が交通標示を検出する。したがって、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な車両用交通標示検出装置とできる。
(effect)
(1) An imaging unit that images the front of the host vehicle and a detection condition for detecting a traffic sign from a captured image obtained by the imaging unit are set, and the traffic sign is determined from the captured image according to the detection condition. A traffic sign detection means for detecting the traffic sign, a correction means for correcting the detection condition when the traffic sign detection means detects a traffic sign from the captured image, and correction of the correction means according to the situation of the host vehicle. Correction permitting means to permit. As a result, the correction permission means permits the correction means to make corrections according to the situation of the host vehicle, and the traffic sign detection means displays the traffic sign from the image ahead of the host vehicle imaged by the imaging means according to the detection condition set thereby. Is detected. Accordingly, the detection condition for the vehicle can be accurately corrected, and the vehicle traffic sign detection device can improve the detection accuracy of the traffic sign.
(2)前記交通標示検出手段による前記交通標示の検出時前後の運転者による運転操作状態及び自車両挙動のうちの少なくとも一方を検出する状態検出手段を備え、前記補正許可手段は、前記状態検出手段が検出した運転操作状態及び自車両挙動のうちの少なくとも一方に基づいて、前記補正手段の補正を許可する。これにより、運転者が交通標示を認識した場合、運転操作状態やその運転操作により自車両状態が変化するから、このようなことから、交通標示の検出時前後の運転操作状態や自車両状態に連動して検出条件の補正を許可することで、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度が高くなる方向に検出条件を補正することができる。 (2) State detection means for detecting at least one of a driving operation state and a vehicle behavior by the driver before and after detection of the traffic sign by the traffic sign detection means, and the correction permission means includes the state detection Based on at least one of the driving operation state and the own vehicle behavior detected by the means, the correction of the correction means is permitted. As a result, when the driver recognizes the traffic sign, the driving operation state and the own vehicle state change depending on the driving operation.From this, the driving operation state and the own vehicle state before and after the detection of the traffic sign are changed. By permitting correction of detection conditions in conjunction with each other, the correction accuracy of detection conditions based on actual traffic signs can be increased. As a result, the detection condition can be corrected in a direction in which the detection accuracy of the traffic sign becomes higher.
(3)前記交通標示は、車両を停止させる標示であり、前記状態検出手段は、自車両を停止させる運転操作を検出し、前記補正許可手段は、前記状態検出手段が前記自車両を停止させる運転操作を検出した場合、前記補正手段の補正を許可する。運転者は、車両を停止させる交通標示を認識した場合、自車両を停止させる運転操作をすることから、自車両を停止させる運転操作に連動して検出条件の補正を許可することで、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度が高くなる方向に検出条件を補正することができる。 (3) The traffic sign is an sign for stopping the vehicle, the state detection means detects a driving operation for stopping the own vehicle, and the correction permission means causes the state detection means to stop the own vehicle. When a driving operation is detected, the correction by the correction means is permitted. When the driver recognizes the traffic sign that stops the vehicle, the driver performs the driving operation to stop the own vehicle, so that the correction of the detection condition is permitted in conjunction with the driving operation to stop the own vehicle. The correction accuracy of the detection condition based on the traffic sign can be increased. As a result, the detection condition can be corrected in a direction in which the detection accuracy of the traffic sign becomes higher.
(4)前記交通標示は、車両を停止させる標示であり、前記補正許可手段は、前記状態検出手段が車速度がゼロであることを検出した場合、前記補正手段の補正を許可する。車両を停止させる交通標示付近では、車速度がゼロになるから、車速度がゼロなることに連動して検出条件の補正を許可することで、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度が高くなる方向に検出条件を補正することができる。 (4) The traffic sign is an sign for stopping the vehicle, and the correction permission means permits correction of the correction means when the state detection means detects that the vehicle speed is zero. Near the traffic sign that stops the vehicle, the vehicle speed becomes zero, so the correction of the detection condition is allowed in conjunction with the vehicle speed becoming zero, thereby improving the correction accuracy of the detection condition based on the actual traffic sign be able to. As a result, the detection condition can be corrected in a direction in which the detection accuracy of the traffic sign becomes higher.
(5)前記交通標示検出手段は、前記撮像手段が撮像して得た撮像画像と予め用意した交通標示認識用の情報との類似度が類似度判定用閾値よりも大きい場合、前記交通標示の検出を行っており、前記補正手段は、前記撮像画像の濃淡及び色彩のうちの少なくとも一方に基づいて、前記類似度判定用閾値を補正する。日照状態、天候又は地域における文字のペイント手法等の種々の要因に影響されて交通標示の濃淡や色彩が異なるから、濃淡情報や色彩情報に基づいて類似度判定用閾値を補正することで、交通標示の検出精度を高くすることができる。 (5) If the similarity between the captured image obtained by imaging by the imaging unit and information for traffic sign recognition prepared in advance is larger than a similarity determination threshold, the traffic sign detection unit Detection is performed, and the correction unit corrects the similarity determination threshold based on at least one of lightness and color of the captured image. Because traffic signs are shaded and colored differently depending on various factors such as sunshine conditions, weather, and local character painting methods, traffic can be adjusted by correcting the similarity threshold based on shade information and color information. The detection accuracy of the sign can be increased.
(6)自車両周囲を撮像して得た撮像画像から、検出条件を補正しつつ交通標示を検出すると共に、自車両の状況が前記検出条件の補正に適合しているか否かに応じて、前記検出条件の補正の実行を制御する。これにより、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な車両用交通標示検出装置とできる。 (6) From the captured image obtained by imaging the periphery of the host vehicle, while detecting the traffic sign while correcting the detection condition, depending on whether or not the situation of the host vehicle is suitable for the correction of the detection condition, Controls execution of correction of the detection condition. As a result, the detection condition for the vehicle can be accurately corrected, and the vehicle traffic sign detection device can improve the detection accuracy of the traffic sign.
(7)自車両前方を撮像する撮像手段と、前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段と、前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段と、自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段と、を備える。これにより、補正許可手段が自車両の状況に応じて補正手段に補正を許可し、それにより設定された検出条件に従って、撮像手段が撮像した自車両前方の画像から、交通標示検出手段が交通標示を検出する。したがって、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な自動車とできる。 (7) An imaging unit that images the front of the host vehicle and a detection condition for detecting a traffic sign from a captured image obtained by the imaging unit are set, and the traffic sign is determined from the captured image according to the detection condition. A traffic sign detection means for detecting the traffic sign, a correction means for correcting the detection condition when the traffic sign detection means detects a traffic sign from the captured image, and correction of the correction means according to the situation of the host vehicle. Correction permitting means to permit. As a result, the correction permission means permits the correction means to make corrections according to the situation of the host vehicle, and the traffic sign detection means displays the traffic sign from the image ahead of the host vehicle imaged by the imaging means according to the detection condition set thereby. Is detected. Therefore, the detection condition can be accurately corrected, and the vehicle can be improved in traffic sign detection accuracy.
(8)自車両周囲を撮像する撮像ステップと、前記撮像ステップで得た撮像画像から、交通標示を検出する交通標示検出ステップと、自車両の状況が前記検出条件の補正に適合しているか否かに応じて、前記交通標示検出ステップにおいて交通標示を検出する際の検出条件を補正する補正ステップと、を含む。これにより、検出条件を適確に補正することができ、交通標示の検出精度を高めることが可能な車両用交通標示検出方法とできる。 (8) An imaging step for imaging the periphery of the host vehicle, a traffic sign detection step for detecting a traffic sign from the captured image obtained in the imaging step, and whether or not the situation of the host vehicle is suitable for the correction of the detection condition Accordingly, a correction step of correcting a detection condition when detecting the traffic sign in the traffic sign detection step is included. As a result, the detection condition for the vehicle can be accurately corrected, and the vehicle traffic sign detection method can improve the detection accuracy of the traffic sign.
(第2の実施形態)
次に第2の実施形態を説明する。
第2の実施形態は、本発明を適用した車両であり、車両用交通標示検出装置を搭載した車両である。
(構成)
第2の実施形態の車両の構成は、前記第1の実施形態の車両の構成と同じである。しかし、第2の実施形態では、各装置による一連の処理手順が前記第1の実施形態のもの(図3、図4)と異なっている。
図5〜図7は、第2の実施形態における各装置により一連の処理手順を示す。
図5に示すように、処理を開始すると、ステップS41において、前記ステップS1と同様に、画像処理装置5は、CCDカメラ4から今回のサンプリングにおける撮像結果(画像)を取り込む。
(Second Embodiment)
Next, a second embodiment will be described.
The second embodiment is a vehicle to which the present invention is applied, and is a vehicle equipped with a vehicle traffic sign detection device.
(Constitution)
The configuration of the vehicle in the second embodiment is the same as the configuration of the vehicle in the first embodiment. However, in the second embodiment, a series of processing procedures by each device is different from that of the first embodiment (FIGS. 3 and 4).
5 to 7 show a series of processing procedures by each device in the second embodiment.
As shown in FIG. 5, when the process is started, in step S41, the
続いてステップS42において、前記ステップS2と同様に、外界認識装置3は、自車両の挙動センサ(車速検出装置8、操舵角検出装置7及び制動力検出装置9等)から今回のサンプリングにおける車速V_z0、舵角δ_z0、ピッチ角度α_z0、ブレーキ液圧Pb_z0及びスロットル開度TV0_z0等の自動車挙動データを読込む。
Subsequently, in step S42, as in step S2, the external
続いてステップS43において、画像処理装置5は、検出後経過時間AfterDetectTimeに0.05(秒)を加算する(サンプリング周期に応じて0.05秒加算していく)。ここで、検出後経過時間AfterDetectTimeは、後述のステップS57で、道路標示が検出されているか否かを判定する示す道路標示検出フラグDetectOKflagが1に設定されたときに初期化(AfterDetectTime=0)されている。
Subsequently, in step S43, the
続いてステップS44において、画像処理装置5は、道路標示検出フラグDetectOKflagが1であり、かつ検出後経過時間AfterDetectTimeが5(秒)よりも大きいか否かを判定する。ここで、画像処理装置5は、道路標示検出フラグDetectOKflagが1であり(DetectOKflag=1)、かつ検出後経過時間AfterDetectTimeが5(秒)よりも大きい場合(AfterDetectTime>5)、図6に示すステップS59に進み、そうでない場合(DetectOKflag≠1又はAfterDetectTime≦5)、ステップS45に進む。
Subsequently, in step S44, the
ステップS45では、画像処理装置5は、道路標示検出フラグDetectOKflagが0であり、かつ検出後経過時間AfterDetectTimeが3600(秒)よりも大きく、かつ検出後距離AfterDetectDistが50000(m)よりも大きいか否かを判定する。ここで、画像処理装置5は、道路標示検出フラグDetectOKflagが0であり(DetectOKflag=0)、かつ検出後経過時間AfterDetectTimeが3600(秒)よりも大きく(AfterDetectTime>3600)、かつ検出後距離AfterDetectDistが50000(m)よりも大きい場合(AfterDetectDist>50000)、図7に示すステップS63に進み、そうでない場合(DetectOKflag≠0、AfterDetectTime≦3600又はAfterDetectDist≦50000)、ステップS46に進む。
In step S45, the
ここで、検出後距離AfterDetectDistは、後述のステップS57で、道路標示検出フラグDetectOKflagが1に設定されたときに初期化(AfterDetectDist=0)されている。
続いてステップS46において、画像処理装置5は、前記ステップS5と同様に、画像処理装置5は、画像処理領域(探索領域)を設定する(前記(1)式〜(4)式参照)。なお、ここでは、その画像処理領域を決めるのに用いる下記の値を定常的な値(普遍的な値)にする。
obj_Y=20(m)
obj_X=0(m)
ProcessWide=1.5(m)
ProcessDist=10.0(m)
続いてステップS47において、画像処理装置5は、認識状態カウンタ値DetectStep及び今回(最新)のサンプリング周期で1文字でも検出できたことを示す今回マーク検出フラグThisTimeOKflag(後述のステップS52で設定)を初期化する(DetectStep=0、ThisTimeOKflag=0)。
Here, the post-detection distance AfterDetectDist is initialized (AfterDetectDist = 0) when the road marking detection flag DetectOKflag is set to 1 in step S57 described later.
Subsequently, in step S46, the
obj_Y = 20 (m)
obj_X = 0 (m)
ProcessWide = 1.5 (m)
ProcessDist = 10.0 (m)
Subsequently, in step S47, the
続くステップS48〜ステップS51では、前記第1の実施形態と同様に、画像処理装置5は、ステップS48(前記ステップS6参照)において、前記ステップS46で決めた画像処理領域について、個別マークを識別するための前処理を行い、続くステップS49(前記ステップS7参照)において、認識状態カウンタ値DetectStepに基づいて、参照用パターンRef_Markを決め、続くステップS50(前記ステップS8参照)において、前記ステップS48の前処理画像と前記ステップS49の参照用パターンRef_Markとの類似度(類似性)を算出し、続くステップS51(ステップS9参照)において、前記ステップS50で算出した類似度(類似性)に基づいて、個別マークの認識の判定処理をする。
In subsequent steps S48 to S51, as in the first embodiment, the
ここで、画像処理装置5は、類似度が類似度判定用閾値ThOCRよりも大きい場合(類似度>ThOCR)、個別マークを検出できたとして、ステップS52に進み、類似度が類似度判定用閾値ThOCR以下の場合(類似度≦ThOCR)、個別マークを検出できないとして、ステップS53に進む。
続いてステップS52において、画像処理装置5は、下記(12)式〜(15)式に示すように、交通標示情報等を記憶する。
ThisTimeOKflag=1 ・・・(12)
DetectedMark[DetectStep]=1 ・・・(13)
DetectedMarkPattern[DetectStep][rbAddr] ・・・(14)
CamShutterSpeed[rbAddr] ・・・(15)
Here, when the similarity is larger than the similarity determination threshold Th OCR (similarity> Th OCR ), the
Subsequently, in step S52, the
ThisTimeOKflag = 1 (12)
DetectedMark [DetectStep] = 1 (13)
DetectedMarkPattern [DetectStep] [rbAddr] (14)
CamShutterSpeed [rbAddr] (15)
ここで、(13)式のDetectedMark[DetectStep]とは、DetectStepに対応する個別マークの検出状態を示すフラグ(以下、個別マーク検出フラグという。)であり、DetectedMark[DetectStep]が“1”の場合は、DetectStepに対応する個別マークを検出できたことを示し、DetectedMark[DetectStep]が“0”の場合は、DetectStepに対応する個別マークを検出できなかったことを示す。
また、(14)式及び(15)式により、前記ステップS50で検出できた個別マークの前処理画像(類似度>ThOCRを満たす個別マーク)及び当該個別マークを検出した際のCCDカメラ4のシャッタ速度をリングバッファにそれぞれDetectedMarkPattern[DetectStep][rbAddr]及びCamShutterSpeed[rbAddr]として記憶する。
Here, DetectedMark [DetectStep] in equation (13) is a flag indicating the detection state of the individual mark corresponding to DetectStep (hereinafter referred to as individual mark detection flag), and when DetectedMark [DetectStep] is “1”. Indicates that the individual mark corresponding to DetectStep could be detected, and when DetectedMark [DetectStep] is “0”, it indicates that the individual mark corresponding to DetectStep could not be detected.
Further, according to the equations (14) and (15), the pre-processed image of the individual mark (individual mark satisfying similarity> Th OCR ) detected in step S50 and the
ここで、(14)式及び(15)式中の変数rbAddrは、リングバッファになっているメモリ上のDetectedMarkPattern及びCamShutterSpeedのアドレスを示しており、1回のサンプリング周期で1データ区間分をカウントアップする。すなわち、DetectedMarkPattern[DetectStep][rbAddr]は、アドレスrbAddrに記憶された個別マークの画像であり、CamShutterSpeed[rbAddr]は、アドレスrbAddrに記憶されたCCDカメラ4のシャッタ速度である。これにより、検出後経過時間AfterDetectTimeをサンプリング周期で除算した値(AfterDetectTime/サンプリング周期)により、アドレスrbAddrを特定して、過去に検出したマーク検出情報(個別マークの画像及びシャッタ速度)を参照することができる。CCDカメラ4のシャッタ速度は露光等、撮像環境に左右されて変化するから、CamShutterSpeed[rbAddr]には、DetectedMarkPattern[DetectStep][rbAddr]に記憶した個別マークの撮像時(個別マークを含む画像の撮像時)のCCDカメラ4のシャッタ速度が記憶される。
Here, the variable rbAddr in the equations (14) and (15) indicates the addresses of the DetectedMarkPattern and CamShutterSpeed on the memory serving as the ring buffer, and counts up one data section in one sampling cycle. To do. That is, DetectedMarkPattern [DetectStep] [rbAddr] is an image of an individual mark stored at address rbAddr, and CamShutterSpeed [rbAddr] is the shutter speed of
続いてステップS53において、画像処理装置5は、前記ステップS11と同様に、認識状態カウンタ値DetectStepを1つ加算する(DetectStep=DetectStep+1)。そして、画像処理装置5は、その1つ加算した認識状態カウンタ値DetectStepが4であるか否かを判定する。ここで、画像処理装置5は、認識状態カウンタ値DetectStepが4の場合(DetectStep=4)、ステップS54に進み、そうでない場合(DetectStep≠4)、前記ステップS49から再び処理を行う。
Subsequently, in step S53, the
ステップS54では、画像処理装置5は、今回新たに文字(個別マーク)を検出し、かつ2文字(個別マークを2つ)以上検出したか否かを判定しており、具体的には、下記(16)式及び(17)式の両条件を満たすか否かを判定する。
ThisTimeOKflag=1 ・・・(16)
DetectedMark[0]+DetectedMark[1]+DetectedMark[2]+DetectedMark[3]>1 ・・・(17)
(17)式では、各個別マーク検出フラグDetectedMark[0]〜DetectedMark[3]はそれぞれ、対応する個別マークが検出されている場合には、前記ステップS52で“1”に設定されるから、(17)式を満たす場合、2文字以上検出されていることになる。
In step S54, the
ThisTimeOKflag = 1 (16)
DetectedMark [0] + DetectedMark [1] + DetectedMark [2] + DetectedMark [3]> 1 (17)
In the equation (17), each individual mark detection flag DetectedMark [0] to DetectedMark [3] is set to “1” in step S52 when the corresponding individual mark is detected. When the expression 17) is satisfied, two or more characters are detected.
ここで、画像処理装置5は、前記両条件を満たす場合、ステップS55に進み、前記両条件を満たさない場合、ステップS58に進む。
ステップS55では、画像処理装置5は、道路標示検出フラグDetectOKflagが0か否かを判定する。ここで、画像処理装置5は、道路標示検出フラグDetectOKflagが0の場合(DetectOKflag=0)、ステップS56に進み、そうでない場合(DetectOKflag=1)、ステップS57に進む。
Here, the
In step S55, the
ステップS56では、外界認識装置3は、前記ステップS15と同様に、例えばスピーカ装置からの音声として、例えば「一時停止」又は「一時停止です」を発話する。そして、ステップS57に進む。
ステップS57では、画像処理装置5は、道路標示検出フラグDetectOKflagに1を設定するとともに、検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化する(DetectOKflag=1、AfterDetectTime=0、AfterDitectDist=0)。
In step S56, as in step S15, the external
In step S57, the
続いてステップS58において、画像処理装置5は、運転者の運転操作状態や自車速等の自車両挙動の情報からなる前記ステップS42で読み込んだ自車挙動データ等を更新する。さらに、画像処理装置5は、下記(18)式により、検出後距離AfterDetectDistを加算し、さらに、下記(19)式により、変数rbAddrを加算する(アドレスを更新する)。そして、当該図5に示す処理を終了する(前記ステップS41から再び処理を開始する)。
AfterDetectDist=AfterDetectDist+V_z0・0.05 ・・・(18)
rbAddr=rbAddr+1 ・・・(19)
なお、V_z0は、今回のサンプリングにおける自車速である。
Subsequently, in step S58, the
AfterDetectDist = AfterDetectDist + V_z0 ・ 0.05 (18)
rbAddr = rbAddr + 1 (19)
V_z0 is the vehicle speed in the current sampling.
一方、前記ステップS44にて道路標示検出フラグDetectOKflagが1であり(DetectOKflag=1)、かつ検出後経過時間AfterDetectTimeが5(秒)よりも大きい場合(AfterDetectTime>5)に進む図6に示すステップS59では、画像処理装置5は、過去の期間AfterDetectTime+1(=6秒+1秒=7秒)以内に、直進路で制動しているか、又は直進路でアクセルをOffからOnにしているか否かを判定しており、具体的には、下記(20)式及び(21)式の何れかの条件を満足するか否かを判定する。
On the other hand, when the road sign detection flag DetectOKflag is 1 (DetectOKflag = 1) in step S44 and the elapsed time after detection AfterDetectTime is greater than 5 (seconds) (AfterDetectTime> 5), the process proceeds to step S59 shown in FIG. Then, the
条件1(直進路で制動しているか否かの判定):
Max(δ_z0〜δ_zt)≒0
かつ
Max(Pb_z0〜Pb_zt)>ThBrk
・・・(20)
条件2(直進路でアクセルをオフからオンにしているか否かの判定):
Max(δ_z0〜δ_zt)≒0
かつ
Max(TV0_z0 〜TV0_zt)>ThTVOn
かつ
Min(TV0_z0 〜TV0_zt) <ThTVOff
かつ
zn_tvoff>zn_tvon
・・・(21)
Condition 1 (determining whether braking is performed on a straight road):
Max (δ_z0 to δ_zt) ≈0
And
Max (Pb_z0 to Pb_zt)> Th Brk
... (20)
Condition 2 (determining whether or not the accelerator is on from a straight path):
Max (δ_z0 to δ_zt) ≈0
And
Max (TV0_z0 to TV0_zt)> Th TVOn
And
Min (TV0_z0 to TV0_zt) <Th TVOff
And
zn_tvoff> zn_tvon
(21)
ここで、関数Max(A〜Z)は、AからZまでの範囲のなかの最大値を求める関数であり、関数Min(A〜Z)は、AからZまでの範囲のなかの最小値を求める関数である。各値における接尾辞_ztは、(AfterDetectTime+1)の過去の期間内で得た(AfterDetectTime+1)/0.05の数分の各サンプリング時の情報を示す。ThBrkとは、制動力が発生したと判定できる閾値を示し、ThTVOnは、運転者がアクセルペダルを踏み込むこと(アクセルオン)に相当するスロットル開度の閾値を示し、ThTVOffは、運転者がアクセルペダルから足を離したこと(アクセルオフ)に相当するスロットル開度の閾値を示す。zn_tvoffは、Min(TV0_z0〜TV0_zt)を満たすスロットル開度TV0を得たサンプリング時期を示し、zn_tvonは、Max(TV0_z0〜TV0_zt)を満たすスロットル開度TV0を得たサンプリング時期を示し、よって、これらをサンプリング時期zn_tvoffとサンプリング時期zn_tvonとを比較することで、zn_tvoff>zn_tvonであった場合、(AfterDetectTime+1)の過去の期間内にアクセルをオフした後にアクセルをオンしたことを意味する。 Here, the function Max (A to Z) is a function for obtaining the maximum value in the range from A to Z, and the function Min (A to Z) is the minimum value in the range from A to Z. This is the function to find. The suffix _zt in each value indicates information at the time of each sampling of the number of (AfterDetectTime + 1) /0.05 obtained within the past period of (AfterDetectTime + 1). Th Brk indicates a threshold at which it can be determined that a braking force has occurred, Th TVOn indicates a threshold of the throttle opening corresponding to the driver depressing the accelerator pedal (accelerator on), and Th TVOff indicates the driver Indicates the threshold value of the throttle opening corresponding to the release of the foot from the accelerator pedal (accelerator off). zn_tvoff represents the sampling time when the throttle opening TV0 satisfying Min (TV0_z0 to TV0_zt) is obtained, and zn_tvon represents the sampling time when the throttle opening TV0 satisfying Max (TV0_z0 to TV0_zt) is obtained. By comparing the sampling time zn_tvoff and the sampling time zn_tvon, if zn_tvoff> zn_tvon, it means that the accelerator is turned on after the accelerator is turned off within the past period of (AfterDetectTime + 1).
以上の(20)式及び(21)式の何れかの条件を満足する場合、ステップS60に進み、そうでない場合、ステップS62に進む。
ステップS60では、画像処理装置5は、前記ステップS59と同じ過去の時間AfterDetectTime+1(秒)以内に、シャッタ速度が所定値以上か否かを判定し、具体的には、下記(22)式を満たすか否かを判定する。
Min(CamShutterSpeed[c1]〜CamShutterSpeed[c2])<ThSht ・・・(22)
ThSht=func2(V_zt) ・・・(23)
If any one of the above expressions (20) and (21) is satisfied, the process proceeds to step S60. Otherwise, the process proceeds to step S62.
In step S60, the
Min (CamShutterSpeed [c1] to CamShutterSpeed [c2]) <Th Sh (22)
Th Sht = func2 (V_zt) (23)
ここで、CamShutterSpeedは、個別マークが検出された場合に前記ステップS52で記憶されたシャッタ速度(CamShutterSpeed[rbAddr])であり、c1,c2は、前記ステップS59の条件を満たす期間(過去の(AfterDetectTime+1)の期間)の始期(最初のアドレス)及び終期(最後のアドレス)を示す。関数Min(A〜Z)は、AからZまでの範囲のなかの最小値を求める関数であるから、CamShutterSpeed[c1]〜CamShutterSpeed[c2]のうちで最小となる値が、Min(CamShutterSpeed[c1]〜CamShutterSpeed[c2])の値(出力値)になり、この(22)式では、当該値がThShtよりも小さいか否か判定される。
ThShtは、カメラのシャッタ速度の閾値を示す。閾値ThShtは、その値が小さくなるほど、高速なシャッタ速度になることを意味しており、(23)式に示すように、自車速Vを変数とする関数func2により設定される。
Here, CamShutterSpeed is the shutter speed (CamShutterSpeed [rbAddr]) stored in step S52 when an individual mark is detected, and c1 and c2 are periods (past (AfterDetectTime + 1) that satisfy the condition of step S59. ) Period) indicates the start (first address) and end (last address). Since the function Min (A to Z) is a function for obtaining the minimum value in the range from A to Z, the minimum value among the CamShutterSpeed [c1] to CamShutterSpeed [c2] is Min (CamShutterSpeed [c1]. ] To CamShutterSpeed [c2]) (output value). In this equation (22), it is determined whether or not the value is smaller than Th Shht .
Th Sht indicates a threshold value of the shutter speed of the camera. The threshold value Th Sht means that the smaller the value, the higher the shutter speed, and as shown in the equation (23), the threshold value Th Sht is set by a function func2 having the own vehicle speed V as a variable.
図8は、自車速Vと関数func2(秒)(=ThSht)との関係を示す。図8に示すように、自車速Vが大きくなるほど関数func2の示す値(閾値ThSht)は小さくなる。ここで、(23)式において自車速V_ztの接尾辞をなすtは、Min(CamShutterSpeed[c1]〜CamShutterSpeed[c2])の値(出力値)を得たサンプリング時期であり、このようなことから、閾値ThShtは、当該サンプリング時の自車速Vに対応する値になる。すなわち、(22)式は、CamShutterSpeed[c1]〜CamShutterSpeed[c2]のうちで最小となる値が、当該最小となる値を得た時の自車速Vに対応する閾値ThShtよりも小さくなることを示す判定式となる。この(22)式を満たす場合、ステップS61に進み、そうでない場合、ステップS62に進む。 FIG. 8 shows the relationship between the vehicle speed V and the function func2 (seconds) (= Th Sht ). As shown in FIG. 8, the value (threshold Th Th) indicated by the function func2 decreases as the host vehicle speed V increases. Here, in the equation (23), t that forms the suffix of the vehicle speed V_zt is the sampling time when the value (output value) of Min (CamShutterSpeed [c1] to CamShutterSpeed [c2]) is obtained. The threshold value Th Sht is a value corresponding to the vehicle speed V at the time of sampling. That is, in Expression (22), the minimum value among CamShutterSpeed [c1] to CamShutterSpeed [c2] is smaller than the threshold Th Sh corresponding to the vehicle speed V when the minimum value is obtained. It becomes a judgment formula which shows. If this equation (22) is satisfied, the process proceeds to step S61, and if not, the process proceeds to step S62.
ステップS61では、画像処理装置5は、個別マーク検出フラグDetectedMark[0]〜DetectedMark[3]を参照して、前記検出した個別マークのみ(DetectedMarkPattern[dn])、参照用パターンを学習することとして、具体的には、下記(24)式及び(25)式のような参照用パターンの学習を行う。
先ず、下記(24)式を実行する。
index[dn]=MaxIdx(OCR(RM00[dn],DetectedMarkPattern [dn][rbAddr-t]),OCR(RM05[dn],DetectedMarkPattern[dn][rbAddr-t]),OCR(RM10[dn],DetectedMarkPattern [dn][rbAddr-t]),OCR(RM15[dn],DetectedMarkPattern [dn][rbAddr-t]))
・・・(24)
In step S61, the
First, the following equation (24) is executed.
index [dn] = MaxIdx (OCR (RM00 [dn], DetectedMarkPattern [dn] [rbAddr-t]), OCR (RM05 [dn], DetectedMarkPattern [dn] [rbAddr-t]), OCR (RM10 [dn], DetectedMarkPattern [dn] [rbAddr-t]), OCR (RM15 [dn], DetectedMarkPattern [dn] [rbAddr-t]))
... (24)
ここで、dnは、検出できた個別マークの番号(0は「れ」、1は「ま」、2は「止」、3は「−」(停止線))を示す。また、RM00[dn]は、車体のピッチ角が水平(0.0°)の場合の番号dnの参照用パターンであり、RM05[dn]は、車体のピッチ角が0.5°下向きの場合の番号dnの参照用パターンであり、RM10[dn]は、車体のピッチ角が1.0°下向き場合の番号dnの参照用パターンであり、RM15[dn]は、車体のピッチ角が1.5°下向きの場合の番号dnの参照用パターンである。 Here, dn indicates the number of the detected individual mark (0 is “re”, 1 is “ma”, 2 is “stop”, and 3 is “−” (stop line)). RM00 [dn] is a reference pattern for number dn when the vehicle body pitch angle is horizontal (0.0 °), and RM05 [dn] is a vehicle body pitch angle of 0.5 ° downward. RM10 [dn] is a reference pattern for number dn when the pitch angle of the vehicle body is downward by 1.0 °, and RM15 [dn] is a pitch pattern for vehicle body of 1. This is a reference pattern of the number dn in the case of 5 ° downward.
MaxIdx(a,b,c,d)は、a,b,c, dの中で最大値となる引数のインデックス番号を求める関数となる。具体的には、a,b,c, dの中で、aが最大値であれば、MaxIdx(a,b,c,d)=0、bが最大値であれば、MaxIdx(a,b,c,d)=1、cが最大値であれば、MaxIdx(a,b,c,d)=2、dが最大値であれば、MaxIdx(a,b,c,d)=3になる。また、OCR(a,b)は、aとbの類似度を求める関数である。tは、前記ステップS60で求めた値、すなわち、Min(CamShutterSpeed[c1]〜CamShutterSpeed[c2])の値(出力値)を得たサンプリング時期である。 MaxIdx (a, b, c, d) is a function for obtaining the index number of the argument having the maximum value among a, b, c, and d. Specifically, among a, b, c, and d, if a is the maximum value, MaxIdx (a, b, c, d) = 0, and if b is the maximum value, MaxIdx (a, b , C, d) = 1, if c is the maximum value, MaxIdx (a, b, c, d) = 2, and if d is the maximum value, MaxIdx (a, b, c, d) = 3 Become. OCR (a, b) is a function for obtaining the similarity between a and b. t is the sampling time when the value obtained in step S60, that is, the value (output value) of Min (CamShutterSpeed [c1] to CamShutterSpeed [c2]) is obtained.
前記(24)式により、検出した個別マークDetectedMarkPattern [dn][rbAddr-t]について、各ピッチ角0°,0.5°,1.0°,1.5°の参照用パターンRM00[dn],RM05[dn],RM10[dn],RM15[dn]との比較を行い、最も類似度が高い参照用パターンを選択している(引数のインデックス番号を決定している)。
そして、(24)式により得た引数のインデックス番号(0〜3の何れかの値)に基づいて、下記(25)式により、参照用パターンRefMarkPatten[dn]を更新する。
if(index[dn]=0)RefMarkPatten[dn]=RM00[dn]
if(index[dn]=1)RefMarkPatten[dn]=RM05[dn]
if(index[dn]=2)RefMarkPatten[dn]=RM10[dn]
if(index[dn]=3)RefMarkPatten[dn]=RM15[dn]
・・・(25)
ここで、関数if(a)bは、aを満たす場合、bを実施する関数である。
For the detected individual mark DetectedMarkPattern [dn] [rbAddr-t], the reference pattern RM00 [dn] with each pitch angle of 0 °, 0.5 °, 1.0 °, and 1.5 ° according to the equation (24). , RM05 [dn], RM10 [dn], and RM15 [dn], and the reference pattern having the highest similarity is selected (the index number of the argument is determined).
Then, the reference pattern RefMarkPatten [dn] is updated by the following equation (25) based on the index number (any value of 0 to 3) of the argument obtained by the equation (24).
if (index [dn] = 0) RefMarkPatten [dn] = RM00 [dn]
if (index [dn] = 1) RefMarkPatten [dn] = RM05 [dn]
if (index [dn] = 2) RefMarkPatten [dn] = RM10 [dn]
if (index [dn] = 3) RefMarkPatten [dn] = RM15 [dn]
... (25)
Here, the function if (a) b is a function that executes b when a is satisfied.
この(25)式により、検出した個別マークDetectedMark[dn]に対応する参照用パターンRefMarkPatten[dn]を最も類似度が高いピッチ角の参照用パターンに更新する。なお、初期状態では、全ての参照用パターンについて、RM00が設定(RefMarkPatten[dn]=RM00[dn]、dn=0〜3)されている。
続いてステップS62において、画像処理装置5は、道路標示検出フラグDetectOKflag及び各個別マーク検出フラグDetectedMark[0]〜DetectedMark[3]を初期化する(DetectOKflag=0、DetectedMark[0]〜DetectedMark[3]=0)。そして、前記図5に示すステップS58の処理に進む。
Using this equation (25), the reference pattern RefMarkPatten [dn] corresponding to the detected individual mark DetectedMark [dn] is updated to the reference pattern having the highest degree of similarity. In the initial state, RM00 is set (RefMarkPatten [dn] = RM00 [dn], dn = 0-3) for all reference patterns.
Subsequently, in step S62, the
一方、前記ステップS45にて道路標示検出フラグDetectOKflagが0であり(DetectOKflag=0)、かつ検出後経過時間AfterDetectTimeが3600(秒)よりも大きく(AfterDetectTime>3600)、かつ検出後距離AfterDetectDistが50000(m)よりも大きい場合(AfterDetectDist>50000)に進む図7に示すステップS63では、画像処理装置5は、全ての参照用パターンRefMarkPatten[0]〜RefMarkPatten[3]を初期化する処理として、下記(26)式による全参照用パターンRefMarkPatten[0]〜RefMarkPatten[3]の設定を行う。
RefMarkPatten[0]=RM00[0]
RefMarkPatten[1]=RM00[1]
RefMarkPatten[2]=RM00[2]
RefMarkPatten[3]=RM00[3]
・・・(26)
すなわち、全参照用パターンについて、ピッチ角が0°に対応するRM00に設定する。
続いてステップS64において、画像処理装置5は、検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化する(AfterDetectTime=0、AfterDetectDist=0)。
On the other hand, in step S45, the road marking detection flag DetectOKflag is 0 (DetectOKflag = 0), the post-detection elapsed time AfterDetectTime is greater than 3600 (seconds) (AfterDetectTime> 3600), and the post-detection distance AfterDetectDist is 50000 ( m) is greater than (AfterDetectDist> 50000), in step S63 shown in FIG. 7, the
RefMarkPatten [0] = RM00 [0]
RefMarkPatten [1] = RM00 [1]
RefMarkPatten [2] = RM00 [2]
RefMarkPatten [3] = RM00 [3]
... (26)
That is, for all the reference patterns, the pitch angle is set to RM00 corresponding to 0 °.
Subsequently, in step S64, the
(動作)
次に動作を説明する。
(1)個別マークを識別中の処理(DetectStep=1〜4の処理)
CCDカメラ4により自車両前方を撮像し、さらに、車速検出装置8、操舵角検出装置7及び制動力検出装置9等により、車速、舵角、ピッチ角度、ブレーキ液圧及びスロットル開度等を検出しており、画像処理装置5は、これらCCDカメラ4から撮像画像と車速検出装置8等から車速等とを取り込む(前記ステップS41、ステップS42)。
(Operation)
Next, the operation will be described.
(1) Processing during identification of individual marks (processing of DetectStep = 1 to 4)
The front of the host vehicle is imaged by the
そして、画像処理装置5は、検出後経過時間AfterDetectTimeに0.05(秒)を加算するとともに、道路標示検出フラグDetectOKflagが1であり、かつ検出後経過時間AfterDetectTimeが5(秒)よりも大きいか否かを判定する(前記ステップS43、ステップS44)。ここで、画像処理装置5は、道路標示検出フラグDetectOKflagが1でなく、又は検出後経過時間AfterDetectTimeが5(秒)以下であり(前記ステップS44の判定で“No”の場合)、さらに、道路標示検出フラグDetectOKflagが0でなく、又は検出後経過時間AfterDetectTimeが3600(秒)以下であり、又は検出後距離AfterDetectDistが50000(m)以下の場合(前記ステップS45の判定で“No”の場合)、画像処理領域(探索領域)を設定するとともに(前記ステップS46)、認識状態カウンタ値DetectStep及び今回マーク検出フラグThisTimeOKflagを初期化する(前記ステップS47)。
Then, the
続いて、画像処理装置5は、前記第1の実施形態と同様に、先に設定した画像処理領域(前記ステップS46)について、個別マークを識別するための前処理を行うとともに、認識状態カウンタ値DetectStepに基づいて参照用パターンRef_Markを決めて、当該前処理画像と当該参照用パターンRef_Markとの類似度を算出し、その算出した類似度に基づいて個別マークの認識の判定処理をする(前記ステップS48〜ステップS50)。
Subsequently, as in the first embodiment, the
ここで、画像処理装置5は、類似度が類似度判定用閾値ThOCRよりも大きい場合、個別マークを検出できたとして、当該個別マークについて、交通標示情報等の記憶をし(前記(12)式〜(15)式)、認識状態カウンタ値DetectStepを1つ加算する(前記ステップS51の判定で“Yes”の場合、ステップS52、ステップS53)。
一方、画像処理装置5は、類似度が類似度判定用閾値ThOCR以下の場合、個別マークを検出できないとして、交通標示情報等を記憶することなく、認識状態カウンタ値DetectStepを1つ加算する(前記ステップS51の判定で“No”の場合、ステップS53)。
Here, when the similarity is larger than the similarity determination threshold value Th OCR , the
On the other hand, when the similarity is equal to or lower than the similarity determination threshold Th OCR , the
ここで、前記前処理のステップ(前記ステップS49)から前記認識状態カウンタ値DetectStepの加算ステップ(前記ステップS53)の処理では、前処理画像の類似度に関係なく、認識状態カウンタ値DetectStepを加算していく(DetectStepを0〜3まで順番に変化させていく)ことで、全ての参照用パターンRef_Mark(RefMarkPatten[0]〜RefMarkPatten[3])について類似度に基づく判定を行い、類似度が高い(類似度>ThOCR)個別マークについて交通標示情報等を記憶している。 Here, in the processing from the preprocessing step (step S49) to the recognition state counter value DetectStep addition step (step S53), the recognition state counter value DetectStep is added regardless of the similarity of the preprocessed image. (DetectStep is changed in order from 0 to 3), and all reference patterns Ref_Mark (RefMarkPatten [0] to RefMarkPatten [3]) are determined based on the similarity, and the similarity is high ( Similarity> Th OCR ) Traffic marking information and the like are stored for individual marks.
(2)個別マーク全てについて識別処理した後(DetectStep=4になったときの処理)
画像処理装置5が、認識状態カウンタ値DetectStepが4になると(前記ステップS53の判定で“Yes”の場合)、今回新たに文字(個別マーク)を検出し、かつ2文字(個別マークを2つ)以上検出したか否かを判定して、今回新たに文字(個別マーク)を検出し、かつ2文字(個別マークを2つ)以上検出しており、さらに、道路標示検出フラグDetectOKflagが0の場合、外界認識装置3は、スピーカ装置から「一時停止」等を発話する(前記ステップS54の判定で“Yes”の場合、前記ステップS55の判定で“Yes”の場合、ステップS56)。そして、画像処理装置5は、道路標示検出フラグDetectOKflagに1を設定するとともに、検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化し(前記ステップS57)、自車挙動データの更新等をする(前記ステップS58)。
(2) After identification processing for all individual marks (processing when DetectStep = 4)
When the recognition state counter value DetectStep becomes 4 (in the case of “Yes” in the determination of step S53), the
ここで、画像処理装置5は、認識状態カウンタ値DetectStepが4になったが(前記ステップS53の判定で“Yes”の場合)、今回新たに文字(個別マーク)を検出していなく、又は2文字(個別マークを2つ)以上検出していない場合、直ぐに自車挙動データの更新等をする(前記ステップS54の判定で“Yes”の場合、ステップS58)。また、画像処理装置5が、認識状態カウンタ値DetectStepが4になり(前記ステップS53の判定で“Yes”の場合)、今回新たに文字(個別マーク)を検出し、かつ2文字(個別マークを2つ)以上検出しているが、道路標示検出フラグDetectOKflagが1の場合、外界認識装置3によるスピーカ装置からの発話をすることなく、画像処理装置5が、道路標示検出フラグDetectOKflagに1を設定するとともに、検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化し、さらに自車挙動データの更新等をする(前記ステップS54の判定で“Yes”の場合、前記ステップS55の判定で“No”の場合、ステップS57、ステップS58)。
Here, although the recognition state counter value DetectStep has become 4 (in the case of “Yes” in the determination of step S53), the
それから、画像処理装置5は、検出後経過時間AfterDetectTimeが5(秒)よりも大きくなったときに、道路標示検出フラグDetectOKflagが1であれば、過去の時間AfterDetectTime+1以内に、直進路で制動しているか、又は直進路でアクセルをオフからオンにしているかを判定する(前記ステップS59)。
ここで、画像処理装置5は、過去の期間AfterDetectTime+1以内に、直進路で制動している場合、又は直進路でアクセルをオフからオンにしている場合で、かつその状況下でのCCDカメラ4のシャッタ速度が閾値ThShtよりも小さい場合、検出した個別マーク(DetectedMarkPattern[dn])についての参照用パターンの学習(更新)を実施する(前記ステップS59の判定で“Yes”の場合、ステップS60の判定で“Yes”の場合、ステップS61)。そして、画像処理装置5は、路標示検出フラグDetectOKflag及び各個別マーク検出フラグDetectedMark[0]〜DetectedMark[3]を初期化する(前記ステップS62)。
Then, when the post-detection elapsed time AfterDetectTime is greater than 5 (seconds) and the road marking detection flag DetectOKflag is 1, the
Here, the
一方、画像処理装置5は、過去の期間AfterDetectTime+1以内に、直進路で制動していなく、かつ直進路でアクセルをオフからオンにしていない場合、参照用パターンの学習を実施することなく、路標示検出フラグDetectOKflag及び各個別マーク検出フラグDetectedMark[0]〜DetectedMark[3]を直ぐに初期化する(前記ステップS59の判定で“No”の場合、ステップS62)。また、画像処理装置5は、過去の期間AfterDetectTime以内に、直進路で制動している場合、又は直進路でアクセルをオフからオンにしている場合でも、その状況下でのCCDカメラ4のシャッタ速度が閾値ThSht以上の場合、参照用パターンの学習を実施することなく、路標示検出フラグDetectOKflag及び各個別マーク検出フラグDetectedMark[0]〜DetectedMark[3]を直接初期化する(前記ステップS59の判定で“No”の場合、ステップS60の判定で“No”の場合、ステップS62)。
On the other hand, the
そして、画像処理装置5は、以上のような参照用パターンの学習を、道路標示検出フラグDetectOKflagが0になり、かつ検出後経過時間AfterDetectTimeが3600(秒)よりも大きく、かつ検出後距離AfterDetectDistが50000(m)よりも大きくなる条件を満たすまで行い(前記ステップS45の判定で“No”の場合)、当該条件を満たすと、全ての参照用パターンRefMarkPatten[0]〜RefMarkPatten[3]を初期化するとともに、検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化する(前記ステップS45の判定で“Yes”の場合、ステップS63、ステップS64)。
The
以上のような動作により、第2の実施形態では、車両用交通標示検出装置は、前処理画像と参照用パターンRef_Markとの類似度が類似度判定用閾値ThOCRよりも大きい場合に交通標示情報等を記憶する((12)式〜(15)式)一方で、前処理画像と参照用パターンRef_Markとの類似度に関係なく認識状態カウンタ値DetectStepを1つずつ加算していく。すなわち、車両用交通標示検出装置は、認識状態カウンタ値DetectStepを1つずつ加算していくことで、参照用パターンRef_Markを次々と換えていき、類似度が類似度判定用閾値ThOCRよりも大きくなる場合だけ、個別マークを検出したとして、交通標示情報等を記憶している((12)式〜(15)式)。 With the above operation, in the second embodiment, the vehicular traffic sign detection device performs traffic sign information when the similarity between the preprocessed image and the reference pattern Ref_Mark is greater than the similarity determination threshold Th OCR. Etc. (Equations (12) to (15)) while the recognition state counter value DetectStep is incremented one by one regardless of the similarity between the preprocessed image and the reference pattern Ref_Mark. That is, the vehicle traffic sign detection device adds the recognition state counter value DetectStep one by one, thereby changing the reference pattern Ref_Mark one after another, and the similarity is greater than the similarity determination threshold Th OCR. Only in such a case, traffic marking information or the like is stored (expressions (12) to (15)), assuming that an individual mark is detected.
そして、車両用交通標示検出装置は、DetectStep=4となったタイミング、すなわち最後の参照用パターンRef_Markについての識別処理を終了したタイミングで、今回新たに文字(個別マーク)を検出し、かつ2文字(個別マークを2つ)以上検出しており、さらに、道路標示検出フラグDetectOKflagが0になっている場合、スピーカ装置から「一時停止」等を発話する。そして、車両用交通標示検出装置は、道路標示検出フラグDetectOKflagに1を設定し、かつ検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化するとともに、自車挙動データの更新等をする。 Then, the vehicle traffic sign detection apparatus detects a new character (individual mark) this time at the timing when DetectStep = 4, that is, the timing when the identification processing for the last reference pattern Ref_Mark is completed, and two characters When two or more individual marks are detected and the road marking detection flag DetectOKflag is 0, the speaker device utters “pause” or the like. Then, the vehicle traffic sign detection device sets the road sign detection flag DetectOKflag to 1, initializes the post-detection elapsed time AfterDetectTime and the post-detection distance AfterDetectDist, and updates the vehicle behavior data.
その後、車両用交通標示検出装置は、検出後経過時間AfterDetectTimeが5(秒)よりも大きくなったときに、道路標示検出フラグDetectOKflagが1であれば、過去の期間AfterDetectTime+1以内に、直進路で制動しているか、又は直進路でアクセルをオフからオンにしており、その状況下でのCCDカメラ4のシャッタ速度が閾値ThShtよりも小さい場合、検出した個別マーク(DetectedMarkPattern[dn])についての参照用パターンの学習(更新)を実施する。
After that, the vehicle traffic sign detection device brakes on a straight road within the past period AfterDetectTime + 1 if the road sign detection flag DetectOKflag is 1 when the post-detection elapsed time AfterDetectTime is greater than 5 (seconds). If the accelerator is turned off and on in a straight path, and the shutter speed of the
そして、以降の処理において、そのようにして学習した参照用パターンによる前記類似度の判定、すなわち道路標示の検出がなされる。そして、自動ブレーキ制御装置10は、画像処理装置5が検出した道路標示である停止線までの距離に基づいて自動ブレーキ制御を実施する。
また、車両用交通標示検出装置は、道路標示検出フラグDetectOKflagが0になり、かつ検出後経過時間AfterDetectTimeが3600(秒)よりも大きく、かつ検出後距離AfterDetectDistが50000(m)よりも大きくなる条件を満たすまで参照用パターンの学習(更新)を実施し、当該条件を満たすと、全ての参照用パターンRefMarkPatten[0]〜RefMarkPatten[3]を初期化するとともに、検出後経過時間AfterDetectTime及び検出後距離AfterDetectDistを初期化する。これにより、学習した参照用パターンを初期化する。
In the subsequent processing, the similarity is determined based on the reference pattern learned as described above, that is, the road marking is detected. Then, the automatic
Further, in the vehicle traffic sign detection device, the road sign detection flag DetectOKflag is 0, the post-detection elapsed time AfterDetectTime is greater than 3600 (seconds), and the post-detection distance AfterDetectDist is greater than 50000 (m). The reference pattern is learned (updated) until the condition is satisfied, and when the condition is satisfied, all the reference patterns RefMarkPatten [0] to RefMarkPatten [3] are initialized, the elapsed time after detection AfterDetectTime, and the distance after detection Initialize AfterDetectDist. Thereby, the learned reference pattern is initialized.
(作用)
次に作用を説明する。
特に第2の実施形態では、検出した個別マーク(撮像画像)に基づいて参照用パターンを学習している。すなわち、検出した個別マーク(撮像画像)そのもので参照用パターンを更新している。地域における文字のペイント手法等の種々の要因で交通標示が異なるから、それら種々の要因が加味された検出個別マークに基づいて参照用パターンを学習することで、個別マーク、すなわち交通標示の検出精度を高くすることができる。さらに、その参照用パターンの学習では、車体のピッチ角に応じて種々の参照用パターンを用意しておき、それら各参照用パターンと、検出できた個別マークとの類似度を算出して、最も類似度が高いピッチ角の参照用パターンを更新している。そして、以降の処理で、更新した参照用パターンに基づいて、個別マークを検出している。このように、自車両にピッチ角変化が生じることを前提にして、各ピッチ角に対応する参照用パターンを用意して、参照用パターンを個別に更新していくことで、個別マーク、すなわち交通標示の検出精度を高くすることができる。
(Function)
Next, the operation will be described.
Particularly in the second embodiment, the reference pattern is learned based on the detected individual mark (captured image). That is, the reference pattern is updated with the detected individual mark (captured image) itself. Since traffic signs differ depending on various factors such as the character painting method in the area, the detection accuracy of individual marks, that is, traffic signs, is learned by learning the reference pattern based on the detected individual marks that take these various factors into account. Can be high. Furthermore, in learning the reference pattern, various reference patterns are prepared according to the pitch angle of the vehicle body, and the similarity between each reference pattern and the detected individual mark is calculated, A reference pattern having a high pitch and a pitch angle is updated. In the subsequent processing, the individual mark is detected based on the updated reference pattern. In this way, on the assumption that a change in the pitch angle occurs in the host vehicle, a reference pattern corresponding to each pitch angle is prepared and the reference pattern is updated individually, so that individual marks, that is, traffic The detection accuracy of the sign can be increased.
また、参照用パターンRef_Markを次々と換えて、類似度が類似度判定用閾値ThOCRよりも大きい場合に、個別マークを検出したとして交通標示情報等を記憶していく一方で、今回新たに文字(個別マーク)を検出し、かつ2文字(個別マークを2つ)以上の場合にのみ、検出できた個別マークについて参照用パターンの学習を実施している。すなわち、交通標示を構成する全ての個別マークを検出することを条件とはせず、交通標示を構成する一部の個別マークを検出できた場合でも、当該一部の個別マークについて参照用パターンの学習を実施している。これにより、参照用パターン毎に検出精度を高めることができるから、その結果として、交通標示の検出精度を高めることができるようになる。 In addition, the reference pattern Ref_Mark is changed one after another, and when the similarity is larger than the similarity determination threshold Th OCR , the traffic marking information is stored as the individual mark is detected. Only when two or more characters (two individual marks) are detected, a reference pattern is learned for the detected individual marks. That is, it is not a condition to detect all the individual marks that make up the traffic sign, and even if some of the individual marks that make up the traffic sign can be detected, Learning is being carried out. Thereby, since the detection accuracy can be increased for each reference pattern, as a result, the detection accuracy of the traffic sign can be increased.
また、参照用パターンの学習、すなわち参照用パターンの更新を実施する条件として、アクセルがオフからオンになっていることを条件としている。「止まれ」の交通標示付近では、自車両が停止状態から走行状態に変化する、すなわち自車両が加速することから、アクセル操作が自車両の加速方向に変化するのに連動して参照用パターンの学習の実施を許可することで、実際の交通標示に基づく学習精度を高めることができる。これにより、交通標示の検出精度が高い参照用パターンにすることができる。さらに、参照用パターンの学習を実施する条件として、直進走行していることを条件としている。自車速が直進走行しているのに連動して参照用パターンの学習の実施を許可することで、横方向のブレがある状況下でCCDカメラ4により撮像された撮像画像により、参照用パターンの学習がなされてしまうようなことがないため、実際の交通標示に基づく学習精度を高めることができる。これにより、交通標示の検出精度が高い参照用パターンにすることができる。
Further, as a condition for performing the learning of the reference pattern, that is, the updating of the reference pattern, the condition is that the accelerator is turned on from off. In the vicinity of the “stop” traffic sign, the host vehicle changes from the stop state to the driving state, that is, the host vehicle accelerates, so that the reference pattern of the reference pattern is interlocked with the accelerator operation changing in the acceleration direction of the host vehicle. By allowing the learning to be performed, the learning accuracy based on the actual traffic sign can be increased. Thereby, it can be set as the reference pattern with high detection accuracy of a traffic sign. Further, the condition for learning the reference pattern is that the vehicle is traveling straight ahead. By allowing the reference pattern to be learned while the vehicle speed is traveling straight ahead, the reference pattern can be obtained from the captured image captured by the
そして、そのCCDカメラ4のシャッタ速度が閾値ThShtよりも小さい場合、すなわちシャッタ速度がある程度高速であれば、参照用パターンの学習の実施を許可している。これにより、シャッタ速度が高速である場合の撮像画像、すなわち被写体(個別マーク)が鮮明に写る撮像画像により参照用パターンの学習が実施されるようになるから、実際の交通標示に基づく学習精度を高めることができる。これにより、交通標示の検出精度が高い参照用パターンにすることができる。さらに、自車速Vが大きくなるほど閾値ThShtを小さくしている。これにより、自車速Vが大きくなるほど、シャッタ速度が高速でなければ、参照用パターンの学習の実施を許可しないようにしている。これにより、実際の交通標示に基づく学習精度を高めることができる。
If the shutter speed of the
また、検出後経過時間AfterDetectTimeが3600(秒)よりも大きく、かつ検出後距離AfterDetectDistが50000(m)よりも大きくなると、全ての参照用パターンを初期化している。すなわち、参照用パターンの学習を実施してから、ある一定の時間や距離が経過すると、これまで学習した参照用パターンを初期化している。時間経過や走行距離により日照条件等の交通標示の検出環境が変化するから、この場合、当該検出環境にこれまで学習(更新)した参照用パターンが適合しなくなる。このようなことから、ある一定の時間や距離が経過したときには、これまで学習した参照用パターンを初期化することで、現在の検出環境に適合しない参照用パターンを用いることで交通標示の検出精度が低下してしまうのを抑制できる。 When the post-detection elapsed time AfterDetectTime is greater than 3600 (seconds) and the post-detection distance AfterDetectDist is greater than 50000 (m), all reference patterns are initialized. That is, when a certain time or distance elapses after learning the reference pattern, the reference pattern learned so far is initialized. Since the detection environment for traffic signs such as sunshine conditions changes depending on the passage of time and travel distance, in this case, the reference pattern learned (updated) so far does not match the detection environment. For this reason, when a certain amount of time or distance has elapsed, the reference pattern that has been learned so far is initialized, and the reference pattern that does not match the current detection environment is used. Can be suppressed.
なお、前記第2の実施形態の説明において、画像処理装置5のステップS43、ステップS45及びステップS58の処理は、補正手段が検出条件を補正した時点からの経過時間及び自車両の走行距離のうちの少なくとも一方の計数を開始する計数手段を実現しており、画像処理装置5のステップS63の処理は、前記計数手段の計数値が計数値判定用閾値よりも大きい場合、前記検出条件を初期化する初期化手段を実現している。
In the description of the second embodiment, the processing of step S43, step S45, and step S58 of the
(効果)
(1)交通標示は、車両を停止させる標示であり、前記補正許可手段は、前記状態検出手段が自車両が加速するのを検出した場合、前記補正手段の補正を許可する。車両を停止させる交通標示付近では、自車両が停止状態から走行状態に変化する、すなわち自車両が加速することから、自車両の加速に連動して検出条件の補正を許可することで、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度が高くなる方向に検出条件を補正することができる。
(effect)
(1) A traffic sign is a sign that stops a vehicle, and the correction permission means permits correction of the correction means when the state detection means detects that the host vehicle accelerates. In the vicinity of the traffic sign that stops the vehicle, the host vehicle changes from the stop state to the running state, that is, the host vehicle accelerates. Therefore, by allowing the correction of the detection condition in conjunction with the acceleration of the host vehicle, The correction accuracy of the detection condition based on the traffic sign can be increased. As a result, the detection condition can be corrected in a direction in which the detection accuracy of the traffic sign becomes higher.
(2)前記補正許可手段は、前記状態検出手段が自車両が直進走行するのを検出した場合、前記補正手段の補正を許可する。自車速の直進走行に連動して検出条件の補正を許可することで、横方向のブレがある状況下で撮像手段により撮像された撮像画像を用いて、検出条件を補正してしまうようなことがないため、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度が高くすることができる。 (2) The correction permission means permits correction of the correction means when the state detection means detects that the host vehicle travels straight ahead. By correcting the detection conditions in conjunction with straight traveling at the host vehicle speed, the detection conditions may be corrected using the captured image captured by the imaging means in a situation where there is a lateral blur. Therefore, the correction accuracy of the detection condition based on the actual traffic sign can be increased. Thereby, the detection accuracy of a traffic sign can be made high.
(3)前記補正許可手段は、前記撮像手段のシャッタ速度がシャッタ速度判定用閾値よりも大きい場合、前記補正手段の補正を許可する。これにより、シャッタ速度が高速である場合の撮像画像、すなわち被写体が鮮明に写る撮像画像により検出条件の補正がなされるようになるから、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度を高くすることができる。 (3) When the shutter speed of the imaging unit is greater than a shutter speed determination threshold, the correction permission unit permits correction of the correction unit. As a result, the detection condition is corrected by the picked-up image when the shutter speed is high, that is, the picked-up image in which the subject is clearly displayed, so that the correction accuracy of the detection condition based on the actual traffic sign can be improved. it can. Thereby, the detection accuracy of a traffic sign can be made high.
(4)前記シャッタ速度判定用閾値は、自車両が速くなるほど大きくなる。これにより、自車両が速くなるほど、より高速のシャッタ速度で撮像した撮像画像により検出条件の補正が許可されるようになるから、実際の交通標示に基づく検出条件の補正精度を高めることができる。これにより、交通標示の検出精度を高くすることができる。 (4) The shutter speed determination threshold increases as the host vehicle becomes faster. As a result, the faster the host vehicle is, the more the correction of the detection condition is permitted by the captured image captured at a higher shutter speed. Therefore, the correction accuracy of the detection condition based on the actual traffic sign can be increased. Thereby, the detection accuracy of a traffic sign can be made high.
(5)前記交通標示検出手段は、前記撮像手段が撮像して得た撮像画像と予め用意した交通標示認識用の情報との比較結果に基づいて、前記交通標示の検出を行っており、前記補正手段は、前記撮像画像の状態に基づいて、前記交通標示認識用の情報を補正する。地域における文字のペイント手法等の種々の要因により交通標示が異なるから、それら種々の要因が加味された撮像画像(実際の交通表示)の状態に基づいて交通標示認識用の情報そのものを補正することで、交通標示の検出精度を高くすることができる。 (5) The traffic sign detection means detects the traffic sign based on a comparison result between a captured image obtained by imaging by the imaging means and information for traffic sign recognition prepared in advance. The correcting unit corrects the information for recognizing the traffic sign based on the state of the captured image. Because traffic signs differ depending on various factors such as character painting methods in the area, the information for traffic sign recognition itself is corrected based on the state of the captured image (actual traffic display) that takes into account these various factors. Thus, the detection accuracy of traffic signs can be increased.
(6)前記交通標示検出手段は、前記撮像手段が撮像して得た撮像画像と予め用意した交通標示認識用の情報との比較結果に基づいて、前記交通標示の検出を行うとともに、前記交通標示認識用の情報を自車両のピッチ角に対応して複数用意しており、前記補正手段は、前記撮像画像の状態に基づいて、ピッチ角に対応する交通標示認識用の情報を補正する。自車両にピッチ角変化が生じることを前提として、各ピッチ角に対応する交通標示認識用の情報を用意して当該交通標示認識用の情報を個別に補正することで、交通標示の検出精度を高くすることができる。 (6) The traffic sign detection means detects the traffic sign based on a comparison result between a captured image obtained by imaging by the imaging means and information for traffic sign recognition prepared in advance. A plurality of information for sign recognition is prepared corresponding to the pitch angle of the host vehicle, and the correction means corrects the information for traffic sign recognition corresponding to the pitch angle based on the state of the captured image. Assuming that the pitch angle changes in the host vehicle, prepare the information for traffic sign recognition corresponding to each pitch angle and individually correct the information for traffic sign recognition. Can be high.
(7)前記補正手段が前記検出条件を補正した時点からの経過時間及び自車両の走行距離のうちの少なくとも一方の計数を開始する計数手段と、前記計数手段の計数値が計数値判定用閾値よりも大きい場合、前記検出条件を初期化する初期化手段とを備える。検出条件を補正した時点からの計数値が計数値判定用閾値よりも大きい場合、検出条件を初期化することで、時間経過や走行距離により日照条件等の交通標示の検出環境が変化するから、現在の検出環境に適合しなくなった検出条件(以前の検出環境で補正された検出条件)を用いることで交通標示の検出精度が低下してしまうのを抑制できる。 (7) Counting means for starting counting at least one of the elapsed time from the time when the correction means corrects the detection condition and the travel distance of the host vehicle, and the count value of the counting means is a threshold for determining a count value If larger than, an initialization unit for initializing the detection condition is provided. If the count value from the time when the detection condition is corrected is larger than the threshold for determining the count value, the detection condition is initialized, so the detection environment for traffic signs such as the sunlight condition changes depending on the passage of time and travel distance. By using detection conditions that are no longer compatible with the current detection environment (detection conditions corrected in the previous detection environment), it is possible to suppress a decrease in the detection accuracy of traffic signs.
(8)前記交通標示は、複数の文字及び記号のうちの少なくとも一方で構成されるものであり、前記交通標示検出手段は、前記撮像手段が撮像して得た撮像画像と予め用意した前記複数の文字及び記号に対応する複数の識別用の情報との比較結果に基づいて、前記交通標示の検出を行っており、前記補正手段は、前記複数の識別用の情報毎に補正をする。複数の識別用の情報毎に補正をすることで、交通標示を構成する文字又は記号毎の検出精度を高めることができ、その結果、交通標示の検出精度を高めることができる。 (8) The traffic sign is composed of at least one of a plurality of characters and symbols, and the traffic sign detection means includes the captured image obtained by the imaging means and the plurality of images prepared in advance. The traffic sign is detected based on a comparison result with a plurality of pieces of identification information corresponding to the characters and symbols, and the correction means corrects each of the plurality of pieces of identification information. By correcting each piece of identification information, the detection accuracy for each character or symbol constituting the traffic sign can be increased, and as a result, the detection accuracy of the traffic sign can be increased.
(第3の実施形態)
次に第3の実施形態を説明する。
第3の実施形態は、本発明を適用した車両であり、車両用交通標示検出装置を搭載した車両である。
(構成)
第3の実施形態の車両の構成は、前記第1の実施形態の車両の構成と同じである。図9及び図10は、第3の実施形態における各装置による一連の処理手順を示す。図9及び図10に示す処理手順の基本的な部分は、前記図2及び図3に示した第1の実施形態における処理手順と同一であるが、第3の実施形態における処理では、特に、前記ステップS2の処理内容を変更したステップS81を設け、また、前記ステップS9〜ステップS11の間に、ステップS82及びステップS83を設け、また、前記ステップS18の処理内容を変更したステップS84を設け、また、ステップS21の処理内容を変更したステップS85を設けている。以下の説明では、第3の実施形態における処理において、前記第1の実施形態における処理と同一符号を付してあるものについては、特に言及しない限りは同一である。
(Third embodiment)
Next, a third embodiment will be described.
The third embodiment is a vehicle to which the present invention is applied, and is a vehicle equipped with a vehicle traffic sign detection device.
(Constitution)
The configuration of the vehicle according to the third embodiment is the same as the configuration of the vehicle according to the first embodiment. 9 and 10 show a series of processing procedures by each device in the third embodiment. The basic part of the processing procedure shown in FIGS. 9 and 10 is the same as the processing procedure in the first embodiment shown in FIGS. 2 and 3, but in the processing in the third embodiment, in particular, Step S81 in which the processing content of Step S2 is changed is provided, Steps S82 and S83 are provided between Steps S9 to S11, and Step S84 in which the processing content of Step S18 is changed is provided, Moreover, step S85 which changed the processing content of step S21 is provided. In the following description, in the processing in the third embodiment, the same reference numerals as those in the processing in the first embodiment are the same unless otherwise specified.
図9に示すように、ステップS1に続いてステップS81に進んでおり、このステップS81では、外界認識装置3は、前記ステップS2の処理(自動車挙動データの読込み)に加えて、ワイパーの作動状態を示すフラグ(以下、ワイパー作動状態フラグという。)WiperDutyを読込む。ここで、ワイパー作動状態フラグWiperDutyは、0〜1の範囲で変化するデューティー比であり、大きくなるほど(1に近づくほど)ワイパーが激しく作動することを示す。
As shown in FIG. 9, the process proceeds to step S81 following step S1, and in this step S81, the external
また、ステップS9にて類似度が類似度判定用閾値ThOCRよりも大きい場合にステップS82に進んでおり、このステップS82では、画像処理装置5は、今回のサンプリングにおけるピッチ角Ap_z0が所定値以内にあるか否かを判定する処理として、ピッチ角Ap_z0の絶対値|Ap_z0|が閾値Th_Pitch未満か否かを判定する。ここで、閾値Th_Pitchは、車体が滑らかに走行していると判定できるピッチ角に相当する値である。このステップS82において、画像処理装置5は、ピッチ角Ap_z0の絶対値|Ap_z0|が閾値Th_Pitch未満の場合(|Ap_z0|<Th_Pitch)、ステップS10に進み、ピッチ角Ap_z0の絶対値|Ap_z0|が閾値Th_Pitch以上の場合(|Ap_z0|≧Th_Pitch)、ピッチ角がある程度生じているとして、ステップS83に進む。
If the similarity is larger than the similarity determination threshold Th OCR in step S9, the process proceeds to step S82. In this step S82, the
ステップS83では、画像処理装置5は、ピッチの状態を示すフラグ(以下、ピッチ状態フラグという。)PitchConditionNGを1に設定する(PitchConditionNG=1)。そして、ステップS11に進む。なお、ピッチ状態フラグPitchConditionNGは、初期値として0が設定されている。ピッチ状態フラグPitchConditionNGが0の場合とは、ピッチ角が生じていない、又は生じているとしてもその値が小さい場合である。
In step S83, the
なお、ステップS10では、画像処理装置5は、前記第1の実施形態と同様に、検出した個別マークの前処理画像(微分画像)の平均値Av及び分散値Vrを交通標示情報DetectedMarkPattern[DetectStep]として記憶メモリに記憶し(更新し)、ステップS11では、画像処理装置5は、前記第1の実施形態と同様に、認識状態カウンタ値DetectStepを1つ加算するとともに(DetectStep=DetectStep+1)、その1つ加算した認識状態カウンタ値DetectStepが4であるか否かを判定する。
In step S10, the
また、ステップS3にて認識状態カウンタ値DetectStepが4の場合にステップS84に進んでおり、このステップS84では、画像処理装置5は、前記ステップS18の処理(検出後経過時間AfterDetectTimeが0.5(秒)未満か否かの判定)に加えて、ピッチ状態フラグPitchConditionNGが0か否かを判定する。このステップS84において、両条件と満たす場合(AfterDetectTime<0.5かつPitchConditionNG=0)、ステップS20に進み、そうでない場合、ステップS19に進む。
If the recognition state counter value DetectStep is 4 in step S3, the process proceeds to step S84. In step S84, the
なお、ステップS19では、画像処理装置5は、前記第1の実施形態と同様に、認識状態カウンタ値DetectStepに0を設定し(DetectStep=0)、ステップS20では、前記第1の実施形態と同様に、画像処理装置5が、検出後経過時間AfterDetectTimeに0.05(秒)を加算するともに(AfterDetectTime=AfterDetectTime+0.05)、外界認識装置3が、過去の時間AfterDetectTimeにおいて、制動力が発生し、かつ車速が略0(停車状態)になっているか否かを判定する。
In step S19, the
また、ステップS16にて現時点から過去1秒間において、制動力が発生し、かつ車速が略0(停車状態)になっている場合にステップS85に進んでおり、このステップS85では、前記ステップS9で検出した個別マークの濃淡情報に基づいて、類似度判定用閾値の候補(閾値候補)ThOCR_candを下記(27)式により算出する。
ThOCR_cand=Σfunc3(WiperDuty)・Σfunc1(Av_n,Vr_n)/MaxDetectStep ・・・ (27)
ここで、関数func3は、図11に示すような特性を有する。図11に示すように、関数func3が示す値は、0〜1の範囲で変化し、ワイパー作動状態フラグWiperDutyが大きくなるほど小さくなる。
この(27)式によれば、ワイパー作動状態フラグWiperDutyが大きくなるほど、すなわちワイパーが激しく動作するほど、閾値候補ThOCR_candは小さくなる。
In step S16, when braking force is generated in the past one second from the present time and the vehicle speed is substantially 0 (stopped state), the process proceeds to step S85. In step S85, the process proceeds to step S9. based on the detected gray information of the individual marks, calculates a candidate for the similarity determination threshold value (threshold candidates) Th OCR _cand by the following equation (27).
Th OCR _cand = Σfunc3 (WiperDuty) · Σfunc1 (Av_n, Vr_n) / MaxDetectStep ··· (27)
Here, the function func3 has characteristics as shown in FIG. As shown in FIG. 11, the value indicated by the function func3 changes in the range of 0 to 1 and decreases as the wiper operation state flag WiperDuty increases.
According to the (27) equation, the greater the wiper operating state flag WiperDuty, that is, as the wiper is operated vigorously, the smaller the threshold candidate Th OCR _cand.
(動作)
次に動作を説明する。
また、第3の実施形態では、前処理画像と参照用パターンRef_Markとの類似度が類似度判定用閾値ThOCRよりも大きい場合に(前記ステップS9の判定で“Yes”の場合)、今回のサンプリングにおけるピッチ角Ap_z0の絶対値|Ap_z0|が閾値Th_Pitch未満か否かを判定しており(前記ステップS82)、ここで、今回のサンプリングにおけるピッチ角Ap_z0の絶対値|Ap_z0|が閾値Th_Pitch未満の場合、PitchConditionNGを0に設定(維持)し(前記ステップS82の判定で“Yes”の場合)、今回のサンプリングにおけるピッチ角Ap_z0の絶対値|Ap_z0|が閾値Th_Pitch以上の場合、PitchConditionNGを1に設定する(前記ステップS82の判定で“No”の場合、ステップS83)。
(Operation)
Next, the operation will be described.
In the third embodiment, when the similarity between the preprocessed image and the reference pattern Ref_Mark is larger than the similarity determination threshold Th OCR (in the case of “Yes” in the determination of step S9), It is determined whether or not the absolute value | Ap_z0 | of the pitch angle Ap_z0 in sampling is less than the threshold Th_Pitch (step S82). Here, the absolute value | Ap_z0 | of the pitch angle Ap_z0 in this sampling is less than the threshold Th_Pitch. In this case, PitchConditionNG is set (maintained) to 0 (when “Yes” is determined in Step S82), and PitchConditionNG is set to 1 when the absolute value | Ap_z0 | of the pitch angle Ap_z0 in the current sampling is greater than or equal to the threshold Th_Pitch. (If “No” in the determination of step S82, step S83).
これにより、検出後経過時間AfterDetectTimeが0.5(秒)以上、又はピッチ状態フラグPitchConditionNGが1の場合(|Ap_z0|≧Th_Pitch)、認識状態カウンタ値DetectStepに0を設定する(DetectStep=0)。
一方、検出後経過時間AfterDetectTimeが0.5(秒)未満で、かつピッチ状態フラグPitchConditionNGが0の場合(|Ap_z0|<Th_Pitch)、検出後経過時間AfterDetectTimeに0.05(秒)を加算するともに、外界認識装置3が、過去の期間AfterDetectTimeにおいて、制動力が発生し、かつ車速が略0(停車状態)であったか否かを判定する(前記ステップS84の判定で“Yes”の場合、ステップS20)。
Thereby, when the elapsed time after detection AfterDetectTime is 0.5 (seconds) or more, or the pitch state flag PitchConditionNG is 1 (| Ap_z0 | ≧ Th_Pitch), the recognition state counter value DetectStep is set to 0 (DetectStep = 0).
On the other hand, if the elapsed time after detection AfterDetectTime is less than 0.5 (seconds) and the pitch state flag PitchConditionNG is 0 (| Ap_z0 | <Th_Pitch), 0.05 (seconds) is added to the elapsed time after detection AfterDetectTime. The external
ここで、過去の期間AfterDetectTimeに、制動力が発生し、かつ車速が略0(停車状態)である場合(前記ステップS20の判定で“Yes”の場合)、検出した個別マークの濃淡情報及びワイパーの作動状態を示すフラグWiperDuty(前記ステップS81で読み込んだ値)に基づいて、類似度判定用閾値の候補(閾値候補)ThOCR_candを前記(27)式により算出する(前記ステップS85)。これにより、ワイパー作動状態フラグWiperDutyが大きくなるほど、すなわちワイパーが激しく動作しているほど、閾値候補ThOCR_candを小さく設定する。この結果、ワイパー作動状態フラグWiperDutyが大きくなるほど、すなわちワイパーが激しく動作しているほど、類似度判定用閾値ThOCRが小さくなる(前記ステップS22)。 Here, in the past period AfterDetectTime, when braking force is generated and the vehicle speed is substantially 0 (stopped state) (in the case of “Yes” in the determination of step S20), the density information and wiper of the detected individual mark are detected. based on the flag WiperDuty showing an operating state of the (value read in the step S81), a candidate for the similarity determination threshold value (threshold candidates) Th OCR _cand calculated by the equation (27) (step S85). Thus, the greater the wiper operating state flag WiperDuty, that is, as the wiper is operating vigorously, setting a small threshold candidate Th OCR _cand. As a result, as the wiper operation state flag WiperDuty increases, that is, as the wiper operates more vigorously, the similarity determination threshold value Th OCR decreases (step S22).
(作用)
次に作用を説明する。
通常、ワイパーを動作させる場合とは、雨や雪等が降っている場合であり、雨や雪等が降っている場合、水溜まりへの背景の映りこみや残雪等により交通標示が隠れてしまう場合がある。このようなことから、ワイパーが動作している場合に、類似度判定用閾値ThOCRを小さくする補正(ワイパー動作が激しいほど、より小さく補正)を許可することで、水溜まりへの背景の映りこみや残雪等により一部が隠れている交通標示を検出し易くすることができる。
(Function)
Next, the operation will be described.
Normally, the wiper is operated when it is raining or snowing. When it is raining or snowing, the traffic sign may be hidden due to reflection of the background in the puddle or residual snow. There is. For this reason, when the wiper is operating, by allowing the correction for reducing the similarity determination threshold Th OCR (the correction is made smaller as the wiper operation is intense), the background is reflected in the puddle. It is possible to easily detect a traffic sign partially covered by snow or the like.
(効果)
(1)前記交通標示検出手段は、前記撮像手段が撮像して得た撮像画像と予め用意した交通標示認識用の情報との類似度が類似度判定用閾値よりも大きい場合、前記交通標示の検出を行っており、前記補正許可手段は、自車両のワイパーが作動する場合、前記補正手段による前記類似度判定用閾値を小さくする補正を許可する。ワイパーを作動させる場合とは、雨や雪等が降っている場合であり、雨や雪等が降っている場合、水溜まりへの背景の映りこみや残雪等により交通標示が隠れてしまう場合がある。このようなことから、ワイパーが作動している場合に、類似度判定用閾値を小さくする補正を許可することで、水溜まりへの背景の映りこみや残雪等により一部が隠れている交通標示を検出し易くすることができる。
(effect)
(1) If the similarity between the captured image obtained by imaging by the imaging unit and information for traffic sign recognition prepared in advance is larger than a similarity determination threshold, the traffic sign detection unit When the wiper of the host vehicle operates, the correction permission unit permits correction by the correction unit to reduce the similarity determination threshold value. When the wiper is activated, it is raining or snowing. When it is raining or snowing, the traffic sign may be hidden by reflection of the background in the puddle or residual snow. . For this reason, when the wiper is in operation, traffic signs that are partially hidden by reflection of the background in the puddle, residual snow, etc. are permitted by permitting correction to reduce the threshold for similarity determination. It can be easily detected.
1 レーザレーダ、2 レーダ処理装置、3 外界認識装置、4 CCDカメラ、5 画像処理装置、6 情報提供装置、7 操舵角検出装置、8 車速検出装置、9 制動力検出装置、10 自動ブレーキ制御装置、11 負圧ブレーキブースタ
DESCRIPTION OF
Claims (17)
前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段と、
前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段と、
自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段と、
を備えることを特徴とする車両用交通標示検出装置。 Imaging means for imaging the front of the host vehicle;
Detection conditions for detecting a traffic sign from a captured image obtained by imaging by the imaging means are set, and a traffic sign detection means for detecting a traffic sign from the captured image according to the detection condition;
Correction means for correcting the detection condition when the traffic sign detection means detects a traffic sign from the captured image;
Correction permission means for permitting correction of the correction means according to the situation of the host vehicle;
A vehicle traffic sign detection device comprising:
前記撮像手段が撮像して得た撮像画像から交通標示を検出する際の検出条件が設定されており、その検出条件に従って前記撮像画像から交通標示を検出する交通標示検出手段と、
前記交通標示検出手段が前記撮像画像から交通標示を検出する際の前記検出条件を補正する補正手段と、
自車両の状況に応じて、前記補正手段の補正を許可する補正許可手段と、
を備えることを特徴とする自動車。 Imaging means for imaging the front of the host vehicle;
Detection conditions for detecting a traffic sign from a captured image obtained by imaging by the imaging means are set, and a traffic sign detection means for detecting a traffic sign from the captured image according to the detection condition;
Correction means for correcting the detection condition when the traffic sign detection means detects a traffic sign from the captured image;
Correction permission means for permitting correction of the correction means according to the situation of the host vehicle;
An automobile characterized by comprising:
前記撮像ステップで得た撮像画像から、交通標示を検出する交通標示検出ステップと、
自車両の状況が前記検出条件の補正に適合しているか否かに応じて、前記交通標示検出ステップにおいて交通標示を検出する際の検出条件を補正する補正ステップと、
を含むことを特徴とする車両用交通標示検出方法。 An imaging step for imaging the surroundings of the vehicle;
From a captured image obtained in the imaging step, a traffic sign detection step for detecting a traffic sign,
A correction step for correcting a detection condition when detecting a traffic sign in the traffic sign detection step according to whether or not a situation of the host vehicle is suitable for correction of the detection condition;
A traffic sign detection method for vehicles, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101937A JP4910458B2 (en) | 2006-04-03 | 2006-04-03 | Vehicle traffic sign detection device, automobile and vehicle traffic sign detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101937A JP4910458B2 (en) | 2006-04-03 | 2006-04-03 | Vehicle traffic sign detection device, automobile and vehicle traffic sign detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007279818A true JP2007279818A (en) | 2007-10-25 |
JP4910458B2 JP4910458B2 (en) | 2012-04-04 |
Family
ID=38681233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006101937A Expired - Fee Related JP4910458B2 (en) | 2006-04-03 | 2006-04-03 | Vehicle traffic sign detection device, automobile and vehicle traffic sign detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4910458B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017051120A1 (en) * | 2015-09-24 | 2017-03-30 | Renault S.A.S | Driving assistance device for estimating the danger of a situation |
WO2019112309A1 (en) * | 2017-12-07 | 2019-06-13 | 삼성전자주식회사 | Vehicle and method for controlling same |
JP2020140446A (en) * | 2019-02-28 | 2020-09-03 | 株式会社豊田中央研究所 | Control device, mobile object, and learning method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002219998A (en) * | 2001-01-23 | 2002-08-06 | Auto Network Gijutsu Kenkyusho:Kk | Safety operation supporting device |
JP2003320865A (en) * | 2002-04-26 | 2003-11-11 | Nissan Motor Co Ltd | Driver future condition presumption device |
JP2004017876A (en) * | 2002-06-19 | 2004-01-22 | Nissan Motor Co Ltd | On-vehicl obstacle detection device |
JP2005128790A (en) * | 2003-10-23 | 2005-05-19 | Fuji Heavy Ind Ltd | Speed limit recognition device, speed limit display device, speed-warning device, and speed controller |
JP2005170154A (en) * | 2003-12-09 | 2005-06-30 | Denso Corp | Vehicle drive assisting device |
JP2005332107A (en) * | 2004-05-19 | 2005-12-02 | Honda Motor Co Ltd | Lane marking recognizing device for vehicle |
-
2006
- 2006-04-03 JP JP2006101937A patent/JP4910458B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002219998A (en) * | 2001-01-23 | 2002-08-06 | Auto Network Gijutsu Kenkyusho:Kk | Safety operation supporting device |
JP2003320865A (en) * | 2002-04-26 | 2003-11-11 | Nissan Motor Co Ltd | Driver future condition presumption device |
JP2004017876A (en) * | 2002-06-19 | 2004-01-22 | Nissan Motor Co Ltd | On-vehicl obstacle detection device |
JP2005128790A (en) * | 2003-10-23 | 2005-05-19 | Fuji Heavy Ind Ltd | Speed limit recognition device, speed limit display device, speed-warning device, and speed controller |
JP2005170154A (en) * | 2003-12-09 | 2005-06-30 | Denso Corp | Vehicle drive assisting device |
JP2005332107A (en) * | 2004-05-19 | 2005-12-02 | Honda Motor Co Ltd | Lane marking recognizing device for vehicle |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017051120A1 (en) * | 2015-09-24 | 2017-03-30 | Renault S.A.S | Driving assistance device for estimating the danger of a situation |
FR3041589A1 (en) * | 2015-09-24 | 2017-03-31 | Renault Sas | DRIVING ASSIST DEVICE FOR ESTIMATING THE DANGER OF A SITUATION |
WO2019112309A1 (en) * | 2017-12-07 | 2019-06-13 | 삼성전자주식회사 | Vehicle and method for controlling same |
KR20190067366A (en) * | 2017-12-07 | 2019-06-17 | 삼성전자주식회사 | Vehicle and control method thereof |
KR102333033B1 (en) | 2017-12-07 | 2021-12-01 | 삼성전자주식회사 | Vehicle and control method thereof |
US11256934B2 (en) | 2017-12-07 | 2022-02-22 | Samsung Electronics Co., Ltd. | Vehicle and method for controlling same |
JP2020140446A (en) * | 2019-02-28 | 2020-09-03 | 株式会社豊田中央研究所 | Control device, mobile object, and learning method |
JP7006635B2 (en) | 2019-02-28 | 2022-01-24 | 株式会社豊田中央研究所 | Controls, mobiles, and learning methods |
Also Published As
Publication number | Publication date |
---|---|
JP4910458B2 (en) | 2012-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3722487B1 (en) | Vehicle lane marking recognition device | |
JP3898709B2 (en) | Vehicle lane marking recognition device | |
JP4654163B2 (en) | Vehicle surrounding environment recognition device and system | |
JP4970516B2 (en) | Surrounding confirmation support device | |
JP5962771B2 (en) | Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method | |
JP5206687B2 (en) | Road marking image processing apparatus, road marking image processing method and program | |
JP4433887B2 (en) | Vehicle external recognition device | |
JP5682304B2 (en) | Image providing device | |
JP3722486B1 (en) | Vehicle lane marking recognition device | |
WO2007111220A1 (en) | Road division line detector | |
JP2002197444A (en) | Run lane recognition device for vehicle | |
CN112389419B (en) | Method for identifying parking space and parking assistance system | |
JP2009252198A (en) | Travel environment presuming device, method and program, and traffic lane deviation alarm device and steering assisting apparatus | |
US11580695B2 (en) | Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device | |
JP4910458B2 (en) | Vehicle traffic sign detection device, automobile and vehicle traffic sign detection method | |
WO2005111964A1 (en) | Lane boundary recognition apparatus for vehicle | |
JP2019158662A (en) | Target recognition device and vehicle driving control system | |
JP2010061375A (en) | Apparatus and program for recognizing object | |
JP2006012191A (en) | Lane marking recognition device for vehicle | |
JP2007018451A (en) | Road boundary line detecting device | |
JP2023133535A (en) | Imaging device, control method, program, and storage media | |
JP6132807B2 (en) | Lane mark recognition device | |
JP4432730B2 (en) | Road marking detection device for vehicles | |
JP4033106B2 (en) | Ranging performance degradation detection device for vehicles | |
JP2002163641A (en) | Image processor for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090225 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |