JP2016196233A - Road sign recognizing device for vehicle - Google Patents
Road sign recognizing device for vehicle Download PDFInfo
- Publication number
- JP2016196233A JP2016196233A JP2015076674A JP2015076674A JP2016196233A JP 2016196233 A JP2016196233 A JP 2016196233A JP 2015076674 A JP2015076674 A JP 2015076674A JP 2015076674 A JP2015076674 A JP 2015076674A JP 2016196233 A JP2016196233 A JP 2016196233A
- Authority
- JP
- Japan
- Prior art keywords
- road sign
- imaging
- unit
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、走行中の車両から、道路標識の種別，内容を認識する車両用道路標識認識装置に関する。 The present invention relates to a vehicular road sign recognition device that recognizes the type and content of a road sign from a running vehicle.
従来、このような車両用道路標識認識装置として、車載カメラで道路標識を撮像して、その種別，内容を認識するものが知られている（例えば、特許文献１）。 Conventionally, as such a vehicle road sign recognition device, an apparatus that captures a road sign with an in-vehicle camera and recognizes its type and content is known (for example, Patent Document 1).
特許文献１に記載された車両用道路標識認識装置は、道路標識の設置後の経過年数にかかわらず、同じ認識アルゴリズムを適用して道路標識の認識を行っていた。しかしながら、同じ内容を表す道路標識であっても、経年劣化によって退色が進んだ道路標識では、道路標識の反射率が低下することによって、撮像した画像が暗くなってしまう虞があった。 The vehicular road sign recognition device described in Patent Document 1 recognizes road signs by applying the same recognition algorithm regardless of the number of years that have elapsed since the road signs were installed. However, even if the road sign represents the same content, the road sign that has faded due to deterioration over time may cause the captured image to become dark due to a decrease in the reflectance of the road sign.
例えば、「（社）全国道路標識・標示業協会 愛知県協会、あんしん道あいち 第１４号、２０１０年７月１日発行、Ｐ．１４−１５」には、経年劣化した道路標識と新品の道路標識の輝度を同じ条件で比較すると、新品の道路標識が３１cd/m2であるのに対して、経年劣化した道路標識では２．６cd/m2と、約１／１２に減少してしまうことが記載されている。 For example, “(A) National Road Sign and Signing Association Aichi Prefectural Association, Anshin Road Aichi No. 14, Issued July 1, 2010, P.14-15” includes road signs that have deteriorated over time and new roads. When comparing the brightness of the sign under the same conditions, the new road sign is 31 cd / m 2 , whereas the road sign that has deteriorated over time is 2.6 cd / m 2 , which is about 1/12. Is described.
したがって、特に夜間やトンネル等の暗い道路環境において、道路標識を、設置後の経過年数にかかわらず、全く同じ画像認識方法で安定して認識するのは困難であった。特に、前述したように、経年劣化による反射率の低下量が大きいため、昼間の明るい環境であれば、しきい値の調整によって認識することが可能であるが、夜間等の暗い環境にあっては、単にしきい値を調整しただけでは道路標識を安定して検出するのが困難であった。そのため、設置後の経過年数によらずに、安定して動作する認識アルゴリズムの実現が望まれていた。 Therefore, it is difficult to stably recognize road signs with the same image recognition method regardless of the number of years since installation, particularly in dark road environments such as at night and in tunnels. In particular, as described above, because the amount of decrease in reflectance due to aging is large, it can be recognized by adjusting the threshold in a bright environment in the daytime, but in a dark environment such as at night. However, it was difficult to stably detect road signs simply by adjusting the threshold. Therefore, it has been desired to realize a recognition algorithm that operates stably regardless of the number of years since installation.
本発明は、上記課題に鑑みてなされたもので、経年劣化によって退色が進んだ道路標識であっても、特に夜間やトンネル等の周囲が暗い環境において、安定して認識することができる車両用道路標識認識装置を提供することを目的とする。 The present invention has been made in view of the above problems, and can be used for vehicles that can be recognized stably even in road signs that have faded due to deterioration over time, particularly in dark environments such as nighttime and tunnels. An object is to provide a road sign recognition device.
本発明に係る車両用道路標識認識装置は、可視光領域および近赤外領域に感度を有して、車両の進行方向前方の画像を撮像する撮像部と、前記撮像部の撮像範囲内に照射する近赤外光の光量を制御する近赤外光照射光量制御部と、前記画像の内部の輝度分布に基づいて、前記画像の中に道路標識が写っているか否かを判定する道路標識存在判定部と、前記輝度分布に応じて、前記光量、および前記撮像部の撮像パラメータのうち少なくとも一方を変更する撮像条件変更部と、前記道路標識の種別，内容を認識する道路標識内容認識部と、を有して、前記道路標識存在判定部で道路標識が写っていると判定されたときには、前記道路標識内容認識部で道路標識の内容を認識して、前記道路標識存在判定部で道路標識が写っていると判定されないときは、前記撮像条件変更部において変更された撮像条件にて再度画像を撮像して、前記判定を繰り返して行うことを特徴とする。 A vehicle road sign recognition device according to the present invention has sensitivity in a visible light region and a near-infrared region, and captures an image in front of a traveling direction of a vehicle, and irradiates within an imaging range of the imaging unit A near-infrared light irradiation light amount control unit for controlling the amount of near-infrared light, and a road sign presence that determines whether or not a road sign is reflected in the image based on the luminance distribution inside the image A determination unit; an imaging condition changing unit that changes at least one of the light amount and an imaging parameter of the imaging unit according to the luminance distribution; and a road sign content recognition unit that recognizes a type and content of the road sign When the road sign presence determination unit determines that the road sign is reflected, the road sign content recognition unit recognizes the content of the road sign, and the road sign presence determination unit recognizes the road sign. Is not judged to be reflected Huang, by capturing the image again at the changed imaging conditions in the imaging condition changing unit, and performs repeatedly the determination.
本発明に係る車両用道路標識認識装置は、車両の進行方向前方に向けて、近赤外光照射光量制御部によって制御された光量の近赤外光を照射して、可視光領域および近赤外領域に感度を有する撮像部で車両の進行方向前方の画像を撮像する。そして、道路標識存在判定部が、画像の内部の輝度分布に基づいて道路標識が写っているか否かを判定する。判定の結果、道路標識が写っていないと判定されたときは、撮像条件変更部が、照射する近赤外光の光量、および撮像部の撮像パラメータのうち少なくとも一方を変更して再度画像を撮像し、道路標識存在判定部における判定を繰り返して行う。一方、道路標識が写っていると判定されたときは、道路標識内容認識部において、道路標識の種別，内容を認識する。したがって、設置後の年数経過に伴う劣化によって、道路標識の輝度が低下した場合であっても、撮像条件変更部が、道路標識に照射する近赤外光の光量および撮像パラメータの少なくとも一方を変更することにより、認識可能なコントラストを有する画像を撮像することができるため、特に夜間やトンネル等の暗い環境において、経年劣化による退色が進んだ道路標識の種別，内容を安定して認識することができる。 The vehicle road sign recognition device according to the present invention irradiates the near-infrared light of the light amount controlled by the near-infrared light irradiation light amount control unit toward the front in the traveling direction of the vehicle, and the visible light region and the near-red light. An image in front of the traveling direction of the vehicle is captured by an imaging unit having sensitivity in the outer region. Then, the road sign presence determination unit determines whether or not the road sign is captured based on the luminance distribution inside the image. As a result of the determination, when it is determined that the road sign is not captured, the imaging condition changing unit changes at least one of the amount of near-infrared light to be irradiated and the imaging parameter of the imaging unit and captures an image again. Then, the determination in the road sign presence determination unit is repeated. On the other hand, when it is determined that the road sign is reflected, the road sign content recognition unit recognizes the type and content of the road sign. Therefore, the imaging condition changing unit changes at least one of the amount of near-infrared light irradiated to the road sign and the imaging parameter even when the brightness of the road sign decreases due to deterioration with the passage of years after installation. As a result, images with recognizable contrast can be captured, so that it is possible to stably recognize the type and content of road signs that have faded due to aging, especially in dark environments such as at night or in tunnels. it can.
以下、本発明に係る車両用道路標識認識装置の具体的な実施形態について、図面を参照して説明する。 Hereinafter, specific embodiments of a vehicle road sign recognition apparatus according to the present invention will be described with reference to the drawings.
本実施例は、本発明を、車両に搭載されて、進行方向前方にある道路標識（交通標識や行先案内板など）の種別，内容を認識する車両用道路標識認識装置に適用したものである。 In this embodiment, the present invention is applied to a vehicle road sign recognition device that is mounted on a vehicle and recognizes the type and content of a road sign (a traffic sign, a destination guide plate, etc.) ahead of the traveling direction. .
まず、図１を用いて、本発明の一実施形態である車両用道路標識認識装置のハードウェア構成について説明する。
（車両用道路標識認識装置のハードウェア構成の説明）
First, the hardware configuration of a vehicle road sign recognition apparatus according to an embodiment of the present invention will be described with reference to FIG.
(Description of hardware configuration of vehicle road sign recognition device)
図１は、本実施例に係る車両用道路標識認識装置１００を車両５に実装した様子を示すブロック図である。 FIG. 1 is a block diagram illustrating a state in which the vehicle road sign recognition apparatus 100 according to the present embodiment is mounted on the vehicle 5.
車両用道路標識認識装置１００は、図１に示すように、近赤外カメラ１０ａと、カラーカメラ１０ｂと、ＥＣＵ２０ａと、カーナビゲーションシステム７０ａと、近赤外ライト８０ａと、液晶ディスプレイ９０ａと、からなる。 As shown in FIG. 1, the vehicle road sign recognition apparatus 100 includes a near-infrared camera 10a, a color camera 10b, an ECU 20a, a car navigation system 70a, a near-infrared light 80a, and a liquid crystal display 90a. Become.
近赤外カメラ１０ａは、近赤外領域（例えば、８００〜９５０ｎｍ付近）に感度を有し、近赤外画像ｎＩＲ（ｘ，ｙ）を撮像する。近赤外カメラ１０ａは、レンズ１１ａと、撮像素子１２ａと、信号処理調整用ＩＣ１３ａと、からなる。 The near-infrared camera 10a has sensitivity in the near-infrared region (for example, near 800 to 950 nm) and captures a near-infrared image nIR (x, y). The near-infrared camera 10a includes a lens 11a, an image sensor 12a, and a signal processing adjustment IC 13a.
レンズ１１ａは、近赤外光を所定の屈折力で屈折させて、撮像素子１２ａ上に結像させる。 The lens 11a refracts near infrared light with a predetermined refractive power and forms an image on the image sensor 12a.
撮像素子１２ａは、結像された近赤外光を近赤外画像に変換する、ＣＣＤやＣＭＯＳ等で構成された光電変換素子である。撮像素子１２ａからは、電気信号に変換された近赤外映像信号１４ａが出力される。なお、図１には図示していないが、撮像素子１２ａの前面には、可視光および近赤外光のみを透過して、可視光と近赤外光の間の領域（波長６５０〜８００ｎｍ）、および波長９５０ｎｍ以上の赤外光をカットするＩＲカットフィルタが装着されている。 The imaging element 12a is a photoelectric conversion element configured by a CCD, a CMOS, or the like that converts the formed near-infrared light into a near-infrared image. From the image sensor 12a, a near-infrared video signal 14a converted into an electrical signal is output. Although not shown in FIG. 1, a region between visible light and near infrared light (wavelength 650 to 800 nm) is transmitted through the front surface of the imaging element 12a only through visible light and near infrared light. And an IR cut filter for cutting infrared light having a wavelength of 950 nm or more.
信号処理調整用ＩＣ１３ａは、近赤外映像信号１４ａのゲインを調整して所定の映像信号に変換する。変換された信号は、調整済近赤外映像信号１６ａとして出力される。なお、信号処理調整用ＩＣ１３ａから撮像素子１２ａとレンズ１１ａに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号１５ａが出力される。 The signal processing adjustment IC 13a adjusts the gain of the near-infrared video signal 14a and converts it to a predetermined video signal. The converted signal is output as an adjusted near-infrared video signal 16a. The signal processing adjustment IC 13a outputs an imaging parameter adjustment signal 15a for adjusting the aperture and shutter speed and setting the exposure amount to the imaging element 12a and the lens 11a.
カラーカメラ１０ｂは、可視光領域（３８０〜８００ｎｍ付近）に感度を有し、カラー画像Ｃ（ｘ，ｙ）を撮像する。カラーカメラ１０ｂは、レンズ１１ｂと、撮像素子１２ｂと、信号処理調整用ＩＣ１３ｂと、からなる。 The color camera 10b has sensitivity in the visible light region (around 380 to 800 nm) and captures a color image C (x, y). The color camera 10b includes a lens 11b, an image sensor 12b, and a signal processing adjustment IC 13b.
レンズ１１ｂは、可視光を所定の屈折力で屈折させて、撮像素子１２ｂに結像させる。 The lens 11b refracts visible light with a predetermined refractive power and forms an image on the image sensor 12b.
撮像素子１２ｂは、結像された可視光をカラー画像に変換する、ＣＣＤやＣＭＯＳ等で構成された光電変換素子である。撮像素子１２ｂからは、電気信号に変換されたカラー映像信号１４ｂが出力される。なお、図１には図示しないが、撮像素子１２ｂの前面には、可視光および近赤外光のみを透過して、可視光と近赤外光の間の領域（波長６５０〜８００ｎｍ）、および波長９５０ｎｍ以上の赤外光をカットするＩＲカットフィルタが装着されている。 The imaging element 12b is a photoelectric conversion element configured with a CCD, a CMOS, or the like that converts the formed visible light into a color image. A color video signal 14b converted into an electric signal is output from the image sensor 12b. Although not shown in FIG. 1, only the visible light and near infrared light are transmitted through the front surface of the imaging element 12 b, and the region between visible light and near infrared light (wavelength 650 to 800 nm), and An IR cut filter for cutting infrared light having a wavelength of 950 nm or more is attached.
信号処理調整用ＩＣ１３ｂは、カラー映像信号１４ｂのゲインを調整して所定の映像信号に変換する。変換された信号は、調整済カラー映像信号１６ｂとして出力される。なお、信号処理調整用ＩＣ１３ｂから撮像素子１２ｂとレンズ１１ｂに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号１５ｂが出力される。 The signal processing adjustment IC 13b adjusts the gain of the color video signal 14b and converts it into a predetermined video signal. The converted signal is output as an adjusted color video signal 16b. The signal processing adjustment IC 13b outputs an imaging parameter adjustment signal 15b for adjusting the aperture and shutter speed and setting the exposure amount to the imaging element 12b and the lens 11b.
なお、近赤外カメラ１０ａとカラーカメラ１０ｂは、車両５のフロントガラス（ウインドシールド）の裏面側、例えばルームミラーの裏側付近に、車両５の前方を向けて、互いに近接した状態で、２台のカメラの光軸が平行になるように設置される。すなわち、２台のカメラは、ほぼ等しい観測範囲を画像化するように設置される。 The near-infrared camera 10a and the color camera 10b are two in a state where they are close to each other with the front side of the vehicle 5 facing the back side of the windshield (windshield) of the vehicle 5, for example, near the back side of the rearview mirror. The camera is installed so that its optical axes are parallel. That is, the two cameras are installed so as to image a substantially equal observation range.
ＥＣＵ（Electronic Control Unit）２０ａは、例えばマイクロコンピュータで構成されて、近赤外カメラ１０ａ，カラーカメラ１０ｂの撮像パラメータを設定するとともに、設定された撮像パラメータで撮像された調整済近赤外映像信号１６ａと、設定された撮像パラメータで撮像された調整済カラー映像信号１６ｂを、それぞれ画像処理して道路標識の検出を行う。さらに、検出された道路標識の種別，内容を認識する。なお、画像処理を高速に実行するために、ＥＣＵ２０ａとして画像処理専用のプロセッサを用いてもよい。 The ECU (Electronic Control Unit) 20a is composed of, for example, a microcomputer, sets the imaging parameters of the near-infrared camera 10a and the color camera 10b, and adjusts the near-infrared video signal imaged with the set imaging parameters. 16a and the adjusted color video signal 16b imaged with the set imaging parameters are subjected to image processing to detect a road sign. Furthermore, the type and content of the detected road sign are recognized. In order to execute image processing at high speed, a processor dedicated to image processing may be used as the ECU 20a.
また、ＥＣＵ２０ａは、近赤外ライト８０ａに対して、近赤外光の照射光量を設定する近赤外光光量設定信号２４ａを出力する。 Further, the ECU 20a outputs a near-infrared light amount setting signal 24a for setting the irradiation amount of near-infrared light to the near-infrared light 80a.
さらに、ＥＣＵ２０ａは、近赤外カメラ１０ａに対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号２２ａを出力する。また、カラーカメラ１０ｂに対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号２２ｂを出力する。 Further, the ECU 20a outputs an imaging parameter adjustment instruction signal 22a that instructs the near-infrared camera 10a to adjust the imaging parameters. In addition, an imaging parameter adjustment instruction signal 22b for instructing adjustment of imaging parameters is output to the color camera 10b.
カーナビゲーションシステム７０ａは、車両５に車載されて、走行中の現在位置を特定するとともに、進行方向前方の道路標識の存在を示す標識存在指示信号７１ａを出力する。なお、道路標識の設置位置は、予め、カーナビゲーションシステム７０ａが有する地図データベースに記憶されているものとする。 The car navigation system 70a is mounted on the vehicle 5, specifies the current position during traveling, and outputs a sign presence instruction signal 71a indicating the presence of a road sign ahead of the traveling direction. In addition, the installation position of a road sign shall be previously memorize | stored in the map database which the car navigation system 70a has.
近赤外ライト８０ａは、例えば、車両５のヘッドライトの近傍に設置された近赤外投光器からなる。なお、近赤外ライト８０ａは、車両５のヘッドライトと兼用にしてもよい。 The near-infrared light 80a consists of a near-infrared projector installed in the vicinity of the headlight of the vehicle 5, for example. The near-infrared light 80a may also be used as the headlight of the vehicle 5.
近赤外ライト８０ａは、昼夜を問わず、車両５の進行方向を照明するとともに、ＥＣＵ２０ａから出力される近赤外光光量設定信号２４ａによって指示された量の近赤外光を、近赤外カメラ１０ａの撮像範囲の内部に向けて照射する。なお、近赤外ライト８０ａは、通電する電流値を調整することによって、または、近赤外ライト８０ａの光源の前面に装着した赤外カットフィルタを回転またはスライドさせて移動することにより、照射する近赤外光の光量を調整する。また、近赤外ライト８０ａは、ＥＣＵ２０ａに対して、近赤外ライト８０ａが点灯状態にあるか否かを示す照明点消灯信号８１ａを出力する。この照明点消灯信号８１ａは、近赤外ライト８０ａの点灯状態を確認するために利用される。 The near-infrared light 80a illuminates the traveling direction of the vehicle 5 regardless of whether it is daytime or nighttime, and generates near-infrared light in an amount indicated by the near-infrared light amount setting signal 24a output from the ECU 20a. Irradiate toward the inside of the imaging range of the camera 10a. The near-infrared light 80a is irradiated by adjusting a current value to be energized or by rotating or sliding an infrared cut filter mounted on the front surface of the light source of the near-infrared light 80a. Adjust the amount of near infrared light. The near-infrared light 80a outputs an illumination turn-off signal 81a indicating whether or not the near-infrared light 80a is in a lighting state, to the ECU 20a. The illumination turn-off signal 81a is used for confirming the lighting state of the near-infrared light 80a.
液晶ディスプレイ９０ａは、ＥＣＵ２０ａから出力される、認識された道路標識の種別，内容を示す標識認識信号２５ａを受けて、認識された道路標識の種別，内容を画面に表示して運転者に伝達する。 The liquid crystal display 90a receives the sign recognition signal 25a indicating the recognized road sign type and contents outputted from the ECU 20a, displays the recognized road sign type and contents on the screen, and transmits them to the driver. .
なお、図１ではＥＣＵ２０ａを近赤外カメラ１０ａ，カラーカメラ１０ｂから独立させた構成としたが、ＥＣＵ２０ａは、近赤外カメラ１０ａおよびカラーカメラ１０ｂに内蔵させた構成、すなわち、カメラとＥＣＵを一体化させた構成としてもよい。 In FIG. 1, the ECU 20a is configured to be independent from the near-infrared camera 10a and the color camera 10b. However, the ECU 20a is configured to be built in the near-infrared camera 10a and the color camera 10b, that is, the camera and the ECU are integrated. It is good also as the structure made into.
次に、図２を用いて、車両用道路標識認識装置１００の機能構成について説明する。
（車両用道路標識認識装置の機能構成の説明）
Next, the functional configuration of the vehicle road sign recognition apparatus 100 will be described with reference to FIG.
(Description of functional configuration of vehicle road sign recognition device)
図２は、本発明の一実施形態である車両用道路標識認識装置１００の機能構成を示す機能ブロック図である。 FIG. 2 is a functional block diagram showing a functional configuration of the vehicle road sign recognition apparatus 100 according to the embodiment of the present invention.
車両用道路標識認識装置１００は、図２に示すように、撮像部１０と、道路標識存在判定部２０と、近赤外光照射光量制御部４０と、道路標識内容認識部６０と、道路標識存在可能性判定部７０と、近赤外光照射部８０と、表示部９０と、を有する。 As illustrated in FIG. 2, the vehicle road sign recognition apparatus 100 includes an imaging unit 10, a road sign presence determination unit 20, a near-infrared light irradiation light amount control unit 40, a road sign content recognition unit 60, and a road sign. The existence possibility determination unit 70, the near infrared light irradiation unit 80, and the display unit 90 are included.
撮像部１０は、光学系１１と、受光部１２と、撮像条件変更部１３と、からなり、図１に示した、近赤外カメラ１０ａとカラーカメラ１０ｂと、から構成される。 The imaging unit 10 includes an optical system 11, a light receiving unit 12, and an imaging condition changing unit 13. The imaging unit 10 includes the near-infrared camera 10a and the color camera 10b illustrated in FIG.
光学系１１は、図１に示したレンズ１１ａ，１１ｂで構成されて、受光部１２は、図１に示した撮像素子１２ａ，１２ｂで構成されている。 The optical system 11 includes the lenses 11a and 11b illustrated in FIG. 1, and the light receiving unit 12 includes the imaging elements 12a and 12b illustrated in FIG.
また、撮像条件変更部１３は、図１に示した信号処理調整用ＩＣ１３ａ，１３ｂで構成されて、撮像時の露出，ゲインを変更する。 The imaging condition changing unit 13 includes the signal processing adjustment ICs 13a and 13b shown in FIG. 1 and changes the exposure and gain during imaging.
道路標識存在判定部２０は、後述する道路標識存在可能性判定部７０の出力（標識存在指示信号７１ａ）に基づいて、撮像部１０で撮像された画像の中に道路標識が写っているか否かを判定する。 The road sign presence determination unit 20 determines whether or not a road sign is reflected in an image captured by the imaging unit 10 based on an output (a sign presence instruction signal 71a) of a road sign presence possibility determination unit 70 described later. Determine.
近赤外光照射光量制御部４０は、近赤外光照射部８０に対して、撮像部１０の撮像範囲内に照射する近赤外光の光量の制御を指示する。 The near-infrared light irradiation light amount control unit 40 instructs the near-infrared light irradiation unit 80 to control the light amount of near-infrared light irradiated in the imaging range of the imaging unit 10.
道路標識内容認識部６０は、撮像された画像に写っている道路標識の種別，内容を認識する。 The road sign content recognition unit 60 recognizes the type and content of the road sign shown in the captured image.
道路標識存在判定部２０と、近赤外光照射光量制御部４０と、道路標識内容認識部６０は、図１に示したＥＣＵ２０ａで構成される。 The road sign presence determination unit 20, the near infrared light irradiation light quantity control unit 40, and the road sign content recognition unit 60 are configured by the ECU 20a shown in FIG.
道路標識存在可能性判定部７０は、図１に示したカーナビゲーションシステム７０ａで構成されて、車両５が走行している現在位置を地図データベースと照合し、進行方向前方に道路標識があるか否かを予測する。そして、進行方向前方に道路標識があると判定されたときは、標識存在指示信号７１ａを出力する。なお、カーナビゲーションシステム７０ａの代わりに無線通信を用いて、道路の路側帯に設けた通信スポットから車両５に対して道路標識の存在場所を提供するようにしてもよい。 The road sign existence possibility determination unit 70 is configured by the car navigation system 70a shown in FIG. 1, and compares the current position where the vehicle 5 is traveling with a map database, and whether there is a road sign ahead of the traveling direction. Predict. When it is determined that there is a road sign ahead of the traveling direction, a sign presence instruction signal 71a is output. In addition, you may make it provide the location of a road sign with respect to the vehicle 5 from the communication spot provided in the roadside zone of the road using radio | wireless communication instead of the car navigation system 70a.
近赤外光照射部８０は、図１に示した近赤外ライト８０ａからなり、車両５の進行方向前方を近赤外照明するとともに、照射される近赤外光の光量を可変にすることができる。 The near-infrared light irradiating unit 80 includes the near-infrared light 80a shown in FIG. 1 and illuminates the front of the vehicle 5 in the traveling direction with near-infrared light and makes the amount of irradiated near-infrared light variable. Can do.
表示部９０は、図１に示した液晶ディスプレイ９０ａからなり、認識された道路標識を表示して運転者の注意を喚起する。 The display unit 90 includes the liquid crystal display 90a shown in FIG. 1, and displays a recognized road sign to alert the driver.
次に、車両用道路標識認識装置１００の具体的な作用について説明する。
（車両用道路標識認識装置の作用の説明）
Next, a specific operation of the vehicle road sign recognition apparatus 100 will be described.
(Description of the operation of the vehicle road sign recognition device)
車両用道路標識認識装置１００は、昼夜を問わず、車両５の前方に向かって近赤外光を照射し、その反射光を図１に示した近赤外カメラ１０ａで撮像して、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かを判定する。そして、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っていると判定されたときに、近赤外画像ｎＩＲ（ｘ，ｙ）と同時にカラーカメラ１０ｂで撮像されたカラー画像Ｃ（ｘ，ｙ）の中から道路標識を検出してその種別，内容を認識する。 The vehicle road sign recognition apparatus 100 irradiates near-infrared light toward the front of the vehicle 5 regardless of day or night, and images the reflected light by the near-infrared camera 10a shown in FIG. It is determined whether a road sign is shown in the near infrared image nIR (x, y). When it is determined that a road sign is reflected in the near-infrared image nIR (x, y), the color image C captured by the color camera 10b at the same time as the near-infrared image nIR (x, y). A road sign is detected from (x, y) and its type and content are recognized.
前述したように、道路標識は経年劣化によって反射光の強度が減少する。したがって、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識の候補となる領域が観測されないときは、近赤外ライト８０ａ（図１）を制御して照射する近赤外光の光量を増加させる。このとき、近赤外光は不可視であるため、近赤外光の光量を増加させても対向車の乗員を幻惑することはない。 As described above, the intensity of the reflected light of road signs decreases due to aging. Accordingly, when a region that is a candidate for a road sign is not observed in the captured near-infrared image nIR (x, y), the near-infrared light that is irradiated by controlling the near-infrared light 80a (FIG. 1). Increase the amount of light. At this time, the near-infrared light is invisible, so even if the amount of the near-infrared light is increased, the oncoming occupant will not be dazzled.
なお、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かは、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中から、エッジで囲まれた閉領域を探索して、見つかった閉領域の平均画素値Ａに基づいて、道路標識であるか否かを判定する。詳細は後述する。 Whether or not a road sign is reflected in the near-infrared image nIR (x, y) is determined based on a closed region surrounded by edges from the captured near-infrared image nIR (x, y). A search is performed to determine whether or not the road sign is based on the average pixel value A of the closed region found. Details will be described later.
一方、近赤外光の光量を変化させても道路標識が写っていると判定されないときは、図１の信号処理調整用ＩＣ１３ａ，１３ｂ（撮像条件変更部１３（図２））を調整して、撮像素子１２ａ，１２ｂ（受光部１２（図２））の露出，ゲインを変更し、近赤外カメラ１０ａとカラーカメラ１０ｂで再び撮像を行う。そして、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かの判定を繰り返す。 On the other hand, if it is not determined that the road sign is reflected even if the amount of near-infrared light is changed, the signal processing adjustment ICs 13a and 13b (imaging condition changing unit 13 (FIG. 2)) of FIG. Then, the exposure and gain of the image sensors 12a and 12b (the light receiving unit 12 (FIG. 2)) are changed, and the near-infrared camera 10a and the color camera 10b perform imaging again. Then, the determination as to whether or not a road sign is reflected in the near-infrared image nIR (x, y) is repeated.
このとき、できるだけ少ない手数で適正な撮像条件を発見するために、照射する近赤外光の光量と撮像素子１２ａ，１２ｂの露出，ゲインの変更順序を考慮する必要がある。 At this time, in order to find an appropriate imaging condition with as little effort as possible, it is necessary to consider the amount of near-infrared light to be irradiated, the exposure of the imaging elements 12a and 12b, and the change order of gain.
例えば、まず最初に、近赤外光が最も多く照射されて、なおかつ撮像素子１２ａに最大の露光量が与えられる状態とする。この状態において、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っていないと判定されたときは、道路標識は存在しないと判定する。 For example, first, it is assumed that the near-infrared light is irradiated most and the maximum exposure amount is given to the image sensor 12a. In this state, when it is determined that the road sign is not shown in the near-infrared image nIR (x, y), it is determined that there is no road sign.
一方、この状態で近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っていると判定されたときは、道路標識に対応する領域の中の画素値を平均化して平均画素値Ａを算出する。この平均画素値Ａが、予め設定した範囲（例えば６０１（近赤外画像ｎＩＲ（ｘ，ｙ）を１０ビットで量子化した場合の画素値））を下回るときは、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）のコントラストが不足していると判断して、撮像素子１２ａの露出，ゲインを、画像が明るくなる方向に調整して再び近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）を撮像し、Ａｔｈ-δ＜Ａ≦Ａｔｈ＋δとなるようにする。ここで、しきい値Ａｔｈと余裕代δは、平均画素値Ａの適正範囲を表す値であって、予め所定の値が設定されるものとする。前記した例の場合、Ａｔｈ＝６５０，δ＝５０である。 On the other hand, when it is determined that the road sign is reflected in the near-infrared image nIR (x, y) in this state, the pixel values in the area corresponding to the road sign are averaged to obtain the average pixel value A Is calculated. When this average pixel value A falls below a preset range (for example, 601 (pixel value when the near-infrared image nIR (x, y) is quantized with 10 bits)), the captured near-infrared image Since it is determined that the contrast of nIR (x, y) is insufficient, the exposure and gain of the image sensor 12a are adjusted in the direction in which the image becomes brighter, and the near-infrared image nIR (x, y) and the color image are again displayed. C (x, y) is imaged so that Ath−δ <A ≦ Ath + δ. Here, the threshold value Ath and the margin δ are values representing an appropriate range of the average pixel value A, and predetermined values are set in advance. In the above example, Ath = 650 and δ = 50.
これに対して、平均画素値Ａが、所定値（例えば７００）を上回るときは、撮像素子１２ａの露出，ゲインを、画像が暗くなる方向に調整して再び近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）を撮像し、Ａｔｈ-δ＜Ａ≦Ａｔｈ＋δとなるようにする。 On the other hand, when the average pixel value A exceeds a predetermined value (for example, 700), the exposure and gain of the image sensor 12a are adjusted in the direction in which the image becomes dark, and the near-infrared image nIR (x, y ) And a color image C (x, y) are captured so that Ath−δ <A ≦ Ath + δ.
なお、撮像素子１２ａの露出，ゲインの調整は、具体的には図３に示す方法によって行う。すなわち、近赤外光の照射光量は３段階（１，２，３。３が最も光量が多い。）、撮像部のゲインは１０段階（±５。＋５がゲイン最大，−５がゲイン最小。）にそれぞれ変更可能とされて、平均画素値Ａに基づいて、近赤外光の照射光量と撮像部のゲインを任意の組み合わせで設定することができる。 Note that the adjustment of the exposure and gain of the image sensor 12a is specifically performed by the method shown in FIG. That is, the irradiation light amount of near-infrared light is 3 steps (1, 2 and 3.3 have the highest light amount), and the gain of the imaging unit is 10 steps (± 5. +5 is the maximum gain and −5 is the minimum gain. ) Based on the average pixel value A, the irradiation amount of near infrared light and the gain of the imaging unit can be set in any combination.
図３は、近赤外光の照射光量と撮像部のゲインの変更方法の１例として、近赤外光を最大光量で照射した際に、標識を表す領域の平均画素値Ａが左欄に示す値であったとき、その値に応じた近赤外線照射量と撮像部のゲインの調整量を示している。なお、図３は、近赤外光の照射光量および撮像部のゲインの調整量をそれぞれ示すものであって、両方を同時に調整することを示しているわけではない。例えば、平均画素値Ａが１０２３であったとき（状態１）は、撮像部のゲインをそのときの設定値に固定したまま、近赤外光の照射光量を「１」にするか、もしくは、近赤外光の照射光量をそのときの設定値に固定したまま、撮像部のゲインを「−５」に設定することを示している。 FIG. 3 shows an example of a method of changing the irradiation amount of near-infrared light and the gain of the imaging unit, and when the near-infrared light is irradiated with the maximum amount of light, the average pixel value A of the region representing the sign is displayed in the left column. When the value is shown, the near-infrared ray irradiation amount and the gain adjustment amount of the imaging unit corresponding to the value are shown. FIG. 3 shows the adjustment amount of the irradiation amount of near-infrared light and the gain of the imaging unit, but does not indicate that both are adjusted at the same time. For example, when the average pixel value A is 1023 (state 1), the light intensity of the near infrared light is set to “1” while the gain of the imaging unit is fixed to the set value at that time, or This indicates that the gain of the imaging unit is set to “−5” while the irradiation light amount of near-infrared light is fixed to the set value at that time.
図３に示す設定を行って再度近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）の撮像を行い、状態６、すなわち平均画素値Ａが５０１〜６００の範囲内になったとき、調整が完了して、適正なコントラストで道路標識が撮像されたものと判断する。 The setting shown in FIG. 3 is performed, and the near-infrared image nIR (x, y) and the color image C (x, y) are captured again, and the state 6, that is, the average pixel value A falls within the range of 501 to 600. When the adjustment is completed, it is determined that the road sign is imaged with an appropriate contrast.
ここで、近赤外光の照射光量の調整は、前述したように、近赤外ライト８０ａ（図１）に通電する電流値の調整によって行う。 Here, as described above, the adjustment of the irradiation amount of the near-infrared light is performed by adjusting the value of the current supplied to the near-infrared light 80a (FIG. 1).
また、撮像部のゲインの調整は、撮像部１０の露光量の変更、または、撮像された映像信号のゲインの変更によって行う。 The gain of the imaging unit is adjusted by changing the exposure amount of the imaging unit 10 or changing the gain of the captured video signal.
このうち、露光量の変更は、光学系１１の絞りの変更、または、シャッタ速度の変更によって達成される。具体的には、光学系１１（レンズ１１ａ，１１ｂ（図２））の絞りを絞り込む（Ｆ値を大きくする）と露光量が減少して、絞りを開ける（Ｆ値を小さくする）と露光量が増加する。さらに、シャッタ速度を速くすると露光量が減少して、シャッタ速度を遅くすると露光量が増加する。実際には、絞りとシャッタ速度の組み合わせを変更することによって露光量の調整を行う。 Among these, the change of the exposure amount is achieved by changing the aperture of the optical system 11 or changing the shutter speed. Specifically, when the aperture of the optical system 11 (lenses 11a and 11b (FIG. 2)) is narrowed (F value is increased), the exposure amount is decreased, and when the aperture is opened (F value is decreased), the exposure amount. Will increase. Further, when the shutter speed is increased, the exposure amount decreases, and when the shutter speed is decreased, the exposure amount increases. Actually, the exposure amount is adjusted by changing the combination of the aperture and the shutter speed.
映像信号（近赤外映像信号１４ａ，カラー映像信号１４ｂ（図２））のゲインの変更は、撮像条件変更部１３（信号処理調整用ＩＣ１３ａ，１３ｂ（図２））において行われる。具体的には、近赤外映像信号１４ａ，カラー映像信号１４ｂに対して乗算される倍率を変更することによって、映像信号の明暗が調整される。 The gain of the video signal (near-infrared video signal 14a, color video signal 14b (FIG. 2)) is changed by the imaging condition changing unit 13 (signal processing adjustment ICs 13a, 13b (FIG. 2)). Specifically, the contrast of the video signal is adjusted by changing the magnification by which the near-infrared video signal 14a and the color video signal 14b are multiplied.
なお、ここで乗算される倍率は固定倍率であってもよいし、ガンマ特性のように、入力される映像信号に対して非線形に変化する倍率であってもよい。特に、ガンマ特性を調整することによって、人間の見た目に近い、より自然な輝度階調特性を得ることができる。 Note that the magnification multiplied here may be a fixed magnification, or may be a magnification that changes nonlinearly with respect to an input video signal, such as a gamma characteristic. In particular, by adjusting the gamma characteristic, it is possible to obtain a more natural luminance gradation characteristic close to human appearance.
照射する近赤外光の光量と、撮像素子１２ｂの露出・ゲインと、の組み合わせを変更すことによって、近赤外画像ｎＩＲ（ｘ，ｙ）において道路標識が適正な明るさで撮像されたときは、同じ撮像条件で、カラーカメラ１０ｂで同時に撮像されたカラー画像Ｃ（ｘ，ｙ）と近赤外画像ｎＩＲ（ｘ，ｙ）の道路標識に該当する領域を合成した合成映像信号を生成して、道路標識内容認識部６０が、合成映像信号に対して道路標識の種別，内容の認識を行う。道路標識の種別，内容の認識方法としては多くの手法が提案されており、そのいずれの方法を用いて行っても構わない。例えば、認識対象となる道路標識の図柄を予めテンプレートとして用意しておき、合成映像信号に対してテンプレートマッチングを行うことによって、道路標識の種別，内容を認識することができる。詳しくは後述する。 When a road sign is imaged with appropriate brightness in the near-infrared image nIR (x, y) by changing the combination of the amount of near-infrared light to be irradiated and the exposure / gain of the image sensor 12b. Generates a composite video signal obtained by synthesizing regions corresponding to road signs of the color image C (x, y) and the near-infrared image nIR (x, y) simultaneously captured by the color camera 10b under the same imaging conditions. Then, the road sign content recognition unit 60 recognizes the type and content of the road sign for the composite video signal. Many methods for recognizing the types and contents of road signs have been proposed, and any of these methods may be used. For example, the type and content of a road sign can be recognized by preparing a road sign design to be recognized as a template in advance and performing template matching on the synthesized video signal. Details will be described later.
認識された道路標識の種別，内容は、液晶ディスプレイ９０ａ（表示部９０（図２））に表示されて、車両５の運転者に注意を促す。または、認識された道路標識の内容、例えば制限速度情報に基づいて、車両５の車速が極端に高いときは車両５を減速させて、道路標識に規定された運転状態を遵守させるような車両制御を行ってもよい。 The recognized type and contents of the road sign are displayed on the liquid crystal display 90a (display unit 90 (FIG. 2)) to call attention to the driver of the vehicle 5. Alternatively, based on the recognized road sign content, for example, speed limit information, when the vehicle speed of the vehicle 5 is extremely high, the vehicle 5 is decelerated so that the driving state stipulated in the road sign is observed. May be performed.
以下、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かを判定して、道路標識が写っていないときには撮像条件を調整して適正な明るさの画像を撮像する標識設置年数確認処理の内容について、図４，図５Ａ，図５Ｂを用いて説明する。
（標識設置年数確認処理の説明）
Hereinafter, it is determined whether or not a road sign is captured in the near-infrared image nIR (x, y), and when the road sign is not captured, the imaging condition is adjusted to capture an image with appropriate brightness. The contents of the marker installation year confirmation process will be described with reference to FIGS. 4, 5A, and 5B.
(Explanation of sign installation years confirmation process)
図４は、道路標識存在判定部２０の詳細な機能構成を示す機能ブロック図である。図５Ａは、実際に撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の一例を示す図である。図５Ｂは、図５Ａの近赤外画像ｎＩＲ（ｘ，ｙ）の中から、道路標識の候補領域を検出した結果を示す図である。 FIG. 4 is a functional block diagram showing a detailed functional configuration of the road sign presence determination unit 20. FIG. 5A is a diagram illustrating an example of a near-infrared image nIR (x, y) actually captured. FIG. 5B is a diagram illustrating a result of detecting a candidate area for a road sign from the near-infrared image nIR (x, y) of FIG. 5A.
図４に示すように、道路標識存在判定部２０は、エッジ検出部３０と、閉領域抽出部３１と、画素数計測部３２と、画素値積算部３３と、平均画素値算出部３４と、道路標識判定部３５と、撮像条件設定部３６と、からなる。 As shown in FIG. 4, the road sign presence determination unit 20 includes an edge detection unit 30, a closed region extraction unit 31, a pixel number measurement unit 32, a pixel value integration unit 33, an average pixel value calculation unit 34, A road sign determination unit 35 and an imaging condition setting unit 36 are included.
エッジ検出部３０は、近赤外画像ｎＩＲ（ｘ，ｙ）に対してエッジ検出を行い、隣接画素間で画素値の差が大きい画素をエッジ構成点として検出する。なお、エッジ検出の方法は問わない。 The edge detection unit 30 performs edge detection on the near-infrared image nIR (x, y), and detects a pixel having a large pixel value difference between adjacent pixels as an edge composing point. Note that the edge detection method does not matter.
閉領域抽出部３１は、検出されたエッジ構成点で囲まれた閉領域を抽出する。具体的には、検出されたエッジ構成点で構成された領域にラベル付けを行い、周囲を同じラベル値の画素によって囲まれた領域を探すことによって、閉領域を抽出する。 The closed region extraction unit 31 extracts a closed region surrounded by the detected edge composing points. Specifically, the region formed by the detected edge composing points is labeled, and the closed region is extracted by searching for a region surrounded by pixels having the same label value.
画素数計測部３２は、閉領域抽出部３１で検出された閉領域を構成する画素数の合計値を計測する。 The pixel number measuring unit 32 measures the total value of the number of pixels constituting the closed region detected by the closed region extracting unit 31.
画素値積算部３３は、画素数計測部３２で画素数を計測する際に、当該画素の画素値を積算する。 When the pixel number measuring unit 32 measures the number of pixels, the pixel value integrating unit 33 integrates the pixel values of the pixels.
平均画素値算出部３４は、画素値積算部３３で積算された画素値の積算値を、画素数計測部３２で計測された画素数で除して、平均画素値Ａを算出する。 The average pixel value calculation unit 34 calculates the average pixel value A by dividing the integrated value of the pixel values integrated by the pixel value integration unit 33 by the number of pixels measured by the pixel number measurement unit 32.
道路標識判定部３５は、平均画素値算出部３４で算出された平均画素値Ａが、所定範囲の値であるか否かを判定する。例えば、前述した例では、平均画素値Ａが６００よりも大きく７００以下であるとき、道路標識が適正な明るさで撮像されたものと判定する。 The road sign determination unit 35 determines whether or not the average pixel value A calculated by the average pixel value calculation unit 34 is a value within a predetermined range. For example, in the above-described example, when the average pixel value A is greater than 600 and less than or equal to 700, it is determined that the road sign is captured with appropriate brightness.
撮像条件設定部３６は、道路標識判定部３５において、道路標識が適正な明るさで撮像されていないと判定されたときに、近赤外光の照射光量の設定、または撮像部１０（近赤外カメラ１０ａ，カラーカメラ１０ｂ）の撮像パラメータの設定を変更する。 When the road sign determination unit 35 determines that the road sign is not imaged with appropriate brightness, the imaging condition setting unit 36 sets the irradiation light amount of near infrared light or the imaging unit 10 (near red). The setting of the imaging parameters of the outer camera 10a and the color camera 10b) is changed.
図５Ａに、近赤外画像ｎＩＲ（ｘ，ｙ）の一例を示す。図５Ａからわかるように、車両５から進行方向前方を撮像した近赤外画像ｎＩＲ（ｘ，ｙ）の中には、道路境界線９６を含む道路と、路肩に設置された道路標識９２が写っている。 FIG. 5A shows an example of the near-infrared image nIR (x, y). As can be seen from FIG. 5A, in the near-infrared image nIR (x, y) taken from the vehicle 5 in the traveling direction, a road including the road boundary line 96 and a road sign 92 installed on the shoulder are shown. ing.
このようにして撮像された近赤外画像ｎＩＲ（ｘ，ｙ）に対して、エッジ検出と閉領域の抽出を行うと、図５Ｂに示すように、道路標識９２の領域が抽出される。画素数計測部３２と画素値積算部３３では、このようにして抽出された閉領域に外接する外接領域９４の中で閉領域を構成している画素を探し、その総数と画素値の総和をそれぞれ算出する。そして、算出された画素の総数と画素値の総和から、平均画素値Ａが算出される。 When edge detection and closed region extraction are performed on the near-infrared image nIR (x, y) thus captured, the region of the road sign 92 is extracted as shown in FIG. 5B. In the pixel number measuring unit 32 and the pixel value integrating unit 33, the pixels constituting the closed region are searched for in the circumscribed region 94 circumscribed by the closed region extracted in this way, and the total number and the sum of the pixel values are calculated. Calculate each. Then, the average pixel value A is calculated from the calculated total number of pixels and the sum of the pixel values.
なお、図５Ａには道路標識が１つしか写っていないが、近赤外画像ｎＩＲ（ｘ，ｙ）の中に複数の道路標識が写っている場合もある。そして、それら複数の道路標識は、それぞれ、設置されてからの経過年数が異なっている場合がある。したがって、道路標識の存在判定と撮像パラメータの設定は、それぞれの道路標識候補領域に対して行う必要がある。 Although only one road sign is shown in FIG. 5A, a plurality of road signs may be shown in the near-infrared image nIR (x, y). In some cases, the plurality of road signs have different years since installation. Therefore, it is necessary to determine the presence of the road sign and set the imaging parameter for each road sign candidate area.
すなわち、複数の道路標識がすべて同じ明るさで撮像される保証はないため、撮像パラメータの設定の変更は、個々の道路標識に対して繰り返し行われる。すなわち、ある道路標識９２が適正な明るさで撮像されたときは、その道路標識９２に外接する外接領域９４を除外した近赤外画像ｎＩＲ（ｘ，ｙ）に対して、別の道路標識に対する明るさの判定を行う。 That is, since there is no guarantee that a plurality of road signs are imaged with the same brightness, the change of the imaging parameter setting is repeated for each road sign. That is, when a certain road sign 92 is imaged with appropriate brightness, the near-infrared image nIR (x, y) excluding the circumscribed area 94 circumscribing the road sign 92 is compared with another road sign. Judge the brightness.
ここで、近赤外画像ｎＩＲ（ｘ，ｙ）に対してエッジ検出処理と閉領域抽出処理を行うと、道路領域からも閉領域が検出される可能性がある。このように道路領域から検出された閉領域は、その後の処理においてノイズとなるため、近赤外画像ｎＩＲ（ｘ，ｙ）に対して、まず最初に道路領域を検出する処理を行い、検出された道路領域以外の領域に対して、エッジ検出処理と閉領域抽出処理を行ってもよい。このような処理方法を採ることによって、ノイズの影響をできるだけ減らすことができる。 Here, when the edge detection process and the closed area extraction process are performed on the near-infrared image nIR (x, y), the closed area may be detected from the road area. Since the closed region detected from the road region becomes noise in the subsequent processing, the road region is first detected for the near-infrared image nIR (x, y) and detected. Edge detection processing and closed region extraction processing may be performed on regions other than the road region. By adopting such a processing method, the influence of noise can be reduced as much as possible.
なお、前述した、道路標識の撮像状態を判定する処理は、エッジ検出部３０でエッジ検出を行い、エッジに囲まれた閉領域を抽出する代わりに、近赤外画像ｎＩＲ（ｘ，ｙ）を所定のしきい値で２値化処理して道路標識９２の候補領域を検出しても同様の結果を得ることができる。 Note that the processing for determining the imaging state of the road sign described above is performed by using the near-infrared image nIR (x, y) instead of performing edge detection by the edge detection unit 30 and extracting a closed region surrounded by the edge. The same result can be obtained even if binarization processing is performed with a predetermined threshold value and a candidate area of the road sign 92 is detected.
次に、道路標識内容認識部６０で行う標識内容認識処理の内容について、図６を用いて説明する。
（標識内容認識処理の説明）
Next, the content of the sign content recognition process performed by the road sign content recognition unit 60 will be described with reference to FIG.
(Description of sign content recognition processing)
図６は、道路標識内容認識部６０の詳細な機能構成を示す機能ブロック図である。図６に示すように、道路標識内容認識部６０は、映像合成部６２と、道路標識データベース６４と、テンプレートマッチング部６６と、からなる。 FIG. 6 is a functional block diagram showing a detailed functional configuration of the road sign content recognition unit 60. As shown in FIG. 6, the road sign content recognition unit 60 includes a video composition unit 62, a road sign database 64, and a template matching unit 66.
映像合成部６２は、道路標識存在判定部２０が、道路標識が適正な明るさで撮像されていると判定したときに、図１に示した近赤外カメラ１０ａ（撮像部１０）から得られた調整済近赤外映像信号１６ａと、カラーカメラ１０ｂ（撮像部１０）から得られた調整済カラー映像信号１６ｂと、を合成して１つの合成映像信号とする。具体的には、図７に示す調整済近赤外映像信号１６ａと、調整済カラー映像信号１６ｂを、以下のようにして合成する。 The video composition unit 62 is obtained from the near-infrared camera 10a (imaging unit 10) shown in FIG. 1 when the road sign presence determination unit 20 determines that the road sign is captured with appropriate brightness. The adjusted near-infrared video signal 16a and the adjusted color video signal 16b obtained from the color camera 10b (imaging unit 10) are combined into one composite video signal. Specifically, the adjusted near-infrared video signal 16a and the adjusted color video signal 16b shown in FIG. 7 are synthesized as follows.
図７に示す調整済近赤外映像信号１６ａの画素Ｐ１と、調整済カラー映像信号１６ｂの画素Ｐ２を合成する際、合成の対象となる画素Ｐ２には、ベイヤー配列された緑フィルタの出力が格納されているため、まず、画素Ｐ２における赤色成分と青色成分の大きさを補間処理によって算出する必要がある。 When the pixel P1 of the adjusted near-infrared video signal 16a and the pixel P2 of the adjusted color video signal 16b shown in FIG. 7 are combined, the output of the green filter arranged in the Bayer array is output to the pixel P2 to be combined. Since it is stored, first, it is necessary to calculate the sizes of the red component and the blue component in the pixel P2 by interpolation processing.
この補間処理はカラー画像を撮像する際に一般的に行われている処理であり、例えば、画素Ｐ２に隣接する画素値を用いて線形補間が行われる。すなわち、画素Ｐ２における赤色成分Ｒは（式１）で推定され、画素Ｐ２における青色成分Ｂは（式２）で推定される。
Ｒ＝（Ｒ１＋Ｒ２）／２ （式１）
Ｂ＝（Ｂ１＋Ｂ２）／２ （式２）
This interpolation process is a process generally performed when a color image is captured. For example, linear interpolation is performed using a pixel value adjacent to the pixel P2. That is, the red component R in the pixel P2 is estimated by (Expression 1), and the blue component B in the pixel P2 is estimated by (Expression 2).
R = (R1 + R2) / 2 (Formula 1)
B = (B1 + B2) / 2 (Formula 2)
ここに、調整済近赤外映像信号１６ａの画素Ｐ１に格納された近赤外成分Ｃ５が合成されるため、画素Ｐ２における合成映像信号の赤色成分Ｒ０，緑色成分Ｇ０，青色成分Ｂ０は、それぞれ、（式３）〜（式５）で表される。
Ｒ０＝Ｃ５＋（Ｒ１＋Ｒ２）／２ （式３）
Ｇ０＝Ｃ５＋Ｇ３ （式４）
Ｂ０＝Ｃ５＋（Ｂ１＋Ｂ２）／２ （式５）
Since the near-infrared component C5 stored in the pixel P1 of the adjusted near-infrared video signal 16a is synthesized here, the red component R0, the green component G0, and the blue component B0 of the synthesized video signal in the pixel P2 are respectively , (Expression 3) to (Expression 5).
R0 = C5 + (R1 + R2) / 2 (Formula 3)
G0 = C5 + G3 (Formula 4)
B0 = C5 + (B1 + B2) / 2 (Formula 5)
この合成処理によって、調整済カラー映像信号１６ｂのみでは輝度が低下していた道路標識の領域に調整済近赤外映像信号１６ａの成分が加算されるため、より明るく明瞭な道路標識の画像を得ることができる。なお、（式１），（式２）に示した信号の補間方法、および（式３）〜（式５）に示した映像信号の合成方法は、あくまで１例であって、これらに限定されるものではなく、その他の方法で補間、合成してもよい。 By this combining process, the adjusted near-infrared video signal 16a component is added to the area of the road sign where the brightness is reduced only by the adjusted color video signal 16b, so that a brighter and clearer road sign image is obtained. be able to. Note that the signal interpolation methods shown in (Equation 1) and (Equation 2) and the video signal synthesis methods shown in (Equation 3) to (Equation 5) are merely examples, and are not limited thereto. However, it may be interpolated and synthesized by other methods.
なお、調整済近赤外映像信号１６ａと調整済カラー映像信号１６ｂを合成する際、それぞれの映像信号に写る道路標識９２の位置には、車両５から道路標識９２までの距離に応じた量の視差が発生する（車両５から道路標識９２までの距離が近いほど、大きい視差が発生する）。したがって、合成処理を行う際には、同じ座標値の画素同士を合成するのではなく、調整済近赤外映像信号１６ａの中から検出した道路標識９２と対応する領域を調整済カラー映像信号１６ｂの中から探索して、対応がとれた領域同士で合成処理を行う。 When the adjusted near-infrared video signal 16a and the adjusted color video signal 16b are combined, the position of the road sign 92 reflected in each video signal is an amount corresponding to the distance from the vehicle 5 to the road sign 92. Parallax occurs (the greater the distance from the vehicle 5 to the road sign 92, the greater the parallax). Therefore, when performing the synthesis process, the pixels having the same coordinate value are not synthesized, but the area corresponding to the road sign 92 detected from the adjusted near-infrared video signal 16a is adjusted to the adjusted color video signal 16b. A search is performed from among the areas, and a combination process is performed between the areas where correspondence is obtained.
道路標識データベース６４には、認識対象となる道路標識の寸法，形状，色彩、および標識の意味が、それぞれ記憶されている。なお記憶しているデータ形式は問わない。 The road sign database 64 stores the size, shape, color, and sign meaning of the road sign to be recognized. The data format stored is not limited.
テンプレートマッチング部６６は、映像合成部６２で合成された映像信号と、道路標識データベース６４に記憶された内容と、のマッチング処理を行う。具体的には、道路標識データベース６４に記憶されたテンプレートを、映像合成部６２において合成された合成映像信号の上に重ね合わせた状態で走査し、各位置においてマッチング度（類似度）を求めて、合成映像信号の中から、テンプレートに類似した領域を探す。 The template matching unit 66 performs a matching process between the video signal synthesized by the video synthesis unit 62 and the contents stored in the road sign database 64. Specifically, the template stored in the road sign database 64 is scanned in a state where it is superimposed on the synthesized video signal synthesized by the video synthesizing unit 62, and the matching degree (similarity) is obtained at each position. From the synthesized video signal, an area similar to the template is searched.
なお、用意されたテンプレートの大きさや向きと、合成映像信号の中に写る道路標識の大きさや向きと、は異なるのが一般的であるため、マッチング処理を効率的に行うために、テンプレートを、スケールや観測方向の変化に対応可能な特徴量を用いて表現する方法が用いられる。 Since the size and orientation of the prepared template and the size and orientation of the road sign reflected in the composite video signal are generally different, in order to perform the matching process efficiently, A method of expressing using feature quantities that can cope with changes in scale and observation direction is used.
例えば、向きや大きさが異なる複数のテンプレートを用意して、それぞれのテンプレートを用いてテンプレートマッチングを行うのも１つの方法である。また、回転やスケール変更に対して強いＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いて表現されたテンプレートを利用してテンプレートマッチングを行う例もあり、これらの方法を用いることによって、効率的に道路標識の認識を行うことができる。 For example, one method is to prepare a plurality of templates having different orientations and sizes and perform template matching using each template. In addition, there is an example of performing template matching using a template expressed using SIFT (Scale-Invariant Feature Transform) feature value that is strong against rotation and scale change. Road signs can be recognized.
次に、以上説明した実施例１の処理全体の流れについて、図８のフローチャートを用いて説明する。
（実施例１の処理全体の流れの説明）
Next, the flow of the whole process of Example 1 demonstrated above is demonstrated using the flowchart of FIG.
(Description of overall flow of processing in Embodiment 1)
（ステップＳ１０）ライトスイッチがＯＮになってヘッドライトが点灯しているか否かを判定する。ライトスイッチがＯＮであるときはステップＳ１２に進み、ライトスイッチがＯＦＦであるときはステップＳ１４に進む。 (Step S10) It is determined whether the light switch is turned on and the headlight is turned on. When the light switch is ON, the process proceeds to step S12, and when the light switch is OFF, the process proceeds to step S14.
（ステップＳ１２）車両５の前方に道路標識が存在するか否かを判定する。道路標識が存在すると判定されたときはステップＳ１６に進み、道路標識が存在しないと判定されたときはステップＳ１０に戻る。 (Step S12) It is determined whether or not there is a road sign ahead of the vehicle 5. When it is determined that there is a road sign, the process proceeds to step S16, and when it is determined that there is no road sign, the process returns to step S10.
（ステップＳ１４）車両５は昼間の状態にあると判断して、昼間の状態に対応した道路標識認識処理を行う。なお、昼間の明るい状態における道路標識認識処理は、本発明の対象外であるため説明は省略するが、近赤外カメラ１０ａは利用せずに、カラーカメラ１０ｂで撮像したカラー画像Ｃ（ｘ，ｙ）のみを用い、標識の領域を切り出すしきい値の調整等を行うことによって標識の認識を行う。 (Step S14) The vehicle 5 is determined to be in the daytime state, and a road sign recognition process corresponding to the daytime state is performed. The road sign recognition process in a bright daytime is not the subject of the present invention and will not be described. However, the color image C (x, x, x) captured by the color camera 10b without using the near-infrared camera 10a. Using only y), the marker is recognized by adjusting the threshold value for extracting the marker region.
（ステップＳ１６）標識設置年数確認処理を行う。この処理の詳細な流れは後述する。 (Step S16) A marker installation year confirmation process is performed. The detailed flow of this process will be described later.
（ステップＳ１８）標識内容認識処理を行う。この処理の詳細な流れは後述する。 (Step S18) A label content recognition process is performed. The detailed flow of this process will be described later.
（ステップＳ２０）道路標識の認識結果を出力して車両５の運転者に報知する。なお、ここで、道路標識の認識結果を利用して車両の制御を行うことも可能である。 (Step S20) The recognition result of the road sign is output and notified to the driver of the vehicle 5. Here, it is also possible to control the vehicle using the recognition result of the road sign.
（ステップＳ２２）車両５のイグニッションがＯＦＦか否かを判定する。イグニッションがＯＦＦであるときは図８の処理を終了し、イグニッションがＯＦＦであるときは、ステップＳ１０に戻る。なお、ここで、車両５の車速を検出して、車速が０であるときに図８の処理を終了し、車速が０でないときにステップＳ１０に戻るようにしてもよい。 (Step S22) It is determined whether or not the ignition of the vehicle 5 is OFF. When the ignition is OFF, the process of FIG. 8 is terminated, and when the ignition is OFF, the process returns to step S10. Here, the vehicle speed of the vehicle 5 may be detected, and the process of FIG. 8 may be terminated when the vehicle speed is zero, and the process may return to step S10 when the vehicle speed is not zero.
次に、図８に示した標識設置年数確認処理（Ｓ１６）の詳細な流れについて、図９のフローチャートを用いて説明する。
（標識設置年数確認処理の流れの説明）
Next, the detailed flow of the marker installation year confirmation process (S16) shown in FIG. 8 will be described using the flowchart of FIG.
(Explanation of signs installation years confirmation process)
（ステップＳ３０）近赤外ライト８０ａ（図１）から近赤外光を最大光量で照射する。 (Step S30) Near infrared light is emitted from the near infrared light 80a (FIG. 1) with the maximum light quantity.
（ステップＳ３２）近赤外ライト８０ａの照射にあわせて、近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）を同時に撮像する。 (Step S32) The near-infrared image nIR (x, y) and the color image C (x, y) are simultaneously imaged in accordance with the irradiation of the near-infrared light 80a.
（ステップＳ３４）近赤外画像ｎＩＲ（ｘ，ｙ）からエッジを検出する。 (Step S34) An edge is detected from the near-infrared image nIR (x, y).
（ステップＳ３６）検出されたエッジに囲まれた閉領域を抽出する。 (Step S36) A closed region surrounded by the detected edges is extracted.
（ステップＳ３８）抽出された閉領域を構成する画素数を測定する。 (Step S38) The number of pixels constituting the extracted closed region is measured.
（ステップＳ４０）抽出された閉領域を構成する画素の画素値を積算する。 (Step S40) The pixel values of the pixels constituting the extracted closed region are integrated.
（ステップＳ４２）閉領域を構成する画素の平均画素値Ａを算出する。 (Step S42) The average pixel value A of the pixels constituting the closed region is calculated.
（ステップＳ４４）平均画素値Ａが、所定の範囲内の値であるか否かを判定する。所定の範囲内の値であるときはステップＳ４６に進み、それ以外のときは、ステップＳ４８に進む。 (Step S44) It is determined whether or not the average pixel value A is a value within a predetermined range. If the value is within the predetermined range, the process proceeds to step S46, and otherwise, the process proceeds to step S48.
（ステップＳ４６）抽出された全ての閉領域を処理したか否かを判定する。全ての閉領域を処理したときはメインルーチン（図８）に戻り、それ以外のときは、ステップＳ３８に戻る。 (Step S46) It is determined whether or not all the extracted closed regions have been processed. When all the closed regions have been processed, the process returns to the main routine (FIG. 8). Otherwise, the process returns to step S38.
（ステップＳ４８）近赤外ライト８０ａから照射する近赤外光の光量、または近赤外カメラ１０ａ、およびカラーカメラ１０ｂの撮像パラメータの設定を調整する。 (Step S48) The amount of near-infrared light irradiated from the near-infrared light 80a or the setting of imaging parameters of the near-infrared camera 10a and the color camera 10b is adjusted.
（ステップＳ５０）ステップＳ４８で調整した設定は、調整可能範囲内か否かを判定する。調整可能範囲内であるときはステップＳ３２に戻り、それ以外のときはステップＳ５２に進む。 (Step S50) It is determined whether or not the setting adjusted in step S48 is within the adjustable range. When it is within the adjustable range, the process returns to step S32, and otherwise, the process proceeds to step S52.
（ステップＳ５２）対象としている閉領域は道路標識ではないと判断して、ステップＳ４６に進む。 (Step S52) It is determined that the target closed area is not a road sign, and the process proceeds to Step S46.
次に、図８に示した標識内容認識処理（Ｓ１８）の詳細な流れについて、図１０のフローチャートを用いて説明する。
（標識内容認識処理の流れの説明）
Next, the detailed flow of the sign content recognition process (S18) shown in FIG. 8 will be described using the flowchart of FIG.
(Explanation of sign content recognition processing flow)
（ステップＳ６０）近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）の間で、道路標識の視差を算出する。 (Step S60) The parallax of the road sign is calculated between the near-infrared image nIR (x, y) and the color image C (x, y).
（ステップＳ６２）ステップＳ６０で算出した視差に基づいて、近赤外画像ｎＩＲ（ｘ，ｙ）に写った道路標識の領域とカラー画像Ｃ（ｘ，ｙ）に写った道路標識の領域を合成する。 (Step S62) Based on the parallax calculated in Step S60, the road sign area shown in the near-infrared image nIR (x, y) and the road sign area shown in the color image C (x, y) are combined. .
（ステップＳ６４）ステップＳ６２で合成した合成映像と道路標識データベース６４（図６）に記憶されたテンプレートとの間でテンプレートマッチングを行い、道路標識の内容を認識する。 (Step S64) Template matching is performed between the synthesized video synthesized in step S62 and the template stored in the road sign database 64 (FIG. 6) to recognize the contents of the road sign.
（ステップＳ６６）画像内の全ての道路標識を認識したか否かを判定する。全ての道路標識を認識したときはメインルーチン（図８）に戻り、それ以外のときは、ステップＳ６０に戻って、別の道路標識の認識を行う。 (Step S66) It is determined whether all road signs in the image have been recognized. When all the road signs have been recognized, the process returns to the main routine (FIG. 8). Otherwise, the process returns to step S60 to recognize another road sign.
以上説明したように、このように構成された本発明に係る車両用道路標識認識装置１００によれば、可視光領域および近赤外領域に感度を有する撮像部１０で撮像された車両５の進行方向前方の画像の内部の輝度分布に基づいて、道路標識存在判定部２０が、道路標識９２が写っているか否かを判定する。判定の結果、道路標識９２が写っていないと判定されたときは、撮像条件変更部１３が、近赤外光照射部８０から撮像部１０の撮像範囲内に照射する近赤外光の光量、または撮像部１０の撮像パラメータを変更して再度画像を撮像し、道路標識存在判定部２０における判定を繰り返し行う。一方、道路標識９２が写っていると判定されたときは道路標識内容認識部６０において、撮像された道路標識９２の種別，内容を認識するため、道路標識９２に、設置後の年数経過による劣化が発生して反射率が低下した場合であっても、撮像条件変更部１３が、道路標識９２に照射する近赤外光の光量の変更、または撮像部１０の撮像パラメータの変更を行うことによって、認識可能なコントラストを有する道路標識９２の画像を撮像することができるため、経年劣化による退色が進んだ道路標識９２の種別，内容を安定して認識することができる。 As described above, according to the vehicle road sign recognition device 100 according to the present invention configured as described above, the vehicle 5 travels captured by the imaging unit 10 having sensitivity in the visible light region and the near infrared region. Based on the luminance distribution inside the image ahead of the direction, the road sign presence determination unit 20 determines whether or not the road sign 92 is captured. As a result of the determination, when it is determined that the road sign 92 is not captured, the imaging condition changing unit 13 emits the amount of near infrared light emitted from the near infrared light irradiating unit 80 into the imaging range of the imaging unit 10, Alternatively, the imaging parameter of the imaging unit 10 is changed, an image is captured again, and the determination in the road sign presence determination unit 20 is repeatedly performed. On the other hand, when it is determined that the road sign 92 is reflected, the road sign content recognition unit 60 recognizes the type and content of the captured road sign 92. Even if the reflectance is lowered due to the occurrence of the above, the imaging condition changing unit 13 changes the amount of near-infrared light applied to the road sign 92 or changes the imaging parameters of the imaging unit 10. Since an image of the road sign 92 having recognizable contrast can be taken, the type and content of the road sign 92 that has faded due to deterioration over time can be stably recognized.
また、このように構成された本発明に係る車両用道路標識認識装置１００によれば、撮像パラメータは、シャッタ速度，絞り値，ゲインのうち少なくとも一つであるため、道路標識９２を含む画像の撮像条件を容易に変更して、異なる明るさの画像を容易に撮像することができる。 Further, according to the vehicle road sign recognition device 100 according to the present invention configured as described above, since the imaging parameter is at least one of the shutter speed, the aperture value, and the gain, the image including the road sign 92 is displayed. The imaging conditions can be easily changed, and images with different brightness can be easily captured.
そして、このように構成された本発明に係る車両用道路標識認識装置１００によれば、撮像条件変更部１３は、道路標識存在判定部２０が判定した道路標識を示す領域の平均画素値Ａが所定値（Ａｔｈ±δ）の範囲内となるように、近赤外光照射部８０から照射する近赤外光の光量、および撮像パラメータのうち少なくとも一方を変更するため、道路標識９２が認識しやすい明るさで写っている画像を効率的に撮像することができる。 And according to the vehicle road sign recognition apparatus 100 according to the present invention configured as described above, the imaging condition changing unit 13 has the average pixel value A of the area indicating the road sign determined by the road sign presence determining unit 20. In order to change at least one of the amount of near-infrared light emitted from the near-infrared light irradiating unit 80 and the imaging parameter so as to be within a predetermined value (Ath ± δ), the road sign 92 recognizes it. It is possible to efficiently capture an image that is captured with easy brightness.
さらに、このように構成された本発明に係る車両用道路標識認識装置１００によれば、撮像条件変更部１３は、撮像部１０の撮像範囲内に、照射可能な最大光量の近赤外光を照射した状態で撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中の、道路標識９２を示す領域の平均画素値Ａが所定値（Ａｔｈ＋δ）よりも大きいときは、近赤外光の光量の抑制、または撮像パラメータを撮像される画像が暗くなる方向に調整する。また、平均画素値Ａが所定値（Ａｔｈ−δ）よりも小さいときは、撮像パラメータを撮像される画像が明るくなる方向に調整する。したがって、道路標識９２が適正な明るさで写った近赤外画像ｎＩＲ（ｘ，ｙ）を、容易かつ確実に撮像することができる。 Furthermore, according to the vehicular road sign recognition apparatus 100 according to the present invention configured as described above, the imaging condition changing unit 13 emits near-infrared light having the maximum light quantity that can be irradiated within the imaging range of the imaging unit 10. When the average pixel value A of the region indicating the road sign 92 in the near-infrared image nIR (x, y) captured in the irradiated state is larger than a predetermined value (Ath + δ), the amount of near-infrared light Or the imaging parameter is adjusted in the direction in which the captured image becomes darker. Further, when the average pixel value A is smaller than a predetermined value (Ath−δ), the imaging parameter is adjusted in a direction in which the image to be captured becomes brighter. Therefore, the near-infrared image nIR (x, y) in which the road sign 92 is captured with appropriate brightness can be captured easily and reliably.
また、このように構成された本発明に係る車両用道路標識認識装置１００によれば、車両５の前方に道路標識９２が存在する可能性があるか否かを判定する道路標識存在可能性判定部７０を有するため、道路標識存在可能性判定部７０の出力に基づいて、必要なときのみ道路標識の認識を行うことができる。したがって、道路標識認識の効率化を図ることができる。 Further, according to the vehicle road sign recognition apparatus 100 according to the present invention configured as described above, the road sign presence possibility determination for determining whether or not the road sign 92 may exist in front of the vehicle 5 is performed. Since the unit 70 is included, the road sign can be recognized only when necessary based on the output of the road sign existence possibility determination unit 70. Therefore, the efficiency of road sign recognition can be improved.
そして、このように構成された本発明に係る車両用道路標識認識装置１００によれば、道路標識存在可能性判定部７０は、車両５に搭載されたカーナビゲーションシステム７０ａに記憶された情報に基づいて、近赤外画像ｎＩＲ（ｘ，ｙ）の中に、道路標識９２が存在すると考えられる領域を設定するため、走行中の車両５から道路標識９２を効率よく検出することができる。 And according to the vehicle road sign recognition apparatus 100 according to the present invention configured as described above, the road sign existence possibility determination unit 70 is based on information stored in the car navigation system 70 a mounted on the vehicle 5. Thus, since the region where the road sign 92 is considered to exist is set in the near-infrared image nIR (x, y), the road sign 92 can be efficiently detected from the traveling vehicle 5.
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。 As mentioned above, although the Example of this invention was explained in full detail with drawing, since an Example is only an illustration of this invention, this invention is not limited only to the structure of an Example. Of course, changes in design and the like within a range not departing from the gist are included in the present invention.
例えば、実施例１は、近赤外カメラ１０ａとカラーカメラ１０ｂの２台のカメラを用いた構成で説明したが、これは、赤色成分Ｒ，緑色成分Ｇ，青色成分Ｂ，近赤外成分Ｃをそれぞれ検出可能な撮像素子を有する１台のカメラを用いて実現することも可能である。 For example, although the first embodiment has been described with the configuration using two cameras, the near-infrared camera 10a and the color camera 10b, this is a red component R, a green component G, a blue component B, and a near-infrared component C. It is also possible to realize this by using one camera having an image sensor that can detect each of the above.
５・・・・・車両
１０・・・・撮像部
１１・・・・光学系
１２・・・・受光部
１３・・・・撮像条件変更部
２０・・・・道路標識存在判定部
４０・・・・近赤外光照射光量制御部
６０・・・・道路標識内容認識部
７０・・・・道路標識存在可能性判定部
８０・・・・近赤外光照射部
９０・・・・表示部
１００・・・車両用道路標識認識装置
5 ... Vehicle 10 ... Imaging unit 11 ... Optical system 12 ... Light receiving unit 13 ... Imaging condition changing unit 20 ... Road sign presence determining unit 40 ... .. near infrared light irradiation light quantity control unit 60... Road sign content recognition unit 70... Road sign existence possibility determination unit 80... Near infrared light irradiation unit 90. 100 ... Vehicle road sign recognition device
Claims (6)
前記撮像部の撮像範囲内に照射する近赤外光の光量を制御する近赤外光照射光量制御部と、
前記画像の内部の輝度分布に基づいて、前記画像の中に道路標識が写っているか否かを判定する道路標識存在判定部と、
前記輝度分布に応じて、前記光量、および前記撮像部の撮像パラメータのうち少なくとも一方を変更する撮像条件変更部と、
前記道路標識の種別，内容を認識する道路標識内容認識部と、を有して、前記道路標識存在判定部で道路標識が写っていると判定されたときには、前記道路標識内容認識部で道路標識の内容を認識して、前記道路標識存在判定部で道路標識が写っていると判定されないときは、前記撮像条件変更部において変更された撮像条件にて再度画像を撮像して、前記判定を繰り返して行うことを特徴とする車両用道路標識認識装置。 An imaging unit that has sensitivity in the visible light region and the near-infrared region and captures an image ahead of the vehicle in the traveling direction;
A near-infrared light irradiation light amount control unit for controlling the amount of near-infrared light irradiated in the imaging range of the imaging unit;
A road sign presence determination unit that determines whether or not a road sign is reflected in the image, based on a luminance distribution inside the image;
An imaging condition changing unit that changes at least one of the light amount and an imaging parameter of the imaging unit according to the luminance distribution;
A road sign content recognition unit for recognizing the type and content of the road sign, and when the road sign presence determination unit determines that the road sign is reflected, the road sign content recognition unit When the road sign presence determination unit does not determine that the road sign is reflected, the image is captured again under the imaging condition changed by the imaging condition change unit, and the determination is repeated. A road sign recognition device for a vehicle.
前記平均画素値が所定値よりも小さいときは、前記撮像パラメータを撮像される画像が明るくなる方向に調整することを特徴とする請求項３に記載の車両用道路標識認識装置。 In the imaging condition changing unit, an average pixel value of a region indicating a road sign is larger than a predetermined value in an image captured in a state in which near-infrared light having the maximum light amount is irradiated within an imaging range of the imaging unit. When adjusting the amount of near-infrared light or adjusting the imaging parameter in the direction in which the image to be captured becomes darker,
The vehicular road sign recognition apparatus according to claim 3, wherein when the average pixel value is smaller than a predetermined value, the imaging parameter is adjusted in a direction in which a captured image becomes brighter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015076674A JP2016196233A (en) | 2015-04-03 | 2015-04-03 | Road sign recognizing device for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015076674A JP2016196233A (en) | 2015-04-03 | 2015-04-03 | Road sign recognizing device for vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016196233A true JP2016196233A (en) | 2016-11-24 |
Family
ID=57357916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015076674A Pending JP2016196233A (en) | 2015-04-03 | 2015-04-03 | Road sign recognizing device for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016196233A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019044009A1 (en) * | 2017-08-29 | 2019-03-07 | 株式会社Ｊｖｃケンウッド | Image generation control device, image generation control method, and image generation control program |
| WO2019138716A1 (en) * | 2018-01-10 | 2019-07-18 | 株式会社日立製作所 | Image compositing system and image compositing method |
| WO2019225165A1 (en) * | 2018-05-21 | 2019-11-28 | クラリオン株式会社 | Light distribution control device, light projection system, and light distribution control method |
| US10708510B2 (en) | 2017-07-31 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
| CN111523368A (en) * | 2019-02-01 | 2020-08-11 | 丰田自动车株式会社 | Information processing device, server, and traffic management system |
| JP2020121615A (en) * | 2019-01-30 | 2020-08-13 | クラリオン株式会社 | Vehicular road sign recognition support device |
| JP2020140335A (en) * | 2019-02-27 | 2020-09-03 | エヌ・ティ・ティ・コムウェア株式会社 | Same structure detection device, same structure detection method, and same structure detection program |
| US20220373349A1 (en) * | 2021-05-20 | 2022-11-24 | Faurecia Clarion Electronics Co., Ltd. | Navigation device |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040098191A1 (en) * | 2000-05-02 | 2004-05-20 | Becker Lisa M. | Navigation system with sign assistance |
| DE102004061998A1 (en) * | 2004-12-23 | 2006-07-06 | Robert Bosch Gmbh | Stereo camera for a motor vehicle |
| WO2006087812A1 (en) * | 2005-02-18 | 2006-08-24 | Fujitsu Limited | Image processing method, image processing system, image processing device, and computer program |
| JP2008135856A (en) * | 2006-11-27 | 2008-06-12 | Toyota Motor Corp | Body recognizing device |
| JP2008252327A (en) * | 2007-03-29 | 2008-10-16 | Toyota Motor Corp | Vehicle periphery monitoring device |
| JP2009163714A (en) * | 2007-12-10 | 2009-07-23 | Fujitsu Ltd | Device and method for determining road sign |
| JP2010041668A (en) * | 2008-08-08 | 2010-02-18 | Denso Corp | Exposure setting device, exposure setting program, and image processing device |
| US20100172542A1 (en) * | 2007-12-06 | 2010-07-08 | Gideon Stein | Bundling of driver assistance systems |
| JP2012068962A (en) * | 2010-09-24 | 2012-04-05 | Yupiteru Corp | On-vehicle electronic device and program |
| JP2012164254A (en) * | 2011-02-09 | 2012-08-30 | Denso Corp | Sign recognition device |
| JP2013140042A (en) * | 2011-12-28 | 2013-07-18 | Keyence Corp | Image processing device and image processing method |
-
2015
- 2015-04-03 JP JP2015076674A patent/JP2016196233A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040098191A1 (en) * | 2000-05-02 | 2004-05-20 | Becker Lisa M. | Navigation system with sign assistance |
| DE102004061998A1 (en) * | 2004-12-23 | 2006-07-06 | Robert Bosch Gmbh | Stereo camera for a motor vehicle |
| WO2006087812A1 (en) * | 2005-02-18 | 2006-08-24 | Fujitsu Limited | Image processing method, image processing system, image processing device, and computer program |
| JP2008135856A (en) * | 2006-11-27 | 2008-06-12 | Toyota Motor Corp | Body recognizing device |
| JP2008252327A (en) * | 2007-03-29 | 2008-10-16 | Toyota Motor Corp | Vehicle periphery monitoring device |
| US20100172542A1 (en) * | 2007-12-06 | 2010-07-08 | Gideon Stein | Bundling of driver assistance systems |
| JP2009163714A (en) * | 2007-12-10 | 2009-07-23 | Fujitsu Ltd | Device and method for determining road sign |
| JP2010041668A (en) * | 2008-08-08 | 2010-02-18 | Denso Corp | Exposure setting device, exposure setting program, and image processing device |
| JP2012068962A (en) * | 2010-09-24 | 2012-04-05 | Yupiteru Corp | On-vehicle electronic device and program |
| JP2012164254A (en) * | 2011-02-09 | 2012-08-30 | Denso Corp | Sign recognition device |
| JP2013140042A (en) * | 2011-12-28 | 2013-07-18 | Keyence Corp | Image processing device and image processing method |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11792528B2 (en) | 2017-07-31 | 2023-10-17 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
| US10708510B2 (en) | 2017-07-31 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
| US11272114B2 (en) | 2017-07-31 | 2022-03-08 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
| JP7013730B2 (en) | 2017-08-29 | 2022-02-15 | 株式会社Ｊｖｃケンウッド | Image generation control device, image generation control method, and image generation control program |
| JP2019041351A (en) * | 2017-08-29 | 2019-03-14 | 株式会社Ｊｖｃケンウッド | Image generation control device, image generation control method, and image generation control program |
| US11363211B2 (en) | 2017-08-29 | 2022-06-14 | Jvckenwood Corporation | Image generation control device, image generation control method, and image generation control program |
| WO2019044009A1 (en) * | 2017-08-29 | 2019-03-07 | 株式会社Ｊｖｃケンウッド | Image generation control device, image generation control method, and image generation control program |
| WO2019138716A1 (en) * | 2018-01-10 | 2019-07-18 | 株式会社日立製作所 | Image compositing system and image compositing method |
| JP2019121979A (en) * | 2018-01-10 | 2019-07-22 | 株式会社日立製作所 | Image composition system and image composition method |
| US11335036B2 (en) | 2018-01-10 | 2022-05-17 | Hitachi, Ltd. | Image synthesizing system and image synthesizing method |
| JP7080724B2 (en) | 2018-05-21 | 2022-06-06 | フォルシアクラリオン・エレクトロニクス株式会社 | Light distribution control device, light projection system and light distribution control method |
| JP2019202580A (en) * | 2018-05-21 | 2019-11-28 | クラリオン株式会社 | Light distribution controller, light projection system, and light distribution control method |
| WO2019225165A1 (en) * | 2018-05-21 | 2019-11-28 | クラリオン株式会社 | Light distribution control device, light projection system, and light distribution control method |
| JP2020121615A (en) * | 2019-01-30 | 2020-08-13 | クラリオン株式会社 | Vehicular road sign recognition support device |
| JP7295645B2 (en) | 2019-01-30 | 2023-06-21 | フォルシアクラリオン・エレクトロニクス株式会社 | Vehicle road sign recognition support device |
| JP2020126359A (en) * | 2019-02-01 | 2020-08-20 | トヨタ自動車株式会社 | Information processing device, server, and traffic management system |
| CN111523368A (en) * | 2019-02-01 | 2020-08-11 | 丰田自动车株式会社 | Information processing device, server, and traffic management system |
| JP7206968B2 (en) | 2019-02-01 | 2023-01-18 | トヨタ自動車株式会社 | Server and traffic management system |
| CN111523368B (en) * | 2019-02-01 | 2023-11-14 | 丰田自动车株式会社 | Information processing device, server, and traffic management system |
| JP2020140335A (en) * | 2019-02-27 | 2020-09-03 | エヌ・ティ・ティ・コムウェア株式会社 | Same structure detection device, same structure detection method, and same structure detection program |
| JP7030732B2 (en) | 2019-02-27 | 2022-03-07 | エヌ・ティ・ティ・コムウェア株式会社 | Same structure detection device, same structure detection method and same structure detection program |
| US20220373349A1 (en) * | 2021-05-20 | 2022-11-24 | Faurecia Clarion Electronics Co., Ltd. | Navigation device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016196233A (en) | Road sign recognizing device for vehicle | |
| JP4970516B2 (en) | Surrounding confirmation support device | |
| US9505338B2 (en) | Vehicle driving environment recognition apparatus | |
| JP4491453B2 (en) | Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visual images depending on the periphery | |
| EP2539197B1 (en) | Automatic vehicle equipment monitoring, warning, and control system | |
| JP5115792B2 (en) | Image processing apparatus and method, and program | |
| US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
| CN109409186B (en) | Driver assistance system and method for object detection and notification | |
| JP3817174B2 (en) | Vehicle image correction device and night driving visibility support device | |
| JP4853437B2 (en) | Vehicle perimeter monitoring system | |
| JP5299026B2 (en) | Vehicle display device | |
| US20060215882A1 (en) | Image processing apparatus and method, recording medium, and program | |
| EP2723060A1 (en) | Vehicle-mounted camera device | |
| JP5071198B2 (en) | Signal recognition device, signal recognition method, and signal recognition program | |
| JP2007288657A (en) | Display apparatus for vehicle, and display method of the display apparatus for vehicle | |
| JP2000019259A (en) | Environmental recognition device | |
| JP4556777B2 (en) | Night driving visibility support device | |
| JP2012027773A (en) | Pseudo grayscale image generation device and program | |
| JP2008135856A (en) | Body recognizing device | |
| JP2010088045A (en) | Night view system, and nighttime walker display method | |
| JP2007028279A (en) | Vehicle and road surface label recognizing device | |
| JP2005033680A (en) | Image processing apparatus for vehicle | |
| JP7295645B2 (en) | Vehicle road sign recognition support device | |
| EP4046373B1 (en) | An image processing method | |
| US10614556B2 (en) | Image processor and method for image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180223 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190723 |